むしろ私の理解としては逆で、暗号化/復号については単一の鍵対をすべてのデバイスで共有あるいは持ち運びしなければうまくいかないと思ってた
YubiKey に暗号鍵を突っ込んだ場合、 keytocard 後の鍵ファイルはスタブなので安全に他のデバイスにコピーできるので、そのようにする
* 安全な鍵生成用マシンで鍵を生成する
* この状態の .gnupg をバックアップする
* 指を挿して keytocard する
* keytocard 後の .gnupg (あるいは最低でもスタブファイル) を普段使いマシンへ持ってくる
という感じの運用