SSH の鍵なんて所詮サーバ-クライアント対ごとに簡単に再生成できるものなので、気になるなら文脈ごとに軽率に鍵生成したり定期的に鍵を切り替えたりすればいいじゃんという
それに SSH 操作は署名機能と違って credential を直打ちする操作がありうるので (たとえば鯖に入ったら sudo したり何らかのサービスのパスワードを打つ可能性が十分高い)、出先のマシンでちょっと私物サーバに接続……なんてことは基本的に厳しそう。 git commit に sign するのと違って key logger 一発で全てが破滅するので