「sshのパスフレーズを入力できるcpanモジュールがなさそう」という噂を聞き、調べてみたら、Net::OpenSSHにたどり着きました。
http://search.cpan.org/perldoc?Net::OpenSSH
確かにNet::OpenSSHでは、new()の際にpassphraseを指定できますが、気になるコメントもNet::OpenSSHに記載されていました。
Net::SSH::Perl is not well maintained nowadays , requires a bunch of modules to be acceptably efficient and has an API that is limited in some ways.
Net::SSH2 is much better than Net::SSH::Perl, but not completely stable yet.