SSH Port ändern

[fulltilt]

Ich habe per Rsync Backups eingerichtet die über CA Keys auf einen anderen Server die Daten transferieren ....

So ...
Nun würde ich gerne den SSH Port ändern, weil in letzter Zeit sehr viel in den Logs auftaucht - ist zwar auch noch über fail2ban abgesichert, aber das Script hat auch mal Hänger ...

Wenn ich den Port z.b. von 22 auf 999 ändere, muss ich das ja auch auf der Client Maschine machen, die die backups bekommt.

Wie ist das dann mit den Keys - müssen die neu generiert werden wenn der Port sich ändert?
und:
Kann ich mich da nicht selber aussperren, wenn ich nun den Port ändere?