Remote backup rsync+ssh+rsa

[ChDeep]

Na ezt már akkor értem, csak nekem ssh más porton van és amikor küldöm neki a scp ~/.ssh/backup.pub server:.ssh akkor visszaadja, hogy :
ssh: connect to host én.hostom.com port 22: Connection refused
és így nem megy, hogy scp ~/.ssh/backup.pub server -p1234:.ssh?
Mit tegyek?