Es ist meistens ein DNS-Problem. Versuchen Sie, 'UseDNS no' in sshd_config einzustellen.
Es könnte möglicherweise eine Reverse-DNS-Lookup-Verzögerung sein. Wenn Ihr verbindender Host keinen DNS-Eintrag hat, versuchen Sie, einen Eintrag für Ihr Quellsystem in /etc/hosts auf dem Server hinzuzufügen, mit dem Sie sich verbinden.