Ihre SSH-Schlüssel sollten nicht automatisch zum Agenten hinzugefügt werden, nur weil Sie sich per SSH mit einem Server verbunden haben...
Führen Sie ssh-add -l aus um die Schlüssel des Agenten aufzulisten, ssh-add -D um alle Schlüssel zu löschen.
Eine andere Möglichkeit, die zu prüfenden Schlüssel einzuschränken, besteht darin, IdentitiesOnly yes hinzuzufügen bis /.ssh/config und eine Liste der Einträge
IdentityFile ~/.ssh/<nameofkey>
Sie können sie auch zu jedem Host-Eintrag hinzufügen:
Host server-name
HostName <ipaddress>
User <username>
IdentityFile ~/.ssh/<nameofkey>
SSH Man Page hat auch mehr Optionen.