Lösung 1:
Ich konnte lsof verwenden um den Dateideskriptor zu erhalten, dann stat /proc/<PID>/fd/<file descriptor> ausgeführt um das Datum zu bekommen.
Lösung 2:
Eine Kombination aus lsof und /proc wie von @opsguy vorgeschlagen sollte die Arbeit erledigen:
lsof -P -i tcp | awk '{print $2,$4}' | tr -d 'u' | sort -u \
| while read pid fd; do stat --printf "%z %N\n" /proc/$pid/fd/$fd ; done | sort -r