Am Ende habe ich festgestellt, dass ich export verwenden muss um meine Umgebungsvariablen zu setzen. Also in meiner .zshrc Ich habe hinzugefügt:
PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib/pkgconfig; export PKG_CONFIG_PATH
Jetzt ./configure findet die richtige Bibliothek.