Bibtex ist nicht wirklich unicodefähig. Um erweiterte Zeichen zu verwenden, müssen Sie die Standard-Tex-Ersetzungen verwenden.
Vielleicht möchten Sie jedoch biblatex für eine bessere Verwaltung bibliografischer Stile verwenden; und vielleicht einen Blick auf biber werfen, das darauf abzielt, ein Unicode-fähiger Bibtex-Ersatz zu werden.