BERT (Bidirectional Encoder Representations from Transformers) ist ein 2018 von Google vorgestelltes Sprachmodell, das den Kontext eines Wortes gleichzeitig aus dem vorangehenden und dem nachfolgenden Text erschließt. Genau darin liegt der Unterschied zu Modellen der GPT-Familie, die Text von links nach rechts fortschreiben: BERT liest den ganzen Satz und ordnet jedes Wort in seiner Umgebung ein.
Trainiert wurde es unter anderem darauf, gezielt maskierte Wörter in Sätzen zu ergänzen, weshalb es Bedeutungsunterschiede desselben Wortes gut auflöst. Architektonisch nutzt BERT nur den Encoder-Teil der Transformer-Architektur und ist damit auf Sprachverständnis ausgelegt, nicht auf freie Texterzeugung. Typische Einsätze sind Klassifikation, Suchrelevanz, Erkennung von Namen und Fachbegriffen sowie Sentiment-Analyse.
Google setzt BERT-Technologie seit 2019 in der Suche ein, um Suchanfragen besser zu verstehen, insbesondere längere Formulierungen und die Bedeutung von Präpositionen. Für die Suchmaschinenoptimierung folgt daraus vor allem eines: Inhalte, die eine Frage klar und in natürlicher Sprache beantworten, tragen weiter als Texte, die auf einzelne Suchbegriffe hin gebaut sind.