c't 9/2022
S. 60
Titel
GPT-3: Das leisten Sprachmodelle
Bild: Albert Hulm

Wandlungsfähige Schreib-KI

Apps und Anwendungen mit GPT-3 & Co. texten und analysieren Texte

Seit das Sprachmodell GPT-3 ohne Warteliste allgemein zugänglich ist, entstehen rasch neue Anwendungen. Sprach-KIs helfen beim Texten, klassifizieren Dokumente, schreiben Programmcode oder übersetzen zwischen Sprachen. Die kreativen Systeme boomen.

Von Arne Grävemeyer

Sprach-KIs dringen in viele Lebensbereiche vor. Diese Entwicklung haben Generative Pre-trained Transformers ins Rollen gebracht, tiefe neuronale Sprachmodelle, die terabyteweise mit Webinhalten, Wikipediaeinträgen und Buchtexten trainieren. Als Pionier entwickelt das Forschungsunternehmen OpenAI derartige KI-Giganten. Deren bis heute größter Vertreter GPT-3 hat ein neuronales Netz mit 175 Milliarden Parametern und beweist seit Mai 2020 sein Sprachtalent. OpenAI fand inzwischen einige Nachahmer in den USA, in China und beispielsweise mit der Heidelberger Aleph Alpha auch in Europa. Zurzeit sind die zehn größten KI-Systeme weltweit allesamt moderne Sprachmodelle.

Eine KI derartiger Größe erkennt nicht nur einzelne Wörter in ihrer Bedeutung. Durch die große Anzahl seiner Parameter ist GPT-3 in der Lage, gleich ganze Textabschnitte zu erfassen. So kommt das Sprachmodell durch ein doppeldeutiges Wort nicht ins Stolpern. Es erkennt Textzusammenhänge sowie Stilformen und schreibt diese glaubwürdig weiter. Damit ist es im Grunde ein besonders aufwendiges Auto-Complete-Tool (zur Funktionsweise siehe S. 64, ein Hintergrundartikel zum technischen Aufbau der Transformer-Modelle folgt in einer der kommenden Ausgaben). Zudem gelingen GPT-3 und seinen Nachfolgern auch Textzusammenfassungen, sie können Fragen beantworten und zwischen verschiedenen Sprachen wechseln oder übersetzen. Welche Möglichkeiten all das eröffnet, beginnen Forscher und Anwendungsentwickler erst mit der Zeit zu erkennen.

Kommentieren