Die Tech-Industrie erlebt aktuell ein Erwachen, da generative KI-Modelle Berichten zufolge an eine technologische Grenze stoßen. Verbesserungen, die früher durch einfaches Skalieren großer Sprachmodelle erzielt wurden, indem mehr Parameter, Trainingsdaten und Rechenleistung hinzugefügt wurden, verlangsamen sich nun und bringen kaum noch signifikante Fortschritte.
Der kognitive Wissenschaftler und KI-Skeptiker Gary Marcus warnt davor, dass die gesamte Branche abstürzen könnte, sobald jeder diese Mängel erkennt. Er betont, dass die hohen Bewertungen von Unternehmen wie OpenAI und Microsoft größtenteils auf der Annahme beruhen, dass LLMs durch kontinuierliches Skalieren zu einer künstlichen allgemeinen Intelligenz werden.
Ein Alarmsignal war das jüngste Bericht von The Information über das bevorstehende Flaggschiffmodell von OpenAI mit dem Codenamen Orion. Es zeigte deutlich weniger Verbesserung gegenüber seinem Vorgänger GPT-4 als GPT-4 gegenüber GPT-3. In Bereichen wie dem Programmieren – einem Hauptanreiz für diese LLMs – gibt es möglicherweise nicht einmal Verbesserungen.
Dies wird auch anderswo in der Branche bestätigt. Ilya Sutskever, Gründer des Startups Safe Superintelligence und Mitbegründer sowie ehemaliger Chef-Wissenschaftler von OpenAI, sagte Reuters, dass Verbesserungen durch das Skalieren von KI-Modellen stagniert haben.
Es könnte jedoch einen Ausweg aus diesem wirtschaftlichen Dilemma geben. OpenAI-Forscher entwickeln Wege zur Überwindung des Skalierungsproblems, z.B. durch Schulung der Modelle zum ‚Denken‘ oder ‚Schlussfolgern‘ ähnlich wie Menschen es tun. Ob solche Arbeiten einen neuen Weg zur Verfolgung signifikanter KI-Verbesserungen ebnen werden, bleibt abzuwarten.
