Unbenannte Forscher von OpenAI haben The Information mitgeteilt, dass Orion (auch bekannt als GPT 5), das nächste vollwertige Modell von OpenAI, einen geringeren Leistungssprung zeigt als der zwischen GPT-3 und GPT-4 in den letzten Jahren. Auf bestimmten Aufgaben ist das Orion-Modell laut unbenannten Forschern von OpenAI nicht zuverlässig besser als sein Vorgänger.
Eine große Herausforderung beim Training ist laut Experten ein Mangel an neuen qualitativ hochwertigen Textdaten für neue LLMs. Es gibt viele Arten von Daten jenseits von menschengenerierten öffentlich verfügbaren Textdaten, darunter Bilder und Videos, private Daten wie Sofortnachrichtenkonversationen und KI-generierte synthetische Daten.
Epoch AI entschied sich aus drei Gründen dafür, sich auf öffentliche menschliche Textdaten zu konzentrieren: Text ist die Hauptmodalität zur Schulung moderner Modelle und wird wahrscheinlich zum Engpass werden. KI-generierte synthetische Daten sind noch nicht gut verstanden und haben nur in relativ engen Bereichen wie Mathematik und Codierung zuverlässig Verbesserungen gezeigt.
Epoch AI schätzt, dass die für moderne KI-Modelle verwendete Trainingsberechnung von 2010 bis 2024 jedes Jahr um das 4-5-fache gewachsen ist. Dieses schnelle Wachstum übertrifft bei weitem Moores Gesetz.
Es wird erwartet, dass die Skalierung entlang dreier Dimensionen endet. Eine vielversprechendere Möglichkeit, diese Grenze zu überwinden, scheint eine aggressivere Skalierung der Batchgrößen während des Trainings zu sein.
Die Schätzung der benötigten Rechenkapazität für das Training großer KI-Modelle bis 2030 deutet auf massive Herausforderungen hin. Die Datenspeicherung wird ebenfalls ein Problem darstellen. Die Verfügbarkeit großer Datensätze ist entscheidend für das Training großer KI-Modelle.
Die Latenzgrenze stellt eine Art ‚Geschwindigkeitsbegrenzung‘ dar und setzt eine Obergrenze für das Training von FLOP innerhalb eines bestimmten Zeitrahmens fest.
Brian Wang ist ein Futurist Thought Leader und beliebter Wissenschaftsblogger mit monatlich einer Million Lesern. Sein Blog Nextbigfuture.com belegt den ersten Platz unter den Wissenschaftsnachrichtenblogs.
