Berichte besagen, dass OpenAI an eine Wand stößt, während es weiterhin mehr Rechenleistung in seine hochgelobten großen Sprachmodelle wie ChatGPT steckt, um intelligentere Ergebnisse zu erzielen.
KI-Modelle benötigen große Mengen an Trainingsdaten und Rechenleistung, um im großen Maßstab zu funktionieren. Laut dem kürzlich ausgeschiedenen Mitbegründer von OpenAI, Ilya Sutskever, deuten die jüngsten Tests des Unternehmens zur Skalierung seiner Modelle darauf hin, dass diese Bemühungen stagniert haben.
Es wird berichtet, dass mit jedem neuen Flaggschiffmodell OpenAI eine Verlangsamung der Art von „Sprüngen“ feststellt, die Benutzer seit der wegweisenden Veröffentlichung von ChatGPT im Dezember 2022 erwarten.
Diese Verlangsamung scheint den Kernglauben in Frage zu stellen, der dem Argument für das Skalieren von KI zugrunde liegt: Solange immer mehr Daten und Rechenleistung vorhanden sind – was ein großes „Wenn“ ist, da Unternehmen bereits an Trainingsdatenmangel leiden und unvorhergesehene Mengen an Strom verbrauchen -, werden diese Modelle weiterhin mit einer konstanten Rate wachsen oder „skalieren“.
Es wird spekuliert, dass alle großen Akteure bereits die Grenzen des längeren Trainierens und der Datensammlung erreicht haben. Es geht jetzt alles um Datenqualität… was Zeit braucht“, so Peleg weiter.
