Google CEO warnt vor schwierigeren Zeiten für KI-Entwicklung

Steilerer Anstieg

Google CEO Sundar Pichai verabschiedet sich von der Ära der einfachen KI-Fortschritte. Auf dem New York Times Dealbook Summit letzte Woche diskutierte Pichai eine der größten Fragen, die derzeit über der Tech-Branche schwebt: Ob die aktuellen Techniken zur Verbesserung von KI-Modellen an ihre Grenzen stoßen.

Er vermied es, direkt auf die technische Seite des Problems einzugehen, war aber unmissverständlich, dass die anfänglich mühelosen Fortschritte in der KI-Entwicklung vorbei sind. ‚Ich denke, der Fortschritt wird schwieriger werden‘, sagte Pichai auf dem Dealbook-Gipfel. ‚Wenn ich mir ’25 anschaue, sind die leicht zugänglichen Früchte verschwunden. Der Berg ist steiler.‘

Mauer zu Mauer

Befürchtungen, dass generative KI-Verbesserungen an eine Grenze stoßen könnten, erreichten letzten Monat ihren Höhepunkt, als Berichte durchsickerten, dass OpenAI-Forscher herausgefunden hatten, dass das bevorstehende große Sprachmodell des Unternehmens mit dem Codenamen Orion deutlich weniger Verbesserungen zeigte – und in einigen Fällen keine klaren Fortschritte im Vergleich zu früheren Iterationen gegenüber deren Vorgängern.

Dies unterstützte den Verdacht, dass das Stärken von KI-Modellen durch Hinzufügen von mehr Daten und Rechenleistung oder ‚Scaling‘ endlich abnehmende Erträge zeigt, wie viele Experten vorhergesagt hatten. Als Reaktion wies OpenAI-CEO Sam Altman diese Behauptungen arrogant zurück und twitterte ‚es gibt keine Mauer‘, während andere in der Organisation ihre KI-Fähigkeiten noch weiter hochlobten.

Pichai sagt zwar selbst, dass er der ‚Mauer-Idee‘ nicht vollständig zustimmt – stimmt aber zu, dass sich KI-Entwickler nicht länger auf das Skalieren verlassen können. ‚Wenn Sie schnell mit dem Skalieren beginnen, können Sie mehr Rechenleistung einsetzen und viel Fortschritt erzielen‘, sagte der Google-CEO bei dem NYT-Event. ‚Wir werden definitiv tiefgreifendere Durchbrüche benötigen, wenn wir in die nächste Phase gehen.‘

‚Ich bin sehr zuversichtlich, dass es 2025 viele Fortschritte geben wird‘, fügte er hinzu. ‚Ich denke, die Modelle werden definitiv besser darin sein zu argumentieren und eine Sequenz von Handlungen zuverlässiger abzuschließen – agiler sozusagen.‘

Der Himmel ist das Limit

Trotzdem glaubt Pichai nicht daran, dass Fortschritte aus der Rechenleistung eine harte Decke erreicht haben. ‚Die aktuelle Menge an Rechenleistung, die wir verwenden, ist nur eine willkürliche Zahl. Es ist nicht so, als ob wir viel Rechenleistung verwenden‘, sagte er. ‚Es gibt keinen Grund, warum wir nicht einfach weiter skalieren können.‘

Dies ist eine bemerkenswerte Behauptung angesichts dessen, dass die größten KI-Modelle einschließlich Googles berüchtigt dafür sind, eine unvorstellbare Menge an Energie zu verbrauchen – so viel, dass sowohl Google als auch Microsoft Atomkraftwerke hochfahren müssen um seinen Energiebedarf zu decken.

Gleichzeitig sind die heiß begehrten KI-Chips auf dem Markt so gefragt, dass Hersteller Nvidia kaum hinterherkommen kann. All dies scheinen offensichtliche Hindernisse dafür zu sein, warum man nicht endlos skalieren kann.

Dennoch räumt Pichai ein, dass alleiniges Skalieren nicht ausreichen wird. Was sich als Unterscheidungsmerkmale erweisen wird sind ‚technische‘ und ‚algorithmische‘ Durchbrüche sagte er.