Das Magazin der Zukunft - Kostenlos, Futuristisch, Genial.
Die Zukunft der KI: Technische Möglichkeiten und Herausforderungen bis 2030
Eine Analyse der Potenziale und Grenzen des Wachstums von KI-Modellen in den kommenden Jahren
Zu Beginn dieses Jahrzehnts bemerkten KI-Labore, dass das Vergrößern ihrer Algorithmen oder Modelle und das Zuführen von mehr Daten zu enormen Verbesserungen führte. Die neueste Generation von KI-Modellen verfügt über Hunderte Milliarden bis über eine Billion interner Netzwerkverbindungen und lernt, wie wir zu schreiben oder zu coden, indem sie einen großen Teil des Internets konsumiert.
Es erfordert mehr Rechenleistung, um größere Algorithmen zu trainieren. Laut der gemeinnützigen KI-Forschungsorganisation Epoch AI hat sich die für das Training von KI aufgewendete Rechenleistung jedes Jahr vervierfacht. Sollte dieses Wachstum bis 2030 anhalten, würden zukünftige KI-Modelle mit 10.000-mal mehr Rechenleistung als die heutigen Spitzenalgorithmen wie OpenAIs GPT-4 trainiert werden.
Die Industrie hat bereits mit Chip-Knappheit zu kämpfen, und Studien deuten darauf hin, dass möglicherweise ein Mangel an qualitativ hochwertigen Trainingsdaten besteht. Angenommen, Unternehmen weiterhin in die Skalierung von KI investieren: Ist ein Wachstum in diesem Tempo überhaupt technisch möglich?
In seinem Bericht betrachtete Epoch vier der größten Einschränkungen für die Skalierung von KI: Energie, Chips, Daten und Latenz. Zusammenfassend: Ein kontinuierliches Wachstum ist technisch möglich, aber nicht sicher. Hier ist warum.
Energie ist die größte Einschränkung für die Skalierung von KI. Lagerhallen voller fortschrittlicher Chips und Ausrüstung zur Stromversorgung – oder Rechenzentren – sind Energiefresser. Das neueste Frontier-Modell von Meta wurde auf 16.000 der leistungsstärksten Nvidia-Chips trainiert und verbrauchte 27 Megawatt Strom.
Schätzungen zufolge würde das Training eines Frontier-KI-Modells im Jahr 2030 etwa 200-mal mehr Energie benötigen oder ungefähr 6 Gigawatt – was 30 Prozent des heute von allen Rechenzentren verbrauchten Stroms entspricht.
Es gibt nur wenige Kraftwerke, die so viel erzeugen können, und die meisten sind wahrscheinlich langfristig gebunden. Unternehmen werden wahrscheinlich Gebiete suchen, in denen sie über das lokale Stromnetz auf mehrere Kraftwerke zugreifen können.
Um den Engpass zu lösen, könnten Unternehmen das Training zwischen mehreren Rechenzentren aufteilen. Hier würden sie Batches von Trainingsdaten zwischen einer Reihe geografisch getrennter Rechenzentren aufteilen und so den Energiebedarf jedes einzelnen verringern.
Insgesamt schlägt Epoch eine Bandbreite an Möglichkeiten vor – von lokalen Stromquellen mit einem Gigawatt bis hin zu verteilten Stromquellen mit bis zu 45 Gigawatt. Je mehr Energie Unternehmen nutzen können, desto größer sind die Modelle, die sie trainieren können.
