Das Magazin der Zukunft - Kostenlos, Futuristisch, Genial.
Die Zukunft des AI-Scaling: Von 32000 zu 100k Chips – Ein Investor erklärt
Investor Gavin Baker diskutiert die Herausforderungen und Potenziale des Skalierens von AI-Modellen auf Tausende von Chips
Gavin Baker, ein Investor für xAI und Hedgefondsmanager, erklärt die Hauptprobleme, die OpenAI und andere hatten: Sie glaubten, dass sie nicht mehr als 32000 h100s den gleichen Speicher teilen und zusammenarbeiten lassen könnten. Elon und sein xAI-Team gingen auf Erstprinzipien zurück und fanden heraus, wie man auf 100k Chips und 200k Chips skalieren kann. Die Skalierungsgesetze wurden noch nicht auf 100k Chips getestet, und Grok 3 im Januar wird der erste sein, der darüber hinausgeht. Wenn die Skalierungsgesetze gelten, übertrifft Grok 3 alle bisherigen Modelle mit mehr Rechenleistung.
Gavin sagt, dass die Debatte über die Grenzen der Rechenleistung albern war, da es keine Skalierung über 32000 GPUs gegeben hat. Es gibt auch eine neue Inferenzskalierung/Testzeit-Rechenleistungsskalierung. Längeres Denken oder mehr Rechenleistung für Inferenz wird die Leistung steigern. Eine weitere Achse der Skalierung ist das Erhöhen des Kontextfensters.
Es wird $100 Milliarden kosten, ein Modell in 2-3 Jahren zu trainieren. Dann wird es Fragen zur Rendite geben. Meta und Google zeigen die besten Renditen und das investierte Kapital aus ihren Finanzdaten im Zeitalter der KI. Die Finanzdaten zeigen Renditen aus besserer Werbeeinnahmen.
All die Startups, die heute KI nutzen, generieren mehr Umsatz mit weniger Personal. Dies zeigt den Wert von KI heute.
Brian Wang ist ein Futurist Thought Leader und ein beliebter Wissenschaftsblogger mit 1 Million Lesern pro Monat. Sein Blog Nextbigfuture.com ist der am höchsten bewertete Wissenschaftsnachrichtenblog. Er deckt viele disruptive Technologien und Trends ab, darunter Raumfahrt, Robotik, Künstliche Intelligenz, Medizin, Anti-Aging-Biotechnologie und Nanotechnologie.
Bekannt für das Identifizieren von Spitzentechnologien ist er derzeit Mitbegründer eines Startups und Geldgeber für vielversprechende Frühphasenunternehmen. Er ist Leiter der Forschung für Allokationen für Investitionen in Deep Technology und Angel-Investor bei Space Angels.
Ein häufiger Redner bei Unternehmen war er TEDx-Sprecher, Singularity University-Sprecher und Gast bei zahlreichen Interviews für Radio und Podcasts. Er steht öffentlichen Vorträgen und Beratungsaufträgen offen gegenüber.
