Nvidia AI Chips übertreffen Moore's Law

Jensen Huang, CEO von Nvidia, hat eine kühne Behauptung aufgestellt: Die Leistung der KI-Chips von Nvidia schreitet in einem Tempo voran, das die historischen Maßstäbe des Mooreschen Gesetzes übertrifft. Diese Aussage, die während eines Interviews mit TechCrunch auf der CES 2025 gemacht wurde, stellt Nvidia in den Mittelpunkt dessen, was Huang als eine neue "Hyper-Moore's-Law"-Ära bezeichnet, in der der Fortschritt in der KI-Hardware das traditionelle Tempo der Computerinnovation weit übertrifft.

Das Mooresche Gesetz, das 1965 von Gordon Moore, dem Mitbegründer von Intel, geprägt wurde, sagte voraus, dass sich die Anzahl der Transistoren auf einem Chip etwa alle zwei Jahre verdoppeln würde, wodurch sich die Leistung effektiv verdoppelte. Dies galt jahrzehntelang und führte zu exponentiellen Steigerungen der Rechenleistung bei sinkenden Kosten. In den letzten Jahren hat sich Moore's Law jedoch verlangsamt, so dass sich viele fragen, ob das Innovationstempo nachgelassen hat. Laut Huang beschleunigen sich die Fortschritte von Nvidia bei KI-Chips jedoch auf einer ganz anderen Ebene.

Huang argumentiert, dass die einzigartige Fähigkeit des Unternehmens, über den gesamten Technologiestapel hinweg zu innovieren - von der Chiparchitektur bis zu den Algorithmen - es Nvidia ermöglicht, die traditionellen Grenzen der Hardwareskalierung zu überschreiten. Während seiner Keynote auf der CES präsentierte er Nvidias neuesten Superchip für Rechenzentren, den GB200 NVL72, und behauptete, er sei 30 bis 40 Mal schneller bei der Ausführung von KI-Inferenz-Workloads als sein Vorgänger, der H100.

Dieser Fokus auf Inferenzen ist entscheidend. Die KI-Branche verlagert sich vom Training massiver Sprachmodelle auf die Optimierung ihrer Leistung in der realen Anwendung, der so genannten Inferenz. Der effiziente Betrieb von KI-Modellen in großem Maßstab ist teuer, und viele haben sich gefragt, ob die Kosten der Inferenz die Akzeptanz beeinträchtigen werden. Das o3-Modell von OpenAI, das während der Inferenz einen rechenintensiven "Test-Time-Compute"-Prozess einsetzt, hat aufgrund der hohen Betriebskosten Bedenken hinsichtlich der Zugänglichkeit aufgeworfen.

Huang glaubt jedoch, dass die Chips von Nvidia dieses Problem lösen werden. "Unsere Systeme entwickeln sich viel schneller als das Mooresche Gesetz", sagte er. "Die direkte und unmittelbare Lösung für Testzeitberechnungen, sowohl in Bezug auf die Leistung als auch auf die Erschwinglichkeit, besteht darin, unsere Rechenleistung zu erhöhen." Seiner Ansicht nach werden schnellere Chips die Kosten für Schlussfolgerungen mit der Zeit senken und fortschrittliche KI-Modelle zugänglicher und skalierbarer machen.

Diese Sichtweise deckt sich mit Nvidias breiterer Geschäftsstrategie. Da Unternehmen wie OpenAI, Google und Anthropic in hohem Maße auf Nvidia-Chips angewiesen sind, um ihre Modelle zu betreiben, ist Nvidia durch seine Dominanz bei KI-Hardware zu einem der wertvollsten Unternehmen der Welt geworden. Huangs Botschaft ist klar: Nvidia ist in der Lage, mit den Fortschritten der KI nicht nur Schritt zu halten, sondern sie anzuführen.

Trotz des Optimismus bleibt eine gewisse Skepsis bestehen. KI-Modelle, die sich in hohem Maße auf Berechnungen während der Testphase stützen, sind derzeit teuer im Betrieb. So gab OpenAI Berichten zufolge fast 20 Dollar pro Aufgabe aus, um mit o3 bei einem allgemeinen Intelligenztest Ergebnisse auf menschlichem Niveau zu erzielen - ein krasser Gegensatz zu den 20 Dollar Monatsbeitrag für ChatGPT Plus. Huang besteht jedoch darauf, dass Leistungsdurchbrüche wie bei den neuesten Chips von Nvidia diese Modelle mit der Zeit erschwinglicher machen werden.

Dies ist nicht das erste Mal, dass Huang andeutet, dass Nvidia das Mooresche Gesetz übertrifft. In einem Podcast im vergangenen November bezeichnete er die rasanten Fortschritte bei der KI-Hardware als eine Art "Hyper-Moore's Law". Auf der CES bekräftigte er diese Aussage und hob die drei KI-Skalierungsgesetze hervor, die seiner Meinung nach die Zukunft der KI-Entwicklung prägen werden: Pre-Training (bei dem Modelle aus großen Datensätzen lernen), Post-Training (Feinabstimmung von Modellen für bestimmte Aufgaben) und Test-Time-Compute (bei dem KI-Modelle Aufgaben in Echtzeit verarbeiten).

Für Nvidia geht es bei der Fokussierung auf Test-Time-Compute nicht nur darum, KI effizienter zu machen, sondern auch darum, die Wirtschaftlichkeit von KI grundlegend zu verändern. "Dasselbe, was Moore's Law für die Rechenkosten bewirkt hat, wird auch für die Inferenztechnik gelten", so Huang. Die zugrundeliegende Botschaft ist, dass mit der Verbesserung der KI-Chips die Ausführung komplexer Modelle wie o3 immer erschwinglicher wird, was neue Möglichkeiten für den Einsatz von KI sowohl bei Verbraucher- als auch bei Unternehmensanwendungen eröffnet.

Rückblickend stellte Huang fest, dass die KI-Chips von Nvidia heute 1.000 Mal leistungsfähiger sind als noch vor einem Jahrzehnt. Das ist eine erstaunliche Behauptung, die das Tempo des Wandels bei KI-Hardware verdeutlicht. Die Herausforderung für Nvidia besteht nun darin, dafür zu sorgen, dass seine Innovationen nicht nur in der Sphäre von High-End-Tech-Unternehmen bleiben, sondern für Unternehmen und Privatpersonen gleichermaßen zugänglich werden.

Bei Rendr trifft diese Entwicklung der KI-Hardware den Nagel auf den Kopf. Im vergangenen Jahr haben wir aus erster Hand erfahren, wie die Fortschritte bei KI-Tools und -Infrastruktur die Art und Weise, wie wir Software entwickeln, verändert haben. Die anfängliche Skepsis gegenüber dem Potenzial von KI in der Entwicklung wandelte sich schnell, als wir KI in unseren Workflow integrierten. Die Ergebnisse sprechen für sich: schnellere MVPs, umfassendere Lösungen und - was am wichtigsten ist - bessere Ergebnisse für unsere Kunden.

Was Huang als "Hyper Moore's Law" beschreibt, haben wir direkt erlebt. Die heute verfügbaren Tools, die von Chips wie denen von Nvidia angetrieben werden, ermöglichen es Teammitgliedern, die keine Ingenieure sind, komplexe Lösungen mit KI zu entwickeln, wobei die Entwickler eher als Coaches denn als traditionelle Programmierer fungieren. Dieser Wandel hin zu einer KI-gestützten Entwicklung wird sich nur noch beschleunigen.

Das Versprechen der jüngsten Durchbrüche von Nvidia - Senkung der Kosten für Inferenzen und Steigerung der Leistung - lässt vermuten, dass die Hürden für die Einführung von KI weiter sinken werden. Wenn sich Huangs Vision bewahrheitet, sehen wir einer Zukunft entgegen, in der KI-gesteuerte Lösungen allgegenwärtiger und zugänglicher werden als je zuvor. Es ist eine Zukunft, auf die wir uns bei Rendr aktiv vorbereiten, in der KI nicht mehr nur ein Werkzeug ist, sondern ein zentraler Bestandteil der Art und Weise, wie wir bauen, schaffen und innovieren.

Referenzen

• Maxwell Zeff (2025). Nvidia-CEO sagt, seine KI-Chips verbessern sich schneller als das Mooresche Gesetz TechCrunch. Available online. Abgerufen am 12. Januar 2025.
• Isaak Kamau (2024). Test-Time Compute Scaling: How to make an LLM "think longer" on harder problems like OpenAI's o1 model. Medium. Available online. Abgerufen am 12. Januar 2025.
• Kif Leswing (2024). Nvidia verdoppelt fast den Umsatz aufgrund der starken KI-Nachfrage. CNBC. Available online. Abgerufen am 12. Januar 2025.