KI-Skalierungsgesetze und ihre abnehmenden Erträge, erklärt mit Zitronen

Wie erklärt die Zitronen-Analogie die Skalierung von KI?

Die Zitronen-Analogie vergleicht zwei Wege, möglichst schnell 100 Milliliter Zitronensaft zu gewinnen. Der erste Weg nimmt ein oder zwei kleine Zitronen und presst sie sorgfältig aus, immer wieder, bis der letzte Tropfen heraus ist. Der zweite Weg nimmt drei oder vier große Zitronen und presst jede einmal kräftig aus. Beide Wege funktionieren. Der zweite ist schneller, besser vorhersagbar und skaliert besser, um den Preis, dass mehr Zitronen verbraucht werden.

Die moderne KI-Entwicklung folgt heute in etwa dem zweiten Weg. Das Paper hinter diesem Ansatz ist Scaling Laws for Neural Language Models. Das Paper untersucht, wie sich die Leistung von KI-Sprachmodellen verändert, wenn die Modelle hochskaliert werden. Seine Ergebnisse verlagerten den Wettbewerb zwischen KI-Giganten wie OpenAI und Google vom Bau der „klügsten“ Modelle hin zum Einkauf von mehr Gehirnleistung.

Was ist Gehirnleistung bei der Skalierung von KI?

Gehirnleistung bezeichnet im Zusammenhang mit der Skalierung von KI drei konkrete Ressourcen; der Begriff behauptet nichts über Intelligenz im menschlichen Sinn. Die drei Ressourcen sind:

• Modellgröße: wie viele Parameter das Modell hat. In der Praxis sind Parameter die Millionen oder Milliarden Zahlen, mit denen ein Modell Muster und Zusammenhänge speichert.

• Trainingsdaten: aus wie viel Text und anderen Daten das Modell lernt.

• Rechenleistung: wie viel Rechenkapazität das Training verbraucht. In der Praxis bedeutet Rechenleistung, wie viele NVIDIA-Chips sich ein Entwickler leisten kann und wie lange.

Zusammen bilden Modellgröße, Trainingsdaten und Rechenleistung den Motor hinter vielen KI-Modellen, die Menschen täglich nutzen, etwa ChatGPT oder Gemini. Die drei Ressourcen sind eng miteinander verknüpft. Ist eine Ressource begrenzt, können die beiden anderen das oft ausgleichen, aber nur, indem die Kosten an anderer Stelle steigen.

Wie sagen die Skalierungsgesetze der KI die Modellleistung voraus?

Die Skalierungsgesetze der KI sagen voraus, dass sich die Modellleistung mit wachsender Modellgröße, mehr Trainingsdaten und mehr Rechenleistung verbessert, und zwar entlang glatter Kurven ohne plötzliche Sprünge. Die Autoren von Scaling Laws for Neural Language Models zeigen, dass Forschende dank dieser Vorhersagbarkeit im Voraus abschätzen können, wie viel Verbesserung sie durch den Einsatz weiterer Ressourcen wahrscheinlich erzielen. In der Zitronen-Analogie wissen die Forschenden, dass 4 weitere Zitronen etwa 100 ml Saft ergeben.

Das Paper findet ein zweites Muster: Skalierung zählt mehr als clevere Optimierung. Sobald ein Modell einigermaßen gut entworfen ist, bringt zusätzliches Feintuning nur begrenzte Gewinne. Mehr Kapazität, Daten und Rechenleistung führen in der Regel zu verlässlicheren Verbesserungen, als aus kleineren Modellen zusätzliche Leistung herauszupressen.

Was ist das optimale Gleichgewicht zwischen Modellgröße und Trainingsdaten?

Ein optimales KI-Modell bringt laut Scaling Laws for Neural Language Models Modellgröße und Trainingsdaten ins Gleichgewicht. Skalieren bedeutet im Sinne des Papers, dieses Gleichgewicht zu wählen, statt blind alles zu vergrößern. Viele Modelle sind entweder zu groß für die Daten, die sie sehen, oder für ihre Größe mit zu wenig Daten trainiert, und beide Ungleichgewichte verschwenden Rechenleistung.

Die Autoren stellen außerdem fest, dass größere Modelle stichprobeneffizienter sind. Größere Modelle lernen aus jedem Beispiel mehr und erreichen oft mit weniger Trainingsschritten eine höhere Leistung als kleinere Modelle mit sorgfältiger Optimierung. Die Stichprobeneffizienz erklärt mit, warum Skalierung dominant wurde: Skalierung ist einfacher und oft ein effizienterer Weg zum Fortschritt, auch wenn jede Verbesserung mehr kostet. Modellgröße, Trainingsdaten und Rechenleistung bleiben dabei durchgehend eng verknüpft, sodass sich eine Begrenzung bei einer Ressource oft durch die beiden anderen ausgleichen lässt, zu höheren Kosten an anderer Stelle.

Warum haben die Skalierungsgesetze der KI abnehmende Erträge?

Abnehmende Erträge sind unter den Skalierungsgesetzen aus Scaling Laws for Neural Language Models unvermeidlich: Jede zusätzliche Einheit Rechenleistung bringt eine kleinere Verbesserung als die vorige. Skalierung funktioniert weiterhin und wird mit jedem Schritt teurer, wirtschaftlich wie operativ.

Das Paper macht deutlich, warum eine gebündelte Anstrengung, bei der KI-Entwickler zusammenarbeiten und Billionen für Rechenleistung ausgeben, um eine weit bessere KI zu erhalten, an Grenzen stößt: Abnehmende Erträge sind unvermeidlich. Ist eine der drei Ressourcen begrenzt, können sich Modellgröße, Trainingsdaten und Rechenleistung oft gegenseitig ausgleichen, aber nur, indem die Kosten an anderer Stelle steigen.

Irgendwann verschiebt sich die Frage für KI-Entwickler von „Können wir weiter skalieren?“ zu „Lohnt es sich, für die marginalen Gewinne zu zahlen, die wir erhalten?“

Was kommt in der KI-Entwicklung nach der Skalierung?

Thalius vertritt die Auffassung, dass die Grenzen der Skalierung den Beginn der nächsten Phase der KI-Entwicklung markieren. Scaling Laws for Neural Language Models hat einen Großteil der Grundlage für die heutigen großen Sprachmodelle gelegt, und das Paper legt zugleich eine strukturelle Grenze offen: Fortschritt, der vor allem auf Skalierung beruht, wird mit jedem Schritt teurer und weniger effizient. Unter den Skalierungsgesetzen bringt jede zusätzliche Einheit Rechenleistung eine kleinere Verbesserung als die vorige.

In der nächsten Phase entstehen Gewinne nach Ansicht von Thalius durch den Entwurf von Systemen, die Intelligenz bewusster einsetzen, statt durch den Kauf von mehr Rechenleistung. Thalius arbeitet an diesem Wandel. Mehr dazu bald.