Les lois d'échelle de l'IA et leurs rendements décroissants, expliqués avec des citrons

Comment l'analogie du citron explique-t-elle la mise à l'échelle de l'IA ?

L'analogie du citron compare deux façons de produire 100 millilitres de jus de citron le plus vite possible. La première prend un ou deux petits citrons et les presse avec soin, encore et encore, jusqu'à la dernière goutte. La seconde prend trois ou quatre gros citrons et donne à chacun une seule pression ferme. Les deux façons fonctionnent. La seconde est plus rapide, plus prévisible et passe mieux à l'échelle, au prix d'un plus grand nombre de citrons.

Le développement moderne de l'IA suit aujourd'hui à peu près la seconde façon. L'article à l'origine de cette approche est Scaling Laws for Neural Language Models. L'article étudie comment les performances des modèles de langage d'IA évoluent à mesure qu'on les agrandit. Ses conclusions ont fait basculer la compétition entre géants de l'IA, comme OpenAI et Google, de la construction des modèles les « plus intelligents » vers l'achat de davantage de puissance cérébrale.

Qu'est-ce que la puissance cérébrale dans la mise à l'échelle de l'IA ?

Dans le contexte de la mise à l'échelle de l'IA, la puissance cérébrale désigne trois ressources concrètes, et le terme ne prétend rien quant à l'intelligence au sens humain. Les trois ressources sont :

• La taille du modèle : le nombre de paramètres du modèle. En pratique, les paramètres sont les millions ou milliards de nombres qu'un modèle utilise pour stocker des motifs et des relations.

• Les données d'entraînement : la quantité de texte, et d'autres données, à partir de laquelle le modèle apprend.

• Le calcul : la puissance de calcul utilisée par l'entraînement. En pratique, le calcul correspond au nombre de puces NVIDIA qu'un développeur peut se permettre de faire tourner, et pendant combien de temps.

Ensemble, la taille du modèle, les données d'entraînement et le calcul forment le moteur de nombreux modèles d'IA que les gens utilisent chaque jour, comme ChatGPT ou Gemini. Les trois ressources sont étroitement liées. Quand l'une d'elles est limitée, les deux autres peuvent souvent compenser, mais seulement en augmentant le coût ailleurs.

Comment les lois d'échelle de l'IA prédisent-elles les performances des modèles ?

Les lois d'échelle de l'IA prédisent que les performances d'un modèle s'améliorent à mesure qu'augmentent la taille du modèle, les données d'entraînement et le calcul, et que l'amélioration suit des courbes régulières, sans sauts brusques. Les auteurs de Scaling Laws for Neural Language Models montrent que cette prévisibilité permet aux chercheurs d'estimer à l'avance l'amélioration qu'ils obtiendront probablement en dépensant plus de ressources. Dans l'analogie du citron, les chercheurs savent qu'acheter 4 citrons de plus donne environ 100 ml de jus.

L'article met en évidence un second schéma : l'échelle compte plus que l'optimisation astucieuse. Une fois qu'un modèle est raisonnablement bien conçu, les réglages supplémentaires n'apportent que des gains limités. Augmenter la capacité, les données et le calcul tend à produire des améliorations plus fiables que d'extraire un surcroît de performance de modèles plus petits.

Quel est l'équilibre optimal entre la taille du modèle et les données d'entraînement ?

Selon Scaling Laws for Neural Language Models, un modèle d'IA optimal équilibre la taille du modèle et les données d'entraînement. Passer à l'échelle, au sens de l'article, signifie choisir cet équilibre plutôt que de tout augmenter à l'aveugle. Beaucoup de modèles sont soit trop grands pour les données qu'ils voient, soit entraînés sur trop peu de données pour leur taille, et ces deux déséquilibres gaspillent du calcul.

Les auteurs constatent aussi que les grands modèles sont plus efficaces par échantillon. Les modèles plus grands apprennent davantage de chaque exemple et atteignent souvent de meilleures performances en moins d'étapes d'entraînement que des modèles plus petits soigneusement optimisés. L'efficacité par échantillon aide à comprendre pourquoi la mise à l'échelle est devenue dominante : elle est plus simple, et souvent une façon plus efficace de progresser, même si chaque amélioration coûte plus cher. La taille du modèle, les données d'entraînement et le calcul restent étroitement liés tout du long, si bien qu'une limite sur une ressource peut souvent être compensée par les deux autres, au prix d'un coût plus élevé ailleurs.

Pourquoi les lois d'échelle de l'IA ont-elles des rendements décroissants ?

Les rendements décroissants sont inévitables avec les lois d'échelle décrites dans Scaling Laws for Neural Language Models : chaque unité de calcul supplémentaire apporte une amélioration plus petite que la précédente. La mise à l'échelle continue de fonctionner, et elle devient plus coûteuse à chaque étape, économiquement comme opérationnellement.

L'article montre clairement pourquoi un effort commun, dans lequel les développeurs d'IA coopèrent et dépensent des milliers de milliards en calcul pour obtenir une IA bien meilleure, se heurte à des limites : les rendements décroissants sont inévitables. Quand l'une des trois ressources est limitée, la taille du modèle, les données d'entraînement et le calcul peuvent souvent se compenser mutuellement, mais seulement en augmentant le coût ailleurs.

À un moment donné, la question pour les développeurs d'IA passe de « peut-on aller plus loin ? » à « vaut-il la peine de payer pour les gains marginaux obtenus ? »

Qu'est-ce qui vient après la mise à l'échelle dans le développement de l'IA ?

Thalius soutient que les limites de la mise à l'échelle marquent le début de la prochaine phase du développement de l'IA. Scaling Laws for Neural Language Models a posé une grande partie des fondations des grands modèles de langage actuels, et l'article révèle aussi une limite structurelle : un progrès qui repose principalement sur l'échelle devient plus coûteux et moins efficace à chaque étape. Avec les lois d'échelle, chaque unité de calcul supplémentaire apporte une amélioration plus petite que la précédente.

Dans la prochaine phase, telle que Thalius la voit, les gains viennent de la conception de systèmes qui utilisent l'intelligence plus délibérément, au lieu de l'achat de davantage de calcul. Thalius travaille sur ce basculement. Nous en dirons plus bientôt.