Las leyes de escalado de la IA y sus rendimientos decrecientes, explicados con limones

¿Cómo explica la analogía de los limones el escalado de la IA?

La analogía de los limones compara dos formas de producir 100 mililitros de zumo de limón lo más rápido posible. La primera forma toma uno o dos limones pequeños y los exprime con cuidado, una y otra vez, hasta sacar la última gota. La segunda forma toma tres o cuatro limones grandes y da a cada uno un único apretón firme. Ambas formas funcionan. La segunda es más rápida, más predecible y escala mejor, a costa de usar más limones.

El desarrollo moderno de la IA sigue hoy, a grandes rasgos, la segunda forma. El artículo que hay detrás de ese enfoque es Scaling Laws for Neural Language Models. El artículo estudia cómo cambia el rendimiento de los modelos de lenguaje de IA cuando se escalan. Sus hallazgos hicieron que la competencia entre gigantes de la IA como OpenAI y Google pasara de construir los modelos «más inteligentes» a comprar más potencia cerebral.

¿Qué es la potencia cerebral en el escalado de la IA?

La potencia cerebral, en el contexto del escalado de la IA, se refiere a tres recursos concretos, y el término no pretende hablar de inteligencia en el sentido humano. Los tres recursos son:

• Tamaño del modelo: cuántos parámetros tiene el modelo. En la práctica, los parámetros son los millones o miles de millones de números que un modelo usa para almacenar patrones y relaciones.

• Datos de entrenamiento: cuánto texto, y otros datos, usa el modelo para aprender.

• Cómputo: cuánta capacidad de procesamiento usa el entrenamiento. En la práctica, el cómputo es cuántos chips de NVIDIA puede permitirse hacer funcionar un desarrollador, y durante cuánto tiempo.

Juntos, el tamaño del modelo, los datos de entrenamiento y el cómputo forman el motor de muchos de los modelos de IA que la gente usa a diario, como ChatGPT o Gemini. Los tres recursos están estrechamente ligados. Cuando un recurso está limitado, los otros dos a menudo pueden compensarlo, pero solo aumentando el coste en otra parte.

¿Cómo predicen las leyes de escalado de la IA el rendimiento de los modelos?

Las leyes de escalado de la IA predicen que el rendimiento del modelo mejora a medida que aumentan el tamaño del modelo, los datos de entrenamiento y el cómputo, y que la mejora sigue curvas suaves sin saltos repentinos. Los autores de Scaling Laws for Neural Language Models muestran que esta predictibilidad permite a los investigadores estimar de antemano cuánta mejora obtendrán probablemente al invertir más recursos. En la analogía de los limones, los investigadores saben que comprar 4 limones más da unos 100 ml de zumo.

El artículo encuentra un segundo patrón: la escala importa más que la optimización ingeniosa. Una vez que un modelo está razonablemente bien diseñado, el ajuste adicional aporta ganancias limitadas. Aumentar la capacidad, los datos y el cómputo tiende a producir mejoras más fiables que exprimir rendimiento extra de modelos más pequeños.

¿Cuál es el equilibrio óptimo entre el tamaño del modelo y los datos de entrenamiento?

Un modelo de IA óptimo, según Scaling Laws for Neural Language Models, equilibra el tamaño del modelo con los datos de entrenamiento. Escalar, en el sentido del artículo, significa elegir ese equilibrio en lugar de aumentarlo todo a ciegas. Muchos modelos son demasiado grandes para los datos que ven o se entrenan con demasiados pocos datos para su tamaño, y ambos desequilibrios llevan a desperdiciar cómputo.

Los autores también encuentran que los modelos más grandes son más eficientes por muestra. Los modelos mayores aprenden más de cada ejemplo y a menudo alcanzan un rendimiento superior con menos pasos de entrenamiento que modelos más pequeños con una optimización cuidadosa. La eficiencia por muestra ayuda a explicar por qué el escalado se volvió dominante: escalar es más sencillo, y a menudo una forma más eficiente de avanzar, aunque cada mejora tenga un coste mayor. El tamaño del modelo, los datos de entrenamiento y el cómputo siguen estrechamente ligados en todo momento, así que el límite de un recurso a menudo puede compensarse con los otros dos, con un coste mayor en otra parte.

¿Por qué las leyes de escalado de la IA tienen rendimientos decrecientes?

Los rendimientos decrecientes son inevitables según las leyes de escalado de Scaling Laws for Neural Language Models: cada unidad adicional de cómputo produce una mejora menor que la anterior. El escalado sigue funcionando, y se vuelve más caro con cada paso, tanto económica como operativamente.

El artículo deja claro por qué un esfuerzo conjunto, en el que los desarrolladores de IA colaboran y gastan billones en cómputo para conseguir una IA muchísimo mejor, choca con sus límites: los rendimientos decrecientes son inevitables. Cuando uno de los tres recursos está limitado, el tamaño del modelo, los datos de entrenamiento y el cómputo a menudo pueden compensarse entre sí, pero solo aumentando el coste en otra parte.

En algún momento, la pregunta para los desarrolladores de IA pasa de «¿podemos escalar más?» a «¿merece la pena pagar por las ganancias marginales que obtenemos?».

¿Qué viene después del escalado en el desarrollo de la IA?

Thalius sostiene que los límites del escalado marcan el inicio de la siguiente fase del desarrollo de la IA. Scaling Laws for Neural Language Models sentó gran parte de las bases de los grandes modelos de lenguaje actuales, y el artículo también expone un límite estructural: el progreso que depende principalmente de la escala se vuelve más caro y menos eficiente con cada paso. Según las leyes de escalado, cada unidad adicional de cómputo produce una mejora menor que la anterior.

En la siguiente fase, tal como lo ve Thalius, las ganancias vienen de diseñar sistemas que usen la inteligencia de forma más deliberada, en lugar de comprar más cómputo. Thalius trabaja en ese cambio. Pronto, más sobre esto.