Detener el creciente consumo de energía del aprendizaje automático

Ante el preocupante aumento de las demandas de energía asociadas a la implementación de grandes modelos de machine learning, se ha realizado un estudio reciente por parte del Laboratorio Lincoln del MIT y de la Universidad Northeastern. Este estudio ha explorado los posibles ahorros energéticos obtenibles al restringir la potencia de las GPU dedicadas al entrenamiento y la inferencia de modelos, además de emplear diversas técnicas para limitar el consumo de energía en la Inteligencia Artificial.

El citado estudio propone que los nuevos papers sobre Inteligencia Artificial deben terminar con una «Declaración de energía», de forma parecida a como se ha marcado una tendencia reciente a incluir declaraciones de «implicaciones éticas» en los artículos de investigación en el campo del aprendizaje automático.

Aplicando limitaciones de energía en IA

El estudio resalta que el principal planteamiento es que la limitación de energía, reduciendo la potencia disponible para la GPU que entrena el modelo, supone una valiosa estrategia en términos de ahorro de energía, especialmente cuando se trata de aplicaciones como el modelaje de lenguaje con enmascaramiento (MLM) y frameworks como BERT y derivados.

Modelado de redes trilingües funcionando a un porcentaje de la configuración predeterminada de 250 W (línea negra), en términos de uso de energía. Limitar el consumo energético no compromete la eficacia ni la precisión del entrenamiento individualmente y presenta considerables ahorros de energía a nivel global. Fuente: https://arxiv.org/pdf/2205.09646.pdf

La escalabilidad de los modelos

En cuanto a los modelos a gran escala, que han captado la atención en años recientes debido a los conjuntos de datos de hiperescala y nuevos modelos con miles de millones o incluso billones de parámetros, los ahorros energéticos pueden lograrse mediante equilibrar el tiempo de entrenamiento y el uso de energía.

Entrenando modelos de PNL más potentes a escala con limitaciones de energía. El tiempo promedio relativo bajo un límite de 150 W se muestra en azul y el consumo promedio de energía relativo para 150 W en naranja.

En estos casos de uso en mayor escala, los investigadores descubrieron que un límite de 150 W en el consumo de energía obtuvo una reducción promedio del 13,7% en el uso de energía en comparación con el máximo predeterminado de 250 W, así como un modesto incremento del 6,8 % en el tiempo de entrenamiento.

Además, los investigadores destacan que a pesar de las noticias que indican que el costo de entrenamiento de los modelos ha incrementado en los años recientes, los costos de energía para usar realmente los modelos ya entrenados son sustancialmente mayores.

‘Para el modelado de lenguaje con BERT, los ahorros de energía a través de la limitación de potencia son notablemente mayores durante la etapa de inferencia respecto al entrenamiento. Si esto es consistente con otras aplicaciones de IA, podría tener implicaciones significativas en términos de consumo de energía para las plataformas de computación en la nube o en escala que implementan aplicaciones de inferencia para investigación o industria.’

Periodos de Entrenamiento Óptimos

Otro punto que se sugiere en el estudio, y tal vez uno de los más polémicos, es que el entrenamiento principal de los modelos de aprendizaje automático se relegue a los meses más fríos del año y a las horas de la noche, para economizar en los costos de refrigeración.

<p id=»caption-attachment-181648″ class=»wp-caption-text