Notícias

Sep 07, 2023

Reduzindo as crescentes necessidades de energia do aprendizado de máquina

À luz da crescente preocupação com os requisitos de energia de grandes máquinas

Por

À luz da crescente preocupação com os requisitos de energia de grandes modelos de aprendizado de máquina, um estudo recente do MIT Lincoln Laboratory e da Northeastern University investigou as economias que podem ser feitas por GPUs de limitação de energia empregadas no treinamento e inferência de modelos, bem como vários outros técnicas e métodos para reduzir o uso de energia de IA.

O novo trabalho também exige que novos artigos de IA sejam concluídos com uma 'Declaração de Energia' (semelhante à tendência recente de declarações de 'implicação ética' em artigos do setor de pesquisa de aprendizado de máquina).

A principal sugestão do trabalho é que o limite de energia (limitando a energia disponível para a GPU que está treinando o modelo) oferece benefícios valiosos de economia de energia, especialmente para Masked Language Modeling (MLM) e estruturas como BERT e seus derivados.

Redes de modelagem de três idiomas operando em uma porcentagem das configurações padrão de 250 W (linha preta), em termos de uso de energia. Restringir o consumo de energia não restringe a eficiência ou a precisão do treinamento em uma base de 1 para 1 e oferece economia de energia notável em escala. Fonte: https://arxiv.org/pdf/2205.09646.pdf

Para modelos de maior escala, que chamaram a atenção nos últimos anos devido a conjuntos de dados em hiperescala e novos modelos com bilhões ou trilhões de parâmetros, economias semelhantes podem ser obtidas como uma compensação entre o tempo de treinamento e o uso de energia.

Treinando modelos de NLP mais formidáveis ​​em escala sob restrições de energia. O tempo relativo médio sob um limite de 150 W é mostrado em azul e o consumo médio relativo de energia para 150 W em laranja.

Para essas implantações de maior escala, os pesquisadores descobriram que um limite de 150 W na utilização de energia obteve uma redução média de 13,7% no uso de energia em comparação com o máximo padrão de 250 W, bem como um aumento relativamente pequeno de 6,8% no tempo de treinamento.

Além disso, os pesquisadores observam que, apesar das manchetes de que o custo do treinamento de modelos ganhou nos últimos anos, os custos de energia de realmente usar os modelos treinados são muito maiores*.

'Para a modelagem de linguagem com BERT, os ganhos de energia através do power-capping são visivelmente maiores ao realizar a inferência do que para o treinamento. Se isso for consistente para outros aplicativos de IA, isso pode ter ramificações significativas em termos de consumo de energia para plataformas de computação em nuvem ou de larga escala que atendem a aplicativos de inferência para pesquisa e indústria.'

Além disso, e talvez de forma mais controversa, o artigo sugere que o treinamento principal de modelos de aprendizado de máquina seja relegado aos meses mais frios do ano e à noite, para economizar nos custos de resfriamento.

Acima, as estatísticas de PUE para cada dia de 2020 no data center dos autores, com um pico/platô notável e sustentado nos meses de verão. Abaixo, a variação horária média em PUE para o mesmo local ao longo de uma semana, com o consumo de energia aumentando no meio do dia, já que tanto o hardware interno de resfriamento da GPU quanto o resfriamento ambiente do data center lutam para manter uma temperatura viável.

Os autores afirmam:

'Evidentemente, cargas de trabalho pesadas de PNL são normalmente muito menos eficientes no verão do que aquelas executadas durante o inverno. Dada a grande variação sazonal, se houver, há experimentos computacionalmente caros que podem ser cronometrados para meses mais frios, esse tempo pode reduzir significativamente a pegada de carbono.'

O documento também reconhece as possibilidades emergentes de economia de energia que são possíveis por meio da poda e otimização da arquitetura do modelo e dos fluxos de trabalho – embora os autores deixem o desenvolvimento desse caminho para outras iniciativas.

Por fim, os autores sugerem que novos artigos científicos do setor de aprendizado de máquina sejam incentivados, ou talvez constrangidos, a fechar com uma declaração declarando o uso de energia do trabalho realizado na pesquisa e as possíveis implicações energéticas da adoção de iniciativas sugeridas no trabalho .

O artigo, dando o exemplo, explica as implicações energéticas de sua própria pesquisa.