Diminuir para crescer: A evolução dos modelos de linguagem para uma Inteligência Artificial mais Ecológica

Na vanguarda da inovação tecnológica, a Inteligência Artificial (IA) generativa está remodelando nossas concepções sobre o possível e transformando nossa interação com o ambiente digital.

Enquanto os Modelos de Linguagem de Grande Escala (LLMs), como o GPT, se tornam cada vez mais fundamentais em nosso cotidiano, crescem as preocupações sobre o consumo energético necessário para suportar tais avanços, levantando debates essenciais sobre a sustentabilidade ambiental.

Diante desse cenário, surgem os Pequenos Modelos de Linguagem (SLMs) como soluções promissoras para minimizar a pegada ecológica da IA, sem que haja perda significativa de eficácia.

O consumo dos LLMs

Consideremos o GPT-4, uma criação da OpenAI. Seu treinamento demanda cerca de 28.800.000 kWh, o equivalente ao consumo energético anual de aproximadamente 1.300 lares nos Estados Unidos. Esse processo de treinamento ocorre uma única vez e define os parâmetros para as futuras inferências.

O GPT4 consome entre 0,001 e 0,01 kWh por uso. Em comparação, uma pesquisa no Google consome cerca de 0,0003 kWh. Isso evidencia que a operação de LLMs como o GPT-4 pode ser de entre 3,3 a 33,3 vezes mais demandante em termos energéticos do que atividades online comuns.

Para contextualizar, enquanto o Google processa cerca de 3,5 bilhões de buscas diariamente, exigindo o suporte energético de aproximadamente 37 geradores eólicos, o uso do GPT-4 em escala semelhante demandaria entre 124 a 1.245 geradores, dependendo da complexidade dos prompts.

A utilização de grandes LLMs estende-se para além da procura de informações na internet, alcançando aplicações mais exigentes. Isso representa um desafio energético significativo.

No entanto, é crucial reconhecer que, em muitos casos, os LLMs podem substituir o consumo energético pré-existente, mitigando parte da demanda por nova geração de energia.

A Emergência dos SLMs

A disseminação do GPT-3 marcou o início de pesquisas voltadas para a otimização dos LLMs, buscando-se reduzir seu tamanho sem prejudicar sua capacidade.

O Llama, lançado pela Meta em fevereiro de 2023, se destacou por oferecer desempenho comparável ao da OpenAI, mas com uma estrutura significativamente mais enxuta.

Com apenas 70 bilhões de parâmetros, o Llama 2 representa 4% do tamanho do GPT-4, requerendo substancialmente menos energia, inclusive inferior a uma pesquisa na Google.

Apesar de o GPT-4 apresentar vantagens em termos de capacidade geral, o Llama 2 se equipara ao GPT-3.5 em muitas tarefas, evidenciando que, dependendo do contexto, é viável optar por modelos mais compactos sem sacrificar a qualidade dos resultados.

Rumo aos SLMs

Com o avanço dos modelos open source da Meta e os esforços contínuos da OpenAI, uma nova vertente de pesquisa se consolidou, focada no desenvolvimento de modelos ainda menores, com menos de 13 bilhões de parâmetros.

O Orca da Microsoft, por exemplo, destaca-se nesse segmento com seus 7 bilhões de parâmetros, alcançando resultados próximos aos do Llama 2, mas com exigências computacionais comparáveis às de consoles de videogame de última geração.

Esses modelos representam um avanço promissor, capazes de realizar tarefas específicas com grande eficiência e precisão, demandando apenas uma fração da energia requerida pelos modelos maiores.

Espera-se que, futuramente, tais modelos possam ser executados em dispositivos móveis sem prejuízos na qualidade ou velocidade de resposta, potencializando a privacidade, a usabilidade em contextos de conectividade restrita e o acesso democrático a tecnologias de IA de ponta, ao mesmo tempo em que contribuem para a redução do consumo energético nos data centers.

Empresas líderes no desenvolvimento de chips, como Qualcomm e ARM, já vislumbram a integração de SLMs em dispositivos móveis.

A Apple, que atualmente utiliza o Neural Engine para otimizar a execução de redes neurais em iPhones e iPads, tudo indica que está trabalhando para nos próximos anos conseguir integrar a IA Generativa em seus produtos.

Essa transição para modelos de IA mais compactos e eficientes energicamente não só marcaram um avanço tecnológico significativo, mas também representaram um passo crucial em direção a um futuro sustentável.

Ao reduzir a demanda energética para treinamento e operação dos modelos de linguagem, podemos colher os frutos da IA generativa, assegurando o bem-estar do planeta.

Este artigo expressa exclusivamente a posição do autor e não necessariamente da instituição para a qual trabalha ou está vinculado.

Luis Quiles é diretor de Inteligência Artificial da NTT DATA.