IA Encolhe: Como Redes de Tensores Combatem a ‘Maldição da Dimensionalidade’
Editor Geral
A explosão de modelos de inteligência artificial (IA) como o ChatGPT trouxe consigo um desafio colossal: o tamanho e o consumo energético desses sistemas. No entanto, uma solução inesperada emerge da física quântica: as redes de tensores. Originalmente desenvolvidas para descrever a complexa interação de partículas quânticas, essas estruturas matemáticas estão se mostrando cruciais para “enxugar” os modelos de IA, prometendo eficiência e sustentabilidade.
A Origem Quântica e a Aplicação na IA
O conceito de redes de tensores surgiu nos anos 90, quando físicos buscavam uma forma de quantificar as intrincadas relações entre partículas em materiais. Román Orús, físico quântico do Donostia International Physics Center na Espanha e cofundador da startup Multiverse Computing, percebeu o potencial dessas redes para resolver gargalos da IA. “Percebemos que, usando redes de tensores, poderíamos abordar alguns dos gargalos”, afirma Orús, cuja empresa está na vanguarda dessa aplicação.
A promessa é tentadora: reduzir significativamente o tamanho de modelos de IA, cortando o consumo de energia e otimizando a eficiência sem comprometer a precisão. Atualmente, a IA consome tanta energia que empresas de tecnologia já planejam pequenas usinas nucleares para seus data centers, e o custo da eletricidade em algumas regiões já reflete essa demanda. Modelos menores também abrem a porta para a execução de IA em dispositivos pessoais, como celulares e eletrodomésticos, eliminando a necessidade de conexão constante à nuvem.
Além da Compressão Convencional
Embora existam outras técnicas para comprimir modelos de IA, como a ‘poda’ (remoção de parâmetros menos importantes) e a ‘quantização’ (redução da precisão dos parâmetros), os defensores das redes de tensores argumentam que sua base em física e matemática oferece uma garantia mais robusta de que o modelo comprimido manterá ou até superará o desempenho original. “Parece ser um acerto sempre que as pessoas tentam”, comenta Miles Stoudenmire, físico do Flatiron Institute em Nova York e entusiasta das redes de tensores.
Stoudenmire e outros pesquisadores buscam ir além da simples compressão, visando criar modelos de IA que sejam construídos com redes de tensores desde o início, em vez de adaptá-los a partir de redes neurais artificiais. As redes neurais, embora poderosas, exigem um tempo e energia consideráveis para treinamento e seus processos internos são difíceis de interpretar. Uma fundação baseada em tensores poderia tornar a IA mais rápida para treinar e mais compreensível.
A ‘Maldição da Dimensionalidade’ e a Solução dos Tensores
As redes de tensores são a resposta dos físicos a um conceito conhecido como “maldição da dimensionalidade”. À medida que os dados se tornam mais complexos e envolvem múltiplas variáveis, seu tamanho explode exponencialmente, tornando o armazenamento computacional impraticável. Tensors são objetos matemáticos que generalizam a ideia de uma matriz (uma planilha bidimensional) para múltiplas dimensões. Ao lidar com muitas variáveis, o tamanho de um tensor pode “inchar” rapidamente, excedendo a capacidade de armazenamento de qualquer computador.
As redes de tensores resolvem isso ao representar um tensor colossal como um conjunto de tensores menores e mais gerenciáveis, conectados por operações chamadas contrações. “É como pegar uma linguiça gigante, demais para uma pessoa cozinhar ou comer, e torcê-la em pontos para fazer cachorros-quentes perfeitamente porcionados”, explica Stoudenmire. Essa técnica é eficaz porque as redes de tensores são hábeis em representar correlações nos dados, que muitas vezes indicam redundância. Ao eliminar essa redundância, a compressão é feita sem perda de poder.
A sinergia com a física quântica reside precisamente nas correlações. Partículas quânticas são exemplos máximos de correlação através do emaranhamento quântico. “Estamos apenas encontrando aqui, em modelos de IA, o que aprendemos na física: que as correlações importam, ponto final”, enfatiza Orús.
Resultados Concretos: Llama e GPT-2 Enxutos
A Multiverse Computing já comercializou uma técnica de compressão baseada em redes de tensores chamada CompactifAI. Ao ser aplicada ao modelo de linguagem grande Llama 2 7B, a CompactifAI reduziu a memória necessária em mais de 90%, de 27 gigabytes para cerca de 2 gigabytes. O número de parâmetros diminuiu em 70%, de 7 bilhões para aproximadamente 2 bilhões, com uma queda de precisão de apenas alguns pontos percentuais, conforme relatado por Orús e sua equipe em abril de 2025.
Um relatório da consultoria europeia Sopra Steria indicou que uma versão comprimida do Llama 3.1 8B, também da Multiverse, utilizou entre 30% e 40% menos energia do que o modelo original. Danilo Mandic, pesquisador de inteligência de máquina do Imperial College London, observa que, ao contrário de outras técnicas, as redes de tensores podem até superar a precisão de modelos maiores, pois filtram redundâncias e irrelevâncias presentes nos vastos dados de treinamento.
Uma versão comprimida do GPT-2 da OpenAI, utilizando redes de tensores, teve desempenho similar ou superior ao modelo completo e conseguiu rodar em um Raspberry Pi, um computador de baixo custo do tamanho de um cartão de crédito. A Multiverse continua a desenvolver modelos menores, como SuperFly e ChickenBrain, lançados em agosto de 2025, destinados a dispositivos pessoais e eletrodomésticos.
Treinamento Mais Rápido e IA Explicável
A compressão de modelos existentes é apenas uma parte da equação. Criar e treinar o modelo original é, por si só, um processo exaustivo. Redes de tensores podem aliviar essa necessidade energética desde o estágio inicial. “Não queremos usar otimização de forma alguma”, afirma Yuehaw Khoo, matemático aplicado da Universidade de Chicago. Ele explica que as redes de tensores podem evitar o longo processo de otimização (como o gradiente descendente) que os modelos de redes neurais exigem.
A estratégia de “dividir e conquistar” das redes de tensores permite treinar modelos em segundos. Siyao Yang, do grupo de Khoo, demonstrou o treinamento de um modelo baseado em rede de tensores em apenas quatro segundos durante uma palestra científica, um contraste gritante com os seis minutos (quase 100 vezes mais) que um modelo similar de rede neural levaria. Essa abordagem funciona melhor para problemas com estrutura bem definida, como aqueles descritos por leis da física ou em robótica, onde o entendimento do problema permite uma divisão eficaz.
Outro benefício crucial é a maior explicabilidade da IA. Modelos de deep learning são frequentemente “caixas pretas”, tornando difícil entender as razões por trás de suas decisões. “Há muito pouca compreensão teórica sobre o que realmente está acontecendo com o deep learning”, diz Rose Yu, cientista da computação da Universidade da Califórnia, San Diego. Essa obscuridade impede a aplicação de redes neurais em tarefas onde um erro seria catastrófico.
As redes de tensores, bem compreendidas teoricamente, oferecem uma plataforma para analisar o comportamento das redes profundas e entender a ciência por trás do deep learning. Embora as redes neurais ainda superem as redes de tensores na maioria das tarefas, Khoo sugere que isso se deve ao intenso foco nas redes neurais na última década. Com mais pesquisa e desenvolvimento, as redes de tensores podem eventualmente “vencer”.
Perguntas Frequentes
O que são redes de tensores e como elas se relacionam com a física quântica?
Redes de tensores são estruturas matemáticas complexas, desenvolvidas por físicos na década de 1990 para descrever as interações e correlações entre partículas em sistemas quânticos. Elas representam um tensor (uma generalização de matrizes para múltiplas dimensões) como um conjunto interconectado de tensores menores, tornando possível lidar com a “maldição da dimensionalidade” que ocorre em dados complexos e em sistemas com muitas variáveis.
Como as redes de tensores ajudam a “enxugar” modelos de IA?
As redes de tensores são eficientes em identificar e representar correlações nos dados. Em modelos de IA, essas correlações frequentemente indicam redundância nos bilhões de parâmetros. Ao eliminar essa redundância, as redes de tensores podem comprimir significativamente o modelo, reduzindo seu tamanho, consumo de memória e energia, sem sacrificar a precisão e, em alguns casos, até a melhorando.
Quais são os principais benefícios da aplicação de redes de tensores na IA?
- Redução de Consumo Energético: Modelos menores exigem menos energia para treinamento e execução, aliviando a demanda crescente sobre a infraestrutura elétrica.
- Acessibilidade: A possibilidade de rodar IA em dispositivos pessoais (celulares, eletrodomésticos) sem conexão à internet.
- Maior Eficiência: Treinamento de modelos mais rápido, com demonstrações de segundos em vez de minutos.
- Explicabilidade: A base teórica das redes de tensores pode tornar os modelos de IA menos “caixas pretas”, permitindo uma melhor compreensão de suas decisões.
- Melhora de Precisão: Em alguns casos, a compressão com redes de tensores pode filtrar irrelevâncias e aumentar a precisão do modelo.
As redes de tensores substituirão as redes neurais na IA?
Atualmente, as redes neurais ainda superam as redes de tensores na maioria das tarefas, em parte devido ao foco intenso de pesquisa e desenvolvimento que receberam nas últimas décadas. No entanto, pesquisadores como Yuehaw Khoo e Miles Stoudenmire acreditam que, com mais investimento e exploração, as redes de tensores podem se tornar uma alternativa poderosa ou um complemento fundamental, especialmente para problemas com estrutura bem definida, oferecendo uma nova onda de desenvolvimento para a IA.