Alucinações de IA e os riscos para operações de cibersegurança

Modelos de inteligência artificial podem gerar informações falsas ou enganosas que colocam empresas em risco — entenda como isso acontece e o que fazer para mitigar danos

A crescente adoção de inteligência artificial (IA) em processos de cibersegurança traz avanços importantes, mas também impõe novos desafios. Um dos mais críticos é o fenômeno conhecido como alucinação de IA — quando o sistema gera saídas incorretas, irrelevantes ou completamente inventadas. Esses erros não apenas comprometem a precisão de decisões estratégicas, mas podem também introduzir novas vulnerabilidades e desviar a atenção de ameaças reais.

Riscos práticos das alucinações de IA

Segundo Harman Kaur, vice-presidente de IA na Tanium, o uso de dados desatualizados ou imprecisos por agentes automatizados pode levar à criação de vulnerabilidades inexistentes ou à má interpretação de informações de ameaça. Isso resulta em alertas falsos, desperdício de recursos das equipes de segurança e falhas em identificar riscos reais.

Um exemplo crítico são as chamadas “alucinações de pacotes”, quando modelos de IA sugerem nomes de softwares que não existem. Cibercriminosos exploram essas sugestões para criar pacotes maliciosos com os nomes indicados, aproveitando-se da confiança dos desenvolvedores e comprometendo toda a cadeia de suprimentos de software. Essa técnica é conhecida como “slopsquatting”.

Além disso, a geração de relatórios falsos de inteligência de ameaças também tem sido observada. Quando não são verificados manualmente ou cruzados com fontes confiáveis, esses relatórios desviam a atenção dos profissionais e abrem brechas para ataques reais passarem despercebidos.

“Sem validação adequada, o código gerado por IA pode representar um risco significativo, especialmente para desenvolvedores juniores, que muitas vezes não têm experiência suficiente para identificar erros”, alerta Ilia Kolochenko, CEO da ImmuniWeb.

Estratégias para mitigar os riscos

Para reduzir os impactos das alucinações de IA, especialistas recomendam arquiteturas intencionais e verificações rigorosas. “As alucinações são parte esperada de modelos probabilísticos”, explica Chetan Conikee, CTO da Qwiet AI. A prioridade, segundo ele, deve ser limitar o impacto operacional por meio de monitoramento, política e design bem estruturado.

As principais práticas recomendadas incluem:

1. Implementar geração aumentada por recuperação (RAG):
Esse modelo combina geração de texto com mecanismos de busca que recuperam informações de fontes confiáveis, reduzindo drasticamente a chance de gerar conteúdo incorreto.

2. Aplicar ferramentas de verificação automatizada:
Soluções que utilizam provas matemáticas para verificar se os resultados gerados pela IA seguem regras definidas — como as desenvolvidas pela Amazon — oferecem segurança adicional em ambientes críticos.

3. Atualizar constantemente os dados de treinamento:
Modelos baseados em dados obsoletos têm maior propensão a alucinar. Atualizar bases de dados e remover vieses são práticas essenciais para manter a integridade das respostas.

4. Garantir supervisão humana:
Especialmente em aplicações sensíveis, as saídas da IA devem ser revisadas por especialistas. O julgamento humano ainda é crucial para detectar incoerências e tomar decisões informadas.

5. Capacitar os usuários sobre os limites da IA:
Treinamentos internos que reforcem a compreensão sobre as capacidades e limitações da tecnologia ajudam a evitar a confiança cega em suas respostas.

Victor Wieczorek, vice-presidente sênior de Segurança Ofensiva da GuidePoint Security, resume bem a abordagem ideal: “Precisamos tratar a IA como um novo estagiário. Ela pode ajudar a rascunhar ideias e lidar com tarefas rotineiras, mas não deve tomar decisões finais em áreas críticas.”

Conclusão

As alucinações de IA não são apenas falhas técnicas — elas representam riscos reais às operações de cibersegurança. Embora seja impossível eliminá-las por completo, empresas podem adotar práticas que equilibrem inovação com responsabilidade. Ao implementar mecanismos de verificação, limitar a autonomia da IA em decisões sensíveis e promover a educação contínua, os CISOs garantem que a tecnologia trabalhe a favor da segurança — e não contra ela.