O perigo não está no erro tosco. Está no erro que parece certo.
Quando um texto chega cheio de falhas de português, contradições visíveis e afirmações claramente absurdas, ele se desarma sozinho. Qualquer leitor minimamente atento desconfia e verifica. O problema da inteligência artificial generativa é que ela quase nunca produz esse tipo de texto. Ela produz o oposto: respostas fluentes, organizadas, gramaticalmente impecáveis, com tom de quem domina o assunto. E é exatamente essa qualidade de superfície que constitui o risco mais sério no uso jurídico da ferramenta. Minha tese é que o problema da IA não é apenas errar, é errar com aparência de autoridade, e essa é a forma de erro mais difícil de interceptar.
A forma do texto não é prova do seu conteúdo
Existe uma associação intuitiva, e enganosa, entre forma e verdade. Um texto bem escrito parece mais confiável do que um texto malfeito. Essa associação funcionava razoavelmente bem quando escrever com clareza exigia, em geral, ter compreendido o assunto. A inteligência artificial rompeu esse vínculo. Ela produz a forma sem a compreensão, a fluência sem o domínio, a aparência de autoridade sem a autoridade. O resultado é que a pista que usávamos para avaliar confiabilidade, a qualidade da escrita, deixou de ser confiável justamente para o tipo de texto que mais consultamos.
No Direito, isso é particularmente grave. Uma resposta jurídica errada, mas bem construída, pode citar um precedente que não existe, atribuir a um tribunal um entendimento que ele não firmou, ou montar um raciocínio que se desfaz sob exame, tudo com a serenidade de quem está certo. O profissional apressado lê, reconhece a forma competente e segue em frente. Não foi enganado por má-fé. Foi enganado pela própria expectativa de que texto bem escrito corresponde a conteúdo correto.
A evidência de que o risco é real
Não se trata de uma preocupação abstrata. Uma avaliação empírica conduzida pela Stanford RegLab testou ferramentas jurídicas comerciais de pesquisa, desenvolvidas especificamente para o público do Direito e conectadas a bases jurídicas, e ainda assim encontrou taxas relevantes de alucinação, com respostas que apresentavam fundamentos ou citações incorretas como se fossem confiáveis. Se ferramentas especializadas, pensadas para reduzir esse risco, ainda apresentam o problema, a confiança automática em ferramentas genéricas é uma aposta que o trabalho jurídico não pode se permitir.
O dado importa porque desmonta um argumento comum: o de que as ferramentas mais novas já teriam resolvido a questão. A redução do problema é real, mas a eliminação não. E, para o trabalho jurídico, a diferença entre raro e nunca é enorme. Um erro a cada muitas consultas, distribuído ao acaso, ainda é um erro que chegará ao cliente se não houver verificação, e que chegará vestido de autoridade, na pior forma possível para ser detectado.
Por que a pressa amplifica o problema
A falsa segurança das respostas bem escritas é especialmente perigosa porque ela costuma encontrar o profissional no estado mental que menos resiste a ela. Quem recorre à ferramenta buscando rapidez está, por definição, com pressa. E a pressa é o oposto da disposição necessária para perceber um erro elegante. A leitura apressada desliza sobre o texto, registra a competência da forma e dispensa o exame que revelaria a falha do conteúdo. A mesma urgência que motivou o uso da ferramenta sabota a defesa contra o seu erro.
Esse círculo se fecha de modo perverso. Quanto mais o profissional confia na ferramenta, menos verifica. Quanto menos verifica, mais erros bem escritos passam. E como a maioria das respostas está correta, a confiança se reforça a cada acerto, até o dia em que o erro que passou produz uma consequência. A confiança construída sobre uma sequência de acertos não protege contra o erro ocasional, porque ela própria é a razão pela qual o erro deixou de ser procurado.
A defesa é metodológica, não emocional
Diante disso, a reação útil não é nem a desconfiança paralisante nem a confiança ingênua. É a verificação disciplinada, tratada como parte do método e não como gesto de suspeita pontual. Conferir se os precedentes citados existem e dizem o que se afirma. Checar se a fonte é real e está corretamente representada. Examinar se o raciocínio se sustenta quando submetido à objeção óbvia. Esses passos não dependem de adivinhar quando a ferramenta errou. Dependem de aplicá-los sempre, especialmente nos pontos em que o erro teria consequência grave, justamente porque o erro elegante não se anuncia.
Esse cuidado tem uma extensão importante na pesquisa e na formação. Quem pesquisa um tema novo a partir de uma resposta de IA está especialmente vulnerável, porque não tem, ainda, o repertório que permitiria suspeitar do erro. A fluência da resposta preenche a lacuna do conhecimento com uma falsa sensação de domínio, e o pesquisador sai da consulta acreditando saber algo que, na verdade, apenas leu de forma convincente. Na docência, o mesmo efeito atinge o estudante que confia na resposta porque ela soa como a de um professor seguro. Em ambos os casos, a forma competente do texto ocupa o lugar da verificação, e o que deveria ser ponto de partida para o estudo vira ponto de chegada. O antídoto é o mesmo da prática profissional: tratar a resposta como hipótese a ser conferida, e não como conclusão a ser adotada.
Há uma virtude adicional nesse método. Ele não exige que o profissional desconfie de cada palavra, o que seria inviável e ineficiente. Exige que ele desconfie da aparência como critério, e a substitua pela verificação como critério. A forma deixa de ser prova e volta a ser apenas forma. A confiança passa a se apoiar no que foi conferido, e não no que soou bem. É uma mudança pequena de hábito e enorme de consequência.
Conclusão
A inteligência artificial tornou barata a produção de texto fluente e desvinculou a forma competente da compreensão correta. No Direito, onde a consequência do erro não se mede em retrabalho, mas em direitos afetados, essa desvinculação exige uma resposta precisa. A consequência prática para o leitor é abandonar a forma como critério de confiança e adotar a verificação no seu lugar. Um texto bem escrito não merece menos exame por ser bem escrito. Merece o mesmo exame que qualquer outro, porque, na advocacia, o que precisa estar certo é o conteúdo, e o conteúdo não se revela na elegância da frase. Ele se revela na fonte conferida, no precedente que existe e no raciocínio que resiste à segunda leitura.
Jamille Porto é advogada, professora e pesquisadora em Inteligência Artificial aplicada ao Direito e fundadora da NeuralLex, empresa que desenvolve soluções de IA, governança, formação, sistemas e fluxos inteligentes para o setor jurídico e educacional.
Conheça a NeuralLex: soluções de IA, governança e tecnologia para escritórios, instituições de ensino e organizações jurídicas.
Referências
Magesh et al., Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Stanford RegLab/HAI. Disponível em: https://arxiv.org/pdf/2405.20362
Perguntas respondidas neste artigo
Por que uma resposta de IA pode parecer correta e estar errada?
Porque modelos de IA produzem linguagem plausível, não garantia de verdade. O artigo alerta que organização, tom seguro e boa escrita podem esconder fundamentos frágeis, dados incorretos ou conclusões inadequadas. No Direito, texto bonito não substitui conferência de fontes e análise jurídica.
O que são alucinações em ferramentas jurídicas de IA?
São respostas em que a IA apresenta informações falsas ou inexistentes como se fossem reais, como precedentes, artigos, conceitos ou relações causais. O problema é especialmente grave quando a resposta parece técnica e coerente, porque aumenta a chance de o profissional confiar antes de verificar.
Como a fluência do texto afeta a confiança do profissional?
A fluência reduz a resistência crítica. Quando a resposta vem pronta, clara e bem estruturada, o profissional pode sentir que o trabalho já foi resolvido. O artigo argumenta que a aparência de segurança é justamente o risco: quanto melhor o texto parece, mais necessária se torna a revisão.
Referências
Jamille Porto
Jamille Porto é advogada, professora e pesquisadora em Inteligência Artificial aplicada ao Direito. É fundadora da NeuralLex, empresa que desenvolve soluções de IA, governança, formação, sistemas e fluxos inteligentes para o setor jurídico e educacional.