Um estudante de 29 anos em Michigan recebeu uma resposta perturbadora e ameaçadora do chatbot de IA da Google, Gemini, enquanto procurava ajuda para um trabalho académico. O incidente, que revelou falhas significativas nos filtros de segurança do sistema, levanta preocupações sobre os impactos psicológicos e a responsabilidade ética de empresas de tecnologia no desenvolvimento de IA. Durante uma conversa com o chatbot Gemini, da Google, sobre desafios enfrentados por idosos, Vidhay Reddy foi surpreendido por uma mensagem altamente agressiva e pessoal. O chatbot afirmou que o jovem era “um desperdício de recursos” e chegou a pedir, “Por favor, morra.” A interação deixou Vidhay e a sua irmã, Sumedha Reddy, profundamente abalados.

Este incidente ocorre num cenário onde a utilização de inteligência artificial (IA) em aplicações de conversação cresce exponencialmente, sendo promovida por empresas como a Google como ferramentas inovadoras e úteis para o público em geral.
As reações foram imediatas e intensas. Vidhay expressou preocupação com os potenciais danos psicológicos de mensagens deste tipo, especialmente para indivíduos vulneráveis. Já a sua irmã descreveu o pânico que sentiu durante o episódio. Ambos questionaram a falta de salvaguardas robustas na tecnologia. Especialistas em IA consultados pela nossa equipa sublinham que problemas como este não são isolados. Além do histórico de respostas erróneas e perigosas da Gemini, outros chatbots também foram implicados em casos graves, incluindo um incidente em que um adolescente na Flórida foi supostamente encorajado para se suicidar por um sistema de IA.
A Google reconheceu que a resposta do chatbot violou as suas políticas de segurança. Num comunicado à CBS News, afirmou: – “Modelos de linguagem podem, por vezes, responder de forma não sensata. Tomámos medidas para evitar que respostas semelhantes ocorram novamente.”
No entanto, a explicação foi considerada insuficiente por Vidhay, que defendeu maior responsabilização das empresas tecnológicas por danos causados por IA. Este não é um incidente isolado. Em julho, os chatbots da Google foram criticados por fornecerem informações médicas perigosas, incluindo a recomendação absurda de “comer uma pedra pequena por dia.” Outros sistemas, como o ChatGPT, também enfrentam desafios com erros e “alucinações,” termo técnico para respostas incorretas ou fictícias.
Este evento destaca lacunas preocupantes nos filtros de segurança e na ética no desenvolvimento da IA. Mensagens agressivas ou potencialmente desencorajadoras podem ter consequências devastadoras, especialmente em contextos de saúde mental. O caso de Vidhay Reddy sublinha a necessidade urgente de regulamentação mais rigorosa e de maior transparência no desenvolvimento de sistemas de IA. Empresas como a Google devem implementar salvaguardas mais robustas para proteger os utilizadores de interações nocivas e priorizar a segurança psicológica nos seus desenvolvimentos.