Google Gemini rotulado como ‘alto risco’ para crianças e adolescentes em nova avaliação de segurança. Novo relatório aponta potenciais preocupações em relação ao Google Gemini para usuários mais jovens.

A Common Sense Media, uma organização sem fins lucrativos focada na segurança infantil que oferece classificações e análises de mídia e tecnologia, divulgou sua avaliação de risco dos produtos de inteligência artificial Gemini do Google na sexta-feira. Enquanto a organização constatou que a IA do Google deixava claro para as crianças que era um computador, não um amigo - algo associado a impulsionar o pensamento delirante e psicose em indivíduos emocionalmente vulneráveis - ela sugeria que havia espaço para melhorias em várias outras áreas. De forma significativa, o Common Sense afirmou que os níveis "Menores de 13 anos" e "Experiência Teen" do Gemini pareciam ser versões adultas do Gemini por baixo dos panos, com apenas alguns recursos adicionais de segurança adicionados por cima. A organização acredita que, para que os produtos de IA sejam realmente mais seguros para as crianças, eles devem ser construídos com a segurança infantil em mente desde o início. Por exemplo, sua análise constatou que o Gemini ainda poderia compartilhar material "inapropriado e inseguro" com as crianças, para os quais elas podem não estar preparadas, incluindo informações relacionadas a sexo, drogas, álcool e outros conselhos de saúde mental inseguros. Este último pode ser motivo de preocupação para os pais, pois a IA tem sido relatada como tendo papel em alguns suicídios de adolescentes nos últimos meses. A OpenAI está enfrentando sua primeira ação judicial por morte injusta depois que um garoto de 16 anos se suicidou após supostamente consultar o ChatGPT por meses sobre seus planos, tendo conseguido burlar com sucesso as proteções de segurança do chatbot. Anteriormente, a fabricante de companheiros de IA Character.AI também foi processada por um suicídio de usuário adolescente. Além disso, a análise surge à medida que vazamentos indicam que a Apple está considerando o Gemini como o LLM (modelo de linguagem grande) que ajudará a impulsionar sua futura Siri habilitada para IA, prevista para o próximo ano. Isso poderia expor mais adolescentes a riscos, a menos que a Apple mitigue as preocupações de segurança de alguma forma. O Common Sense também afirmou que os produtos do Gemini para crianças e adolescentes ignoraram como os usuários mais jovens precisavam de orientação e informações diferentes dos mais velhos. Como resultado, ambos foram rotulados como "Alto Risco" na classificação geral, apesar dos filtros adicionados para segurança. "O Gemini acerta algumas coisas básicas, mas tropeça nos detalhes", disse Robbie Torney, Diretor Sênior de Programas de IA do Common Sense Media, em um comunicado sobre a nova avaliação vista pelo TechCrunch. "Uma plataforma de IA para crianças deve atendê-las onde estão, não adotar uma abordagem única para crianças em diferentes estágios de desenvolvimento. Para a IA ser segura e eficaz para as crianças, ela deve ser projetada levando em consideração suas necessidades e desenvolvimento, e não apenas uma versão modificada de um produto feito para adultos", acrescentou Torney. Google contestou a avaliação, mas observou que seus recursos de segurança estavam melhorando. A empresa disse ao TechCrunch que possui políticas e salvaguardas específicas para usuários menores de 18 anos para ajudar a prevenir resultados prejudiciais e que realiza simulações e consulta especialistas externos para aprimorar suas proteções. No entanto, também admitiu que algumas respostas do Gemini não estavam funcionando conforme o esperado, então adicionou salvaguardas adicionais para abordar essas preocupações. A empresa destacou (como o Common Sense também havia observado) que possui salvaguardas para evitar que seus modelos participem de conversas que possam dar a aparência de relacionamentos reais. Além disso, o Google sugeriu que o relatório do Common Sense parecia ter mencionado recursos que não estavam disponíveis para usuários menores de 18 anos, mas não teve acesso às perguntas que a organização usou em seus testes para ter certeza. Common Sense Media já realizou outras avaliações de serviços de IA, incluindo os da OpenAI, Perplexity, Claude, Meta AI e mais. Descobriu-se que Meta AI e Character.AI eram "inaceitáveis" - significando que o risco era severo, não apenas alto. Perplexity foi considerado de alto risco, ChatGPT foi rotulado de "moderado" e Claude (destinado a usuários maiores de 18 anos) foi considerado de risco mínimo.