No início desta semana, algumas pessoas no X começaram a responder às fotos com um tipo de solicitação muito específico. “Coloque ela de biquíni”, “tire o vestido”, “abra as pernas” e assim por diante, comandaram Grok, o chatbot embutido na plataforma. Repetidamente, o bot obedeceu, usando fotos de pessoas reais – celebridades e não celebridades, incluindo algumas que parecem ser crianças pequenas – e colocando-as em biquínis, revelando roupas íntimas ou poses sexuais. Por um estimativaGrok gerou uma imagem sexual não consensual a cada minuto em um período de aproximadamente 24 horas.
Embora seja difícil medir o alcance dessas postagens, algumas foram curtidas milhares de vezes. X parece ter removido várias dessas imagens e suspendido pelo menos um usuário que as solicitou, mas muitas, muitas delas ainda estão visíveis. xAI, empresa de propriedade de Elon Musk que desenvolve Grok, proíbe a sexualização de crianças em sua política de uso aceitável; nem as equipes de segurança nem de segurança infantil da empresa responderam a um pedido detalhado de comentários. Quando enviei um e-mail para a equipe de mídia xAI, recebi uma resposta padrão: “Legacy Media Lies”.
Musk, que também não respondeu ao meu pedido de comentário, não parece preocupado. Enquanto tudo isso acontecia, ele postou diversas piadas sobre o problema: solicitando uma imagem de si mesmo de biquíni gerada por Grok, por exemplo, e escrita “🔥🔥🤣🤣” em resposta a Kim Jong Un recebendo tratamento semelhante. “Eu não conseguia parar de rir disso”, o homem mais rico do mundo postado esta manhã compartilhando a imagem de uma torradeira de biquíni. No X, em resposta à postagem de um usuário alertando sobre a possibilidade de sexualizar crianças com Grok, um funcionário da xAI escreveu que “a equipe está procurando reforçar ainda mais nossas proteções (sic).” A partir da publicação, o bot continua a gerar imagens sexualizadas de adultos sem consentimento e aparentes menores de idade no X.
A IA tem sido usada para gerar pornografia não consensual desde pelo menos 2017, quando o jornalista Samantha Cole relatou pela primeira vez sobre “deepfakes”—na época, referindo-se à mídia em que o rosto de uma pessoa foi trocado pelo de outro. Grok torna esse conteúdo mais fácil de produzir e personalizar. Mas o impacto real do bot surge através da sua integração com uma importante plataforma de redes sociais, permitindo-lhe transformar imagens sexualizadas e não consensuais em fenómenos virais. O recente aumento no X parece ser impulsionado não por um novo recurso, em si, mas por pessoas que respondem e imitam a mídia que veem outras pessoas criando: no final de dezembro, vários criadores de conteúdo adulto começaram a usar o Grok para gerar imagens sexualizadas de si mesmos para publicidade, e o erotismo não consensual parece ter seguido rapidamente. Cada imagem, postada publicamente, só pode inspirar mais imagens. Isso é assédio sexual como meme, aparentemente ridicularizado pelo próprio Musk.
Grok e X parecem construídos especificamente para serem tão sexualmente permissivo possível. Em agosto, a xAI lançou um recurso de geração de imagens, chamado Grok Imagine, com um modo “picante” que teria sido usado para gerar vídeo de toplesss de Taylor Swift. Na mesma época, a xAI lançou “Companions” em Grok: personas animadas que, em muitos casos, parecem explicitamente projetadas para interações românticas e eróticas. Uma das primeiras Companheiras Grok, “Ani”, usa um vestido preto rendado e manda beijos pela tela, às vezes perguntando: “Você gosta do que vê?” Almíscar promovido esse recurso postando no X que “Ani fará seu buffer estourar @Grok 😘.”
Talvez o mais revelador de tudo, como relatei em Setembro, xAI lançou uma grande atualização ao prompt do sistema de Grok, o conjunto de instruções que informam ao bot como se comportar. A atualização proibiu o chatbot de “criar ou distribuir material de abuso sexual infantil”, ou CSAM, mas também disse explicitamente que “não há **nenhuma restrição** sobre conteúdo sexual adulto fictício com temas obscuros ou violentos” e “’adolescente’ ou ‘menina’ não implica necessariamente menor de idade”. A sugestão, em outras palavras, é que o chatbot peque pelo lado da permissividade em resposta às solicitações do usuário por material erótico. Enquanto isso, no Subreddit Grok, os usuários trocam regularmente dicas para “desbloquear” Grok por “Nudes e merdas picantes” e compartilham animações geradas por Grok de mulheres seminuas.
Grok parece ser único entre os principais chatbots por sua postura permissiva e aparentes falhas nas salvaguardas. Não há relatos generalizados de ChatGPT ou Gemini, por exemplo, produzindo imagens sexualmente sugestivas de meninas (ou, nesse caso, elogiando o Holocausto). Mas a indústria da IA tem problemas mais amplos com pornografia não consensual e CSAM. Nos últimos dois anos, diversas organizações e agências de segurança infantil têm monitorado um quantidade exorbitante de imagens e vídeos não consensuais gerados por IA, muitos dos quais retratam crianças. Muitas imagens eróticas estão nos principais conjuntos de dados de treinamento de IA e, em 2023, descobriu-se que um dos maiores conjuntos de dados de imagens públicas para treinamento de IA continha centenas de instâncias de suspeitas de CSAM, que foram eventualmente removidas – o que significa que esses modelos são tecnicamente capazes de gerar eles próprios tais imagens.
Lauren Coffren, diretora executiva do Centro Nacional para Crianças Desaparecidas e Exploradas, recentemente contado Congresso que em 2024, o NCMEC recebeu mais de 67.000 relatórios relacionados com IA generativa – e que nos primeiros seis meses de 2025, recebeu 440.419 desses relatórios, um aumento de mais de seis vezes. Coffren escreveu em seu depoimento que os abusadores usam IA para transformar imagens inócuas de crianças em imagens sexuais, gerar CSAM inteiramente novos ou até mesmo fornecer instruções sobre como preparar crianças. Da mesma forma, a Internet Watch Foundation, no Reino Unido, recebido mais do que o dobro de relatos de CSAM gerados por IA em 2025 do que em 2024, totalizando milhares de imagens e vídeos abusivos em ambos os anos. Em abril passado, várias empresas importantes de IA, incluindo OpenAI, Google e Anthropic, aderiram a uma iniciativa liderado pela organização de segurança infantil Thorn para evitar o uso de IA para abusar de crianças – embora a xAI não estivesse entre eles.
De certa forma, Grok está tornando visível um problema que geralmente está oculto. Ninguém pode ver os registros privados dos usuários do chatbot que possam conter conteúdo igualmente horrível. Apesar de todas as imagens abusivas que Grok gerou no X nos últimos dias, muito pior certamente está acontecendo na dark web e em computadores pessoais em todo o mundo, onde modelos de código aberto criados sem restrições de conteúdo podem ser executados sem qualquer supervisão. Ainda assim, embora o problema da pornografia AI e do CSAM seja inerente à tecnologia, é uma escolha conceber uma plataforma de redes sociais que possa amplificar esse abuso.