Telegram diz priorizar segurança de crianças, mas seus robôs contam outra história

Investigação do Núcleo em parceria com o Pulitzer Center descobriu ao menos 23 bots no Telegram capazes de gerar material explícito de abuso sexual infantil via inteligência artificial

Read this story in English.

Usuários do Telegram podem criar livremente dezenas, até centenas, de imagens de abuso sexual infantil a partir de ferramentas de inteligência artificial dentro da própria plataforma, mostrou uma investigação do Núcleo.

A investigação, em parceria com a rede AI Accountability, do Pulitzer Center, identificou 83 bots no Telegram com palavras-chave associadas a deepnudes—prática de gerar imagens sexuais ou pornográficas com IA sem consentimento.

Dentre todos esses grupos encontrados, 33 estavam ativos e funcionando, e 23 (70%) eram capazes de criar material de exploração sexual infantil (21 com crianças e adolescentes e dois apenas com adolescentes). Esse tipo de material é conhecido por especialistas e pesquisadores pela sigla CSAM (sigla em inglês usada para child sexual abuse material, ou material de abuso sexual infantil).

---

Como uma organização jornalística sem fins lucrativos, dependemos de seu apoio para financiar o jornalismo que cobre assuntos marginalizados em todo o mundo. Doe qualquer quantia hoje para se tornar um Campeão Pulitzer Center e receba benefícios exclusivos!

---

Cinquenta dos bots estavam inativos, sem atualizações dos desenvolvedores, ao passo que outros 10 se recusaram a gerar imagens sexuais com menores de idade, embora ainda permitissem a criação de deepfakes não consensuais de adultos, prática criminalizada em países como Brasil, Coreia do Sul, Canadá e Reino Unido.

Bots do Telegram são acessados por mais de 400 milhões de usuários no mundo todo, segundo a própria empresa.

O Telegram, um serviço de mensagens criado por um russo em 2013 e com sede atual em Dubai, tem sido alvo de críticas e investigações por conta de sua moderação bastante leniente, inclusive com crimes virtuais.

Em ago.2024, a empresa foi alvo de acusações formais de autoridades francesas, que afirmaram que a plataforma falhou em cooperar com autoridades em investigações sobre a exploração infantil e outros crimes. O fundador e CEO do Telegram, Pavel Durov, inclusive, chegou a ser preso.

Na ocasião, o Telegram prometeu levar mais a sério os casos de abuso sexual infantil online, inclusive colaborando com autoridades para fornecer dados de usuários.

Contatado pelo Núcleo por meio de seu canal de imprensa “Press Bot”, um porta-voz do Telegram afirmou que a plataforma tem uma “política de tolerância zero para pornografia ilegal” e usa “uma combinação de moderação humana, ferramentas de IA, aprendizado de máquina, denúncias de usuários e padrões confiáveis” para detectar e combater abusos.

A empresa informou também "todas as mídias carregadas na plataforma pública do Telegram são analisadas em relação a um banco de dados de hashes de conteúdo CSAM removidos pelos moderadores do Telegram desde o lançamento do aplicativo."

O Telegram informou já ter removido 2,8 milhões de grupos e canais apenas em 2025, até o fechamento desta reportagem, apenas uma fração deles (cerca de 75 mil) por conta de material de abuso infantil.

A dinâmica dos bots de IA

A investigação revelou que algumas dessas ferramentas usam IA para simular nudez de pessoas a partir de imagens reais – e até criar conteúdo sexual artificial, inclusive de menores de idade. Tudo o que o usuário precisa fazer é o upload de uma imagem.

Outras ferramentas seguem o modelo de chatbots mais tradicionais, que geram conteúdos a partir de descrições textuais (os prompts).

Não há uma explicação definitiva para que empresas de IA não tenham criado maneiras efetivas de bloquear completamente a produção desse conteúdo ilegal, mas a hipótese mais plausível é que esses modelos são treinados com pornografia adulta e coletam imagens reais de crianças — muitas vezes sem consentimento — para refinar seus resultados.

Em muitos casos, as 23 ferramentas trocavam cabeças de crianças por corpos adultos. No entanto, algumas geravam conteúdo criminoso que preservava as características infantis, o que pode indicar presença de imagens reais de crianças nos bancos de dados usados para treinar modelos de linguagem.

Esse foi o caso de uma versão do modelo de código aberto Stable Diffusion, desenvolvida pela Stability AI. Conforme descoberto pelo Stanford Cyber Policy Lab, o banco de dados LAION 5-B, utilizado pela startup, continha mais de 1.600 imagens explícitas de materiais de exploração sexual infantil em meio a bilhões de outras imagens.

Embora organizações que difundem open source tenham removido temporariamente certos modelos e conjuntos de dados da internet para limpar suas bases, o modelo de código aberto já havia sido irreversivelmente baixado e distribuído milhares de vezes.

Em um exemplo marcante da investigação, usuários eram incentivados a clonar um bot de deepfake capaz de gerar material de exploração infantil por IA em troca de créditos, que são usados para gerar fotos.

Cada um desses bots era vinculado a uma conta individual, permitindo que bots clonados operassem em vários idiomas — mandarim, inglês, português —, enquanto utilizavam o mesmo serviço de hospedagem.

Durante o processo de clonagem, a ferramenta permitia que usuários enviassem seus próprios dados, criando um mecanismo de IA personalizado para conteúdos ilícitos — por exemplo, alguém poderia enviar 300 fotos de uma pessoa conhecida e pedir que o bot replicasse sua aparência.

Após clonado, o link do bot podia ser compartilhado com contatos. Cada interação gerava um crédito, resgatável para a criação de uma imagem falsa, tornando o sistema resistente a tentativas para tirá-lo do ar.

Moeda virtual do Telegram

Quase todos os bots ofereciam apenas dois ou três testes gratuitos por usuário, o que não era um grande obstáculo, já que os usuários podiam excluir e recriar contas no Telegram sem nenhuma limitação.

Após os testes gratuitos, usuários eram instruídos a comprar créditos usando cartões de crédito e débito, transferências PIX, carteiras de criptomoedas, PayPal ou a moeda virtual do Telegram, as “estrelas”.

Lançada em jun.2024, apenas dois meses antes da prisão de Durov na França, a moeda virtual pode ser adquirida por meio dos sistemas de pagamento da Apple e do Google ou diretamente pelo “Premium Bot” do Telegram, que também aceita cartões de crédito e débito.

Menos de um ano após seu lançamento, as “estrelas” já passaram a ser usadas para comprar material de exploração sexual infantil gerado por IA, conforme observado em pelo menos oito dos 23 bots analisados.

Quando procurada para comentar, a assessoria de imprensa da Apple no Brasil não respondeu a mensagens, ligações ou e-mails.

O Google afirmou que seu “sistema de cobrança não deve ser usado para conteúdos em qualquer categoria de produto considerada inaceitável pelas Políticas de Pagamentos do Google, incluindo conteúdos prejudiciais a crianças ou abuso infantil.”

Pesquisa técnica: Tatiana Azevedo
Arte: Rodolfo Almeida
Edição: Alexandre Orrico e Sérgio Spagnuolo