Esquema no Instagram espalha imagens de exploração sexual infantil feitas por IA

Read this report in English.

Investigação do Núcleo identificou perfis com comportamento ilegal que os sistemas de segurança da Meta foram incapazes de identificar

No Instagram, ao menos uma dúzia de perfis com centenas de milhares de seguidores compartilhavam livremente imagens geradas por inteligência artificial que retratavam crianças e adolescentes em imagens sexualizadas, um comportamento ilegal que os sistemas de segurança da Meta foram incapazes de identificar.

Em jan.2025, o CEO da Meta, Mark Zuckerberg, anunciou que a empresa flexibilizaria algumas de suas políticas de moderação de conteúdo nos Estados Unidos, a fim de compensar os “muitos erros e muita censura” que outros agentes cometeram na plataforma (notadamente governos e a imprensa).

O Núcleo iniciou, então, uma investigação em parceria com a AI Accountability Network, do Pulitzer Center, para avaliar o impacto da medida na disseminação de material ilegal envolvendo crianças e adolescentes, e conseguiu identificar 14 perfis no Instagram que publicavam imagens perturbadoras de menores geradas por inteligência artificial.

---

Como uma organização jornalística sem fins lucrativos, dependemos de seu apoio para financiar o jornalismo que cobre assuntos marginalizados em todo o mundo. Doe qualquer quantia hoje para se tornar um Campeão Pulitzer Center e receba benefícios exclusivos!

---

Todos seguiam um padrão visual recorrente: personagens loiras, com corpos voluptuosos e seios fartos, olhos azuis e rostos infantis.

Essas figuras eram retratadas em diferentes contextos sexualizados: de biquínis, lingeries ou vestidos com decote. Mas não se tratava de “modelos adultas”, e sim de representações de adolescentes e até crianças. Cada conta analisada pela investigação mantinha o mesmo tema visual, incluindo a cor dos olhos, tom de pele, cabelo e feições infantis semelhantes.

A reportagem não pôde confirmar se esses conteúdos foram criados com o objetivo de emular uma adolescente que existe no mundo real, nem se essas páginas pertenciam aos mesmos donos ou grupos.

Embora o Brasil ainda não tenha uma legislação específica sobre IA, conteúdos que sexualizam crianças e adolescentes vêm sendo enquadrados como violação do Estatuto da Criança e do Adolescente (ECA), especialmente nas partes que tratam da produção e do armazenamento de imagens de exploração sexual infantil.

O Reino Unido é um dos poucos países do mundo com uma lei específica para esse tipo de crime. Aprovada em fev.2025, o texto proíbe tanto a criação de conteúdo como a elaboração de guias ou diretrizes envolvendo abuso infantil associado a IA generativa.

Além do Insta

O comportamento criminoso não se limitou ao Instagram. Em quase todos os perfis analisados, usuários eram direcionados a plataformas de conteúdo por assinatura, como Patreon e Fanvue, onde poderiam adquirir material personalizado.

No caso específico de dois perfis, seguidores foram redirecionados para grupos no WhatsApp ou Telegram, onde, além de dicas para a criação de imagens ilícitas geradas por IA, também eram compartilhados links para pastas contendo material real de abuso sexual infantil.

O conteúdo de abuso infantil gerado por inteligência artificial não é menos grave por ser artificial, alertou ao Núcleo Dan Sexton, diretor de tecnologia da Internet Watch Foundation (IWF), organização britânica referência no tema.

“Essas imagens, como as reais de abuso sexual infantil, podem normalizar e enraizar o abuso de crianças. Esse conteúdo horrível não está restrito à dark web; já recebemos relatos de pessoas que o encontraram na web aberta. É extremamente perturbador e prejudicial.”

Moderação tardia

Após o contato da reportagem com a Meta em meados de março, 12 dos 14 perfis identificados foram removidos. Ao Núcleo, a Meta declarou ter “regras rígidas contra a sexualização infantil — tanto real quanto gerada por Inteligência Artificial — e removemos as contas compartilhadas conosco até o momento por violarem essas diretrizes”.

Nenhuma das perguntas específicas sobre moderação e detecção de conteúdo ofensivo foi respondida.

Patreon e Fanvue

Os criadores desses conteúdos criminosos desenvolveram uma estratégia para contornar a moderação do Instagram e lucrar com a prática: a criação de múltiplos perfis com personagens híbridos—combinações de rostos infantis com corpos mais adultos—associados a páginas em plataformas de conteúdo por assinatura.

Durante a investigação, o Núcleo identificou dois perfis no Patreon e um no Fanvue, uma plataforma de conteúdo por assinatura menos conhecida, ligados a contas do Instagram que produziam e distribuíam mídias de sexualização infantil geradas por IA.

Essas contas ofereciam acesso a conteúdos exclusivos por assinatura, além da produção de “mídias especiais”, e eram amplamente promovidas pelas 14 contas do Instagram analisadas.

Após ser contatado, o Patreon removeu todos os perfis associados a esse material.

“Temos uma política de tolerância zero para obras que apresentem material de abuso sexual infantil (CSAM), real ou animado, ou outras formas de exploração que retratem menores sexualizados. Se as características físicas representadas em um trabalho não forem inequivocamente percebidas como sendo de adultos, isso será considerado uma violação de nossas políticas”, declarou um porta-voz da empresa à reportagem.

O Fanvue, no entanto, não respondeu às múltiplas tentativas de contato. Em 2024, a plataforma foi citada em um relatório da Alliance to Counter Crime Online (ACCO), que destacou como a empresa facilita a comercialização de material explícito gerado por IA. O documento também recomendou que o Instagram adotasse uma abordagem mais rigorosa na fiscalização de perfis que vinculam a Fanvue em suas biografias.

Políticas de moderação da Meta

As políticas da Meta proíbem a produção e o compartilhamento de conteúdo que “sexualize crianças”, incluindo imagens geradas artificialmente.

Como outras grandes empresas de tecnologia, a companhia utiliza sistemas automatizados para detectar violações graves, como exploração sexual infantil virtual. Um dos principais métodos empregados é o hashing de imagens, que cria “impressões digitais” únicas para arquivos previamente identificados como material de abuso infantil, permitindo que ferramentas de IA os reconheçam rapidamente.

Mas relatórios de organizações como Active Fence e We Protect Global Alliance destacam que essa tecnologia enfrenta limitações diante de conteúdos gerados por IA, uma vez que essas imagens podem ser alteradas e não corresponder às impressões digitais originais.

Pesquisadores, como Carolina Christofoletti, da Universidade de São Paulo (USP), apontam que criminosos experientes exploram lacunas técnicas na geração desse material. Para contornar essas falhas, especialistas estudam novos métodos de detecção.

“Por definição, não é possível identificar automaticamente imagens geradas por IA, porque elas são sempre novas”, explica Christofoletti.

Ela ressalta que o desafio central está no uso de classificadores — algoritmos que categorizam dados com base em padrões. Treinar esses sistemas, porém, exige acesso a bases de imagens ilegais, algo restrito a poucas instituições no mundo.

Uma das abordagens estudadas é o uso da biometria. “Se você observar o rosto de uma criança, as proporções são específicas. Os olhos são mais redondos, o rosto é menor e as feições são mais próximas umas das outras”, explica a pesquisadora.

Esse princípio poderia ser aplicado ao desenvolvimento de sistemas de reconhecimento capazes de identificar características infantis e sinais de sexualização em imagens geradas por IA.

“O que é mais eficiente? Tentar mapear todas as imagens criadas por IA ou detectar rostos infantis e elementos de sexualização nelas?”, questiona Christofoletti. “Talvez o caminho mais promissor seja o reconhecimento facial ou a identificação de padrões que indicam a manipulação do corpo infantil.”

Reportagem: Sofia Schurig e Leonardo Coelho
Pesquisa técnica: Tatiana Azevedo
Arte: Rodolfo Almeida
Edição: Sérgio Spagnuolo