Hugging Face sob fogo cruzado, denúncias apontam que modelos de IA da plataforma facilitam a criação de imagens íntimas sem consentimento

A plataforma Hugging Face enfrenta acusações graves após pesquisadores apontarem que seus modelos de IA permitem a criação de imagens íntimas não autorizadas.

O cenário da inteligência artificial generativa vive um momento de tensão, com novos questionamentos sobre os limites e a segurança das ferramentas de código aberto disponíveis na web. A polêmica da vez envolve a Hugging Face, uma das maiores plataformas do setor, que foi alvo de um relatório contundente.

O documento, elaborado pela organização AI Forensics, coloca em xeque a eficácia das políticas de moderação da empresa. Segundo a entidade, o ambiente aberto da plataforma estaria sendo explorado por usuários mal-intencionados para fins preocupantes e abusivos.

Essas descobertas, conforme informações divulgadas pela agência de notícias AFP, trazem à tona um debate urgente sobre a responsabilidade das companhias que disponibilizam modelos de IA capazes de gerar imagens realistas sem filtros rigorosos.

O experimento por trás da denúncia

Para testar a segurança da plataforma, pesquisadores inseriram uma interface de IA falsa que oferecia aos usuários a possibilidade de gerar imagens. O objetivo era monitorar as solicitações feitas pelo público em um ambiente controlado.

O resultado foi alarmante, pois das 1.081 solicitações realizadas ao longo de uma semana, quase três quartos, ou seja, 73%, eram de natureza sexual. O relatório detalha que praticamente todas essas solicitações envolviam mulheres sendo despidas, uma prática conhecida como deepfake pornográfico.

Preocupação com menores e falhas de moderação

O levantamento da ONG também identificou dados ainda mais graves. Entre os pedidos de conteúdo sexual detectados, cerca de 6,7% foram direcionados à geração de imagens envolvendo menores de idade, o que amplia a gravidade do problema e os riscos éticos.

Em resposta oficial, a Hugging Face afirmou que levou o relatório a sério e que tomará medidas de acordo com suas práticas de moderação vigentes, caso tenham sido identificadas falhas reais em seus sistemas de segurança.

A defesa da Hugging Face

Apesar da pressão, a plataforma contesta a interpretação dos dados. A empresa denuncia que existem alegações imprecisas sobre a ausência sistêmica de moderação, alegando que as metodologias aplicadas pelos pesquisadores geram muitos falsos positivos.

Segundo a companhia, o relatório apresenta uma imagem distorcida do ecossistema como um todo. Vale lembrar que, recentemente, análises sobre o chatbot Grok, da rede social X, também revelaram tendências similares de geração de imagens de pessoas com pouca roupa.

FAQ: Perguntas frequentes sobre o caso

O que é a Hugging Face? É uma plataforma que hospeda modelos de inteligência artificial de código aberto para desenvolvedores e pesquisadores.

Qual a principal acusação contra a plataforma? A acusação é de que modelos hospedados no site facilitam a criação de imagens de pessoas sendo despidas sem consentimento.

O que diz o relatório da AI Forensics? O relatório aponta que a maioria das solicitações feitas em uma interface de teste na plataforma tinha teor sexual e envolvia mulheres.

A empresa negou as falhas? A plataforma afirmou que leva o caso a sério, mas criticou a metodologia do relatório, alegando que os dados geram falsos positivos.

Existe risco para menores? Sim, o relatório apontou que 6,7% das solicitações sexuais eram direcionadas a menores de idade, o que é um ponto de extrema preocupação.