*Por Andrew Deck
O conteúdo jornalístico é parte fundamental das respostas de ferramentas de IA generativa, segundo um novo relatório do Generative Pulse, da Muck Rack. Os autores do relatório, publicado nesta semana, analisaram mais de 1 milhão de citações produzidas por modelos de IA generativa.
Conteúdos jornalísticos foram citados em mais de 27% dos casos em todos os testes da Muck Rack e, quando se tratava de perguntas que implicavam “um nível de atualidade” (incluindo não apenas notícias urgentes, mas também respostas recentes a solicitações como “escassez de carros para aluguel nos EUA” ou “avanços mais recentes nos métodos de tratamento ambulatorial para dependência química”), esse número subiu para 49% –quase metade de todos os links citados.
Os testes da Muck Rack foram realizados em julho e incluíram os modelos GPT-4o e GPT-4o Mini, Gemini Flash e Pro, e Claude Sonnet e Haiku.
Quando o ChatGPT e produtos semelhantes de IA generativa elaboram respostas, eles podem se basear nos dados de treinamento apenas até certo ponto. Os testes da Muck Rack confirmaram que, se desativar as citações –e, consequentemente, a capacidade de buscar informações na web em tempo real–, esses modelos frequentemente apresentam informações imprecisas ou desatualizadas.
A Muck Rack também descobriu que o tipo de pergunta altera significativamente as fontes citadas. Perguntas subjetivas, como pedidos de conselhos ou instruções passo a passo, recorrem muito mais a “blogs corporativos e conteúdo de marca”.
O estudo também identificou diferenças interessantes entre os modelos. No geral, o Claude foi o que menos citou fontes jornalísticas. No caso da Reuters, por exemplo: a agência foi citada pelo Claude 20 vezes menos que pelo Gemini e 50 vezes menos que pelo ChatGPT.
Os pesquisadores também listaram os 6 veículos de mídia mais citados por cada modelo.
Reuters, Financial Times, Time, Forbes e Axios apareceram tanto nas listas do ChatGPT quanto do Gemini. (Vale notar que Financial Times, Time e Axios têm acordos de licenciamento de IA com a OpenAI, mas não com o Google).
Novamente, o Claude apresentou menos viés para notícias factuais em suas citações, com veículos como Good Housekeeping, TechRadar e Harvard Business Review figurando no seu top 6.
Quanto às citações de conteúdo jornalístico, os modelos pareciam optar por matérias publicadas nos últimos 12 meses. É o caso específico do ChatGPT, no qual 56% das citações de jornalismo vinham do último ano. No caso do Claude, esse número foi de apenas 36%.
A Muck Rack também dividiu as consultas por setor, incluindo saúde, energia e varejo. Nos setores de mídia/entretenimento, finanças/seguros e governo, o conteúdo jornalístico era mais citado do que em outros setores –em comparação com blogs corporativos, mídia paga, artigos acadêmicos, comunicados de imprensa e outras categorias.
A qualidade das citações em produtos de IA generativa tem sido um ponto constante de atrito entre desenvolvedores de IA e veículos de imprensa –especialmente à medida em que essas ferramentas reduzem o tráfego tradicional de buscas. O ChatGPT e produtos semelhantes já foram flagrados inventando URLs de sites jornalísticos, inclusive de veículos com acordos de licenciamento com a OpenAI. Também foram encontrados casos de links para sindicatos e cópias não autorizadas de artigos, em vez das matérias originais. A frequência das citações jornalísticas, em números, é bem menos documentada.
*Andrew Deck é redator da equipe do Nieman Lab, cobrindo temas relacionados à inteligência artificial.
Texto traduzido por Ana Mião. Leia o original em inglês.
O Poder360 tem uma parceria com duas divisões da Fundação Nieman, de Harvard: o Nieman Journalism Lab e o Nieman Reports. O acordo consiste em traduzir para português os textos do Nieman Journalist Lab e do Nieman Reports e publicar esse material no Poder360. Para ter acesso a todas as traduções já publicadas, clique aqui.
