Por Laura Hazard Owen
Pesquisadores canadenses perguntaram às versões pagas e gratuitas — ou “econômicas” — de 4 modelos de IA (Inteligência Artificial) — ChatGPT, Claude, Gemini e Grok — sobre eventos noticiosos do Canadá para verificar se eles citariam veículos específicos em suas respostas.
A conclusão provavelmente não surpreende: modelos de IA raramente citam fontes jornalísticas, a menos que sejam explicitamente solicitados a fazê-lo — e alguns são melhores nisso do que outros.
“Esses sistemas ingeriram o jornalismo canadense de forma sistemática. A especificidade de seu conhecimento sobre política doméstica, assuntos provinciais e reportagens locais aponta claramente para fontes de notícias canadenses”, escreve Taylor Owen, titular da cátedra Beaverbrook de mídia, ética e comunicação na Universidade McGill e coautor do estudo, em seu blog. “E eles raramente dizem de onde veio a informação.”
A CBC, Globe and Mail, Toronto Star, Postmedia, Metroland Media e The Canadian Press processaram a OpenAI por violação de direitos autorais em novembro de 2024. O caso é o 1º do tipo no Canadá e a ação judicial ainda está em andamento.
Owen, que também é diretor fundador do Center for Media, Technology, and Democracy, e Aengus Bridgman, professor assistente em McGill, explicam o trabalho (destaques meus):
Testamos 4 grandes modelos de IA com base em 2.267 notícias canadenses reais (em inglês e francês), sem ativar busca na web, e encontramos o mesmo padrão em todos eles. Os 4 modelos demonstraram amplo conhecimento sobre eventos atuais no Canadá, consistente com a ingestão de reportagens jornalísticas canadenses. Os modelos mostraram ao menos conhecimento parcial em 74% das respostas a notícias dentro da janela de treinamento. No entanto, entre essas respostas informadas, 92% não forneceram qualquer atribuição de fonte.
Quando ativamos a busca na web e testamos 140 artigos específicos por meio da API ( Interface de Programação de Aplicações) de cada empresa, todos os modelos produziram respostas que cobriam parte suficiente da reportagem original para que muitos consumidores raramente precisassem visitar a fonte. Os modelos frequentemente incluíam links para sites de notícias canadenses, com 52% das respostas contendo ao menos uma URL canadense, mas mencionavam o veículo no texto da resposta apenas 28% das vezes. Links oferecem um caminho de volta à fonte, mas consumidores que leem apenas a resposta raramente veem indicação de qual jornalismo estão consumindo.
Com a busca na web ativada, o gráfico abaixo “mostra a experiência padrão do consumidor: o que acontece quando alguém faz uma pergunta genérica sobre um tema sem pedir citações. É assim que a maioria das pessoas usa modelos de IA: ‘Me conte sobre X’, não ‘O que o Toronto Star publicou sobre X?’”.
Os autores explicam:
Os quadrados azuis mostram com que frequência o resultado cobre parte suficiente da reportagem distintiva do artigo (eventos específicos, indivíduos citados, descobertas-chave) para que um leitor possa entender o essencial da história sem visitar o site de notícias. Não são reproduções completas: são resumos parciais e paráfrases que cobrem parte do conteúdo distintivo do artigo original, embora às vezes contenham erros factuais ou omissões. Avaliamos cada resposta em relação ao artigo de origem para determinar se ela cobria a reportagem distintiva do texto, e não apenas o tema geral. Os quadrados verdes mostram com que frequência o modelo credita a fonte ao mencionar o veículo no texto da resposta ou por meio de citações estruturadas legíveis por máquina retornadas junto com a resposta.
As taxas de cobertura são altas, mas as taxas de atribuição não. O Gemini e o Claude cobriram reportagens distintivas em 81% e 72% das respostas, respectivamente. No entanto, o Gemini creditou a fonte apenas 6% das vezes. O Grok cobriu reportagens distintivas em 59% das respostas e citou a fonte em apenas 7% delas. O ChatGPT, um dos modelos mais usados, cobriu conteúdo distintivo em 54% das respostas, mas quase nunca creditou a redação de origem. Mesmo quando os modelos não reproduzem a reportagem distintiva, eles ainda fornecem uma resposta temática que pode reduzir a motivação do consumidor para visitar a fonte.
O ChatGPT foi especialmente improvável de creditar fontes quando isso não era solicitado, fazendo isso em apenas 1% das respostas desta amostra. O Claude fez isso em 16% das vezes.
Todos os modelos de IA tiveram desempenho muito melhor quando foram explicitamente solicitados a fornecer citações — algo que a maioria dos usuários não faz.
Nas condições mais favoráveis (nomeando diretamente o veículo e pedindo explicitamente citações), a atribuição melhora substancialmente em todos os modelos. Os quatro mencionaram o veículo na maioria das respostas: Claude (97%), Gemini (95%), ChatGPT (86%) e Grok (74%). As taxas de inclusão de links também foram altas: Grok (91%), Gemini (69%), Claude (64%) e ChatGPT (59%). Ou seja, uma atribuição significativa é tecnicamente possível. A diferença entre a experiência padrão e o melhor cenário possível é uma conclusão central: a maioria dos consumidores nunca nomeará explicitamente um veículo ou pedirá citações, portanto os resultados em condições genéricas refletem a experiência que molda o mercado do jornalismo.
Quando os modelos de IA citam fontes, descobriram os pesquisadores, é mais provável que sejam aquelas que os consumidores já conhecem. Veículos com paywall e meios regionais menores foram menos citados, mesmo em reportagens originais.
Do estudo:
Entre os veículos em língua inglesa, CBC, CTV e Global News — todos de acesso gratuito — concentram a maior visibilidade nas IAs em ambas as categorias. O Globe and Mail tem desempenho relativamente bom, mas o Toronto Star e o Financial Post aparecem de forma marginal, apesar de serem redações importantes. Jornais regionais do grupo Postmedia que atendem Calgary, Edmonton, Ottawa e Vancouver estão praticamente ausentes. Entre os veículos em língua francesa, Radio-Canada e La Presse dominam, com Le Devoir em um distante 3º lugar. O Journal de Montréal, um dos jornais mais lidos de Quebec, recebeu apenas 48 menções em todos os modelos.
O jornalismo em língua francesa está “duplamente em desvantagem”, escrevem os pesquisadores. “Seu conteúdo é absorvido nos dados de treinamento dos modelos, mas os veículos que o produziram quase nunca são reconhecidos.”
Enviei um e-mail aos autores do estudo perguntando: se vocês tivessem que escolher qual modelo de IA faz mais “coisas certas” do ponto de vista do jornalismo, qual seria? Bridgman ofereceu uma resposta interessante que reproduzo na íntegra, pois pode interessar aos leitores. Observação: o “cutoff” de um modelo é a data até a qual ele foi treinado. Assim, notícias “pré-cutoff” são publicadas durante o período de treinamento do modelo, e notícias “pós-cutoff” são publicadas depois disso.
Ele escreveu:
Esta é uma pergunta genuinamente difícil porque cada modelo se comporta de forma diferente:
Claude cita veículos canadenses na maior taxa no Track 1 (61%, contra 8% do ChatGPT e 3% do Gemini). E, quando não sabe algo, ele diz isso em vez de “alucinar”. Apenas cerca de 37% das respostas da versão econômica abordaram de forma substantiva notícias pré-cutoff, mas isso é realizado porque o modelo prefere se recusar a responder em vez de adivinhar. O problema é que ele ainda reproduz conteúdo com paywall em taxas altas (68%) quando tem acesso à web.
O ChatGPT tem a melhor interface para consumidores para mostrar notícias recentes (citações embutidas e links clicáveis). Porém, seu modelo econômico é o que mais “alucina”: 87% das respostas sobre eventos pós-cutoff geraram respostas confiantes sobre fatos que ele não poderia conhecer — e 88% dessas estavam incorretas. O modelo cita fontes em 54% das respostas do Track 2, o que parece bom até perceber que ele também reproduz a reportagem de forma suficiente para substituir o artigo original em 54% dos casos.
O Gemini é o mais responsivo e cobre mais reportagens distintivas quando tem acesso à web (81%). No entanto, quase nunca menciona a fonte canadense no texto da resposta (entre 2% e 8%). Ou seja, é o mais eficaz em substituir a necessidade de visitar a fonte enquanto esconde de onde veio a informação.
O Grok é o mais forte em identificar veículos canadenses apenas a partir dos dados de treinamento (sem busca na web). Porém, também “alucina” agressivamente em notícias pós-cutoff: 89% das respostas abordaram temas que ele não deveria conhecer e 84% estavam incorretas.
O que mais me surpreendeu foi a complexidade do fenômeno e a variedade de abordagens que as empresas estão tentando. Cada companhia toma decisões de design que resultam em comportamentos e respostas diferentes, mais ou menos responsáveis (por exemplo, recusar-se a alucinar ou reproduzir reportagens diretamente) e com diferentes efeitos de transferência de valor (melhor ou pior encaminhamento para a fonte e tratamento de paywalls). Essas diferenças são importantes e indicam uma governança mínima e incompleta do setor.
O AI News Audit foi publicado pelo Center for Media, Technology and Democracy, da Universidade McGill. O relatório completo, que inclui sugestões de políticas públicas para o Canadá relacionadas à IA, pode ser consultado integralmente.
Texto traduzido por Victor Boscato. Leia o original em inglês.
O Poder360 tem uma parceria com duas divisões da Fundação Nieman, de Harvard: o Nieman Journalism Lab e o Nieman Reports. O acordo consiste em traduzir para português os textos do Nieman Journalism Lab e do Nieman Reports e publicar esse material no Poder360. Para ter acesso a todas as traduções já publicadas, clique aqui.
