Selon des tests réalisés par les chercheurs du Tow Center for Digital Journalism de Columbia, l’outil de recherche ChatGPT d’OpenAI présente certains problèmes en ce qui concerne la réponse avec vérité.

OpenAI a lancé l’outil pour les abonnés en octobre, disant qu’il pourrait fournir des « réponses rapides et opportunes avec des liens vers des sources web pertinentes. » Au lieu de cela, Futurism fait remarquer que les chercheurs ont déclaré que la recherche ChatGPT avait du mal à identifier correctement les citations des articles, même lorsqu’elles provenaient d’éditeurs ayant des arrangements pour partager des données avec OpenAI.

Les auteurs ont demandé à ChatGPT d’identifier la source de « deux cents citations provenant de vingt publications. » Quarante de ces citations ont été prises d’éditeurs qui avaient interdit au crawler de recherche d’OpenAI d’accéder à leur site. Pourtant, le chatbot a répondu avec de fausses informations avec confiance, admettant rarement qu’il n’était pas sûr des détails qu’il fournissait :

Au total, ChatGPT a rendu des réponses partiellement ou entièrement incorrectes à cent cinquante-trois reprises, bien qu’il n’ait reconnu son incapacité à répondre avec précision à une question que sept fois. Dans ces sept résultats, le chatbot a utilisé des mots et des phrases de qualification comme « semble », « il est possible » ou « pourrait », ou des déclarations comme « Je n’ai pas pu localiser l’article exact. »

Les auteurs du test du Tow Center ont documenté des résultats de recherche de ChatGPT qui ont mal attribué une citation de lettre à l’éditeur de l’Orlando Sentinel à une histoire publiée dans Time. Dans un autre exemple, lorsqu’on lui a demandé d’identifier la source d’une citation d’un article du New York Times sur les baleines en danger, il a renvoyé un lien vers un site web différent qui avait totalement plagié l’histoire.

« La mauvaise attribution est difficile à traiter sans les données et la méthodologie que le Tow Center a retenues, » a déclaré OpenAI au Columbia Journalism Review, « et l’étude représente un test atypique de notre produit. » L’entreprise a ensuite promis de « continuer à améliorer les résultats de recherche. »