Stop utiliser l’IA générative comme moteur de recherche

Combien de présidents ont pardonné leurs proches ? Il s’avère que c’est une question délicate à répondre.

Suite au pardon de Hunter Biden par son père, plusieurs commentateurs ont cherché des précédents — d’autres pardons de proches. Par exemple : Ana Navarro-Cardenas, une commentatrice qui apparaît sur The View et CNN. Sur X, Navarro-Cardenas a cité un pardon accordé par le président Woodrow Wilson à son beau-frère Hunter deButts. C’était une nouvelle pour moi.

La recherche des dossiers de clémence officiels ne fonctionne que pour les personnes ayant postulé depuis 1989, et une page des bénéficiaires de la clémence par président ne remonte qu’à Richard Nixon. Un tel pardon aurait été controversé, pourtant il n’est pas mentionné sur la page biographique de la bibliothèque présidentielle de Wilson. Find a Grave suggère que Wilson n’avait même pas de beau-frère portant ce nom — il montre neuf beaux-frères, mais pas notre homme Hunter deButts. Je ne peux pas prouver que Wilson n’a pas pardonné à un Hunter deButts ; je peux seulement vous dire que si c’est le cas, cette personne n’était pas son beau-frère.

Navarro-Cardenas n’était pas la seule personne à publier des pardons perplexes. Un article de Esquire intitulé “Un président ne devrait-il pas pardonner son fils ? Bonjour, est-ce que quelqu’un se souvient de Neil Bush ?” était basé sur le postulat que George H.W. Bush avait pardonné son fils Neil ; il a depuis été rétracté “en raison d’une erreur.” La veille de sa publication, le rédacteur exécutif d’Occupy Democrats, Grant Stern, a tweeté une affirmation similaire selon laquelle Jimmy Carter avait pardonné son frère Billy et George H.W. Bush avait pardonné Neil. Pour autant que je sache, aucun des deux pardons n’a réellement eu lieu.

D’où provenait tout cela ? Eh bien, je ne sais pas quelle était la source de Stern ou d’Esquire. Mais je connais celle de Navarro-Cardenas, car elle avait un message de suivi pour les critiques : “Discutez-en avec Chat GPT.”

Je l’ai fait. J’ai demandé à ChatGPT, et il a identifié Hunter deButts comme le mari de la sœur de Wilson, Anne. “La famille de Woodrow Wilson était assez en vue, et sa sœur Anne a épousé Hunter deButts, qui était un individu riche et socialement connecté d’une famille éminente,” m’a dit ChatGPT. “Hunter deButts faisait partie de la famille élargie de Wilson, bien qu’il ne soit pas aussi bien mémorisé dans les récits historiques que d’autres figures de la vie de Wilson.” Selon le New York Times, Anne Wilson a épousé un homme nommé George Howe. Il n’est pas clair d’où provient le nom Hunter deButts.

ChatGPT, il s’avère, est un moyen affreusement mauvais d’explorer les archives historiques. Lorsque je l’ai ouvert et demandé : “Combien de présidents américains ont pardonné leurs proches ?” J’ai eu une bonne réponse : Bill Clinton a pardonné Roger Clinton, son demi-frère. Mais à côté de cela, ChatGPT m’a également dit que George H.W. Bush avait pardonné son fils Neil.

Je ne m’en souvenais pas, et je pense à la crise des caisses d’épargne et de crédit une quantité très normale, ce qui est souvent. (Je suis bien ajusté et agréable aux fêtes.) Mais j’ai vérifié en utilisant le même processus que j’ai fait pour deButts. Je suis allé sur la page officielle du ministère de la Justice pour les pardons présidentiels. Neil Bush n’était pas là. J’ai fait une recherche dans le système de clémence. Pas là non plus. Ensuite, j’ai parcouru quelques archives de journaux et je n’ai pas trouvé de preuve d’un pardon. Il est très difficile de prouver un négatif — je suppose qu’il est possible que Neil Bush ait un pardon secret quelque part dans la Maison Blanche dont aucun d’entre nous n’a entendu parler — mais je me sens assez convaincu que personne ne l’a pardonné, encore moins son père.

Les informations sont également maigres pouvant indiquer que Jimmy Carter a pardonné son frère. L’obituaire de Billy Carter dans le New York Times ne fait aucune mention d’un pardon, pas plus que l’obituaire du Washington Post. J’ai demandé à Stern si sa source était ChatGPT et il a dit “non”, sans préciser davantage d’où il avait obtenu ses informations. Pourtant, demander à ChatGPT si Jimmy Carter a pardonné Billy obtient un “oui” sans équivoque.

En 1981, alors que Jimmy Carter approchait de la fin de sa présidence, il a pardonné son frère, Billy, pour d’éventuels crimes liés à ses affaires avec la Libye. Le pardon, cependant, ne couvrait pas les responsabilités civiles potentielles ou d’autres actions légales, et Billy Carter a finalement accepté de témoigner devant le Congrès et de payer une amende pour ses actions.

Je reconnais que cela peut être un peu fastidieux, mais j’essaie de montrer mon travail. C’est le meilleur moyen que j’ai pour établir ma crédibilité, et quelque chose que vous n’obtiendrez pas à partir de ChatGPT. C’est aussi quelque chose que seules les personnes ayant fait des affirmations erronées n’ont pas fait.

ChatGPT m’a donné d’autres réponses vraiment étranges — qui ne correspondaient pas à la question que j’ai posée concernant les présidents pardonnant leurs proches. Il a cité le pardon de Richard Nixon par Gerald Ford, en le qualifiant “bien que ce ne soit pas un membre de la famille directe.” Il a également mentionné qu’Andrew Johnson avait accordé l’amnistie à d’anciens dirigeants confédérés “y compris certains membres de la famille de figures sudistes éminentes.” Il m’a aussi, bizarrement, dit que Lyndon B. Johnson avait accordé la clémence à “divers associés”, tout en notant “qu’ils n’impliquaient souvent pas directement sa propre famille.” Quoi ?

Il est compréhensible que ChatGPT ne mentionne pas le pardon de Hunter Biden, puisque cela s’est produit au-delà de sa date limite de 2023. Mais curieusement, le pardon de Donald Trump à Charles Kushner, le père de son gendre Jared Kushner, n’apparaît pas non plus. Cela s’est produit en 2020. Assurément, Kushner est un membre de la famille plus proche de Trump que Nixon ne l’est de Ford.

J’ai envoyé un e-mail à Hearst pour demander si l’auteur d’Esquire, Charles P. Pierce, avait utilisé ChatGPT comme source pour son article. La porte-parole Allison Keane a déclaré qu’il ne l’avait pas fait et a refusé de dire quoi que ce soit de plus sur la manière dont l’erreur aurait pu se produire. Stern m’a dit qu’il avait trouvé ses informations grâce à “des recherches sur Google.”

D’accord. Voici ce que j’ai trouvé sur Google : un article d’un certain Hindustan Times intitulé, “Avant Biden : Les pardons présidentiels les plus notoires de Trump, Clinton et Carter pour les membres de la famille.” Il prétend, à tort, que Jimmy Carter a pardonné Billy. (J’ai fixé ma date limite de recherche au 2 décembre pour éviter de capturer des articles de vérification des faits provenant de fausses affirmations.) Quant à Neil Bush, j’ai trouvé un post semi-viral sur X et un article dans quelque chose appelé Times Now.

Je ne sais pas quel est la source pour les affirmations dans le Hindustan Times ou Times Now. Mais je pensais qu’il vaudrait la peine de voir ce que Google Gemini avait à dire sur ces pardons pendant que j’étais dans ce trou de lapin particulier. Gemini, en réponse à “Combien de présidents ont pardonné leurs fils” répond qu’il n’y en a qu’un : Joe Biden. Mais lorsqu’on lui demande combien de présidents ont pardonné des membres de la famille, il dit que Jimmy Carter a pardonné Billy et George H.W. Bush a pardonné Neil. Il ne mentionne pas Kushner et Trump.

Vous remarquerez dans cette image qu’il y a des couleurs de surlignage. C’est parce que j’ai demandé à Google de vérifier ses résultats. Le pardon d’Abraham Lincoln, qui est réel, est surligné en rouge — Google avertit qu’il n’a pas trouvé de contenu pertinent. Les pardons de Bush et Carter, qui sont faux, sont surlignés en vert — et le résultat de Carter cite spécifiquement l’article erroné du Hindustan Times comme source.

Perplexity fait un peu mieux, notant que Biden, Trump, Clinton et Lincoln ont pardonné des proches. Mais lorsqu’on lui demande combien de présidents ont pardonné leurs fils, il liste la lettre d’amnistie de Lincoln au nom de la demi-sœur de sa femme dans ses réponses. La demi-sœur de l’épouse de quelqu’un, il faut le dire, n’est pas un fils.

Quoi qu’il ait pu se passer dans ce cas, il y a un schéma récurrent de personnes s’appuyant sur ChatGPT ou d’autres services d’IA pour fournir des réponses, pour se retrouver avec des hallucinations en retour. Peut-être que vous vous souvenez plus tôt cette année lorsque la bande-annonce du Megalopolis de Francis Ford Coppola a été retirée parce qu’elle contenait des citations fabriquées de critiques. Une IA générative, non identifiée, les avait inventées. En fait, ChatGPT est souvent “entièrement faux”, selon le Columbia Journalism Review. Donnés 200 citations et invités à identifier la maison d’édition qui était la source de ces citations, ChatGPT avait partiellement ou entièrement tort plus des trois quarts du temps.

Même utiliser ChatGPT pour aider dans le processus d’écriture est risqué. Demandez à Jeff Hancock, le fondateur du Stanford Social Media Lab et un chercheur bien connu sur la désinformation. Un document légal qu’il a déposé avait cité des sources qui n’existaient pas. Hancock insiste sur le fait qu’il a rédigé le document lui-même, mais il a utilisé GPT-4 pour rédiger sa liste de citations, ce qui a entraîné deux citations inventées et une citation ayant les mauvais auteurs associés.

Maintenant, un défenseur de l’IA pourrait — à juste titre — dire qu’un véritable journaliste devrait vérifier les réponses fournies par ChatGPT ; que la vérification des faits est une partie critique de notre travail. Je suis d’accord, c’est pourquoi je vous ai guidé à travers ma propre vérification dans cet article. Mais ce ne sont que les exemples publics et embarrassants de quelque chose qui, je pense, se produit beaucoup plus souvent en privé : une personne normale utilise ChatGPT et fait confiance aux informations qu’elle lui donne.

Une erreur, évidemment.

Un avantage que la vieille recherche Google a sur les soi-disant moteurs de réponse est qu’elle se lie directement aux sources primaires. Les moteurs de réponse vous donnent simplement une réponse, et il est souvent peu clair quelle est la source. Pour moi, utiliser ChatGPT ou la fonction IA de Google crée un travail supplémentaire — je dois vérifier la réponse par rapport à une source primaire ; la vieille recherche Google me donnait directement cette source.

Mais les personnes qui sont moins prudentes et moins pointilleuses que moi, ce qui, je le soupçonne, est la plupart des gens, s’arrêtent simplement à la réponse et ne vérifient jamais si elle est correcte. C’est, bien sûr, l’intention du moteur de réponse — c’est ce à quoi il est conçu. (Quelqu’un, probablement quelqu’un impliqué avec PerplexityAI, dira maintenant : “ah, mais nous pouvons annoter le sourcing avec des notes de bas de page.” Même problème : qui clique sur les notes de bas de page ?)

Tout cela est bien sûr un mauvais design. La technologie qui sert réellement les gens prend en compte le comportement humain. Peut-être qu’il existe un moyen de rendre l’IA générative utile, mais dans son état actuel, je ressens une immense sympathie pour quiconque assez crédule pour l’utiliser comme outil de recherche.

Je sais que les gens en ont assez de parler de colle sur de la pizza, mais je trouve choquante la dégradation à grande échelle de notre environnement informationnel qui a déjà eu lieu. (Il suffit de rechercher sur Amazon si vous voulez voir ce que je veux dire.) Cela se produit de petites manières, comme l’affirmation incorrecte de l’IA de Google selon laquelle les renards mâles copulent toute leur vie, et de grandes manières, comme la diffusion de fausses informations sur un événement d’actualité majeur. À quoi bon une machine à réponses à laquelle personne ne peut faire confiance ?