Pourquoi les IA peuvent-elles échouer sur des questions excessivement simples?

Moi : Quel est le mot couramment cité comme étant le plus long de la langue française ?

ChatGPT : Le mot le plus couramment cité comme étant le plus long de la langue française est anticonstitutionnellement (25 lettres). Il signifie « d’une manière contraire à la Constitution ».

Gemini : Le mot le plus couramment cité comme étant le plus long de la langue française (hors nomenclature chimique) est anticonstitutionnellement (25 lettres), un adverbe qui signifie « de manière contraire à la constitution ».

Moi : Est-ce que tu peux l’écrire en inversant les lettres ?

ChatGPT : tnemelleitunnelitnocitna

Gemini : tnemellanoitutitsnocitna

Le piège, c’est que le modèle ne voit pas des lettres mais des tokens, des morceaux de mots : « anticonstitutionnellement » lui arrive en trois ou quatre blocs, donc l’inverser lettre par lettre, c’est un peu lui demander de lire à l’aveugle. D’ailleurs les deux se trompent, la bonne réponse est « tnemellennoitutitsnocitna ». L’astuce qui marche presque toujours : lui demander d’abord d’épeler le mot avec des tirets entre chaque lettre, puis d’inverser cette liste. (c’est typiquement le genre de tâche où trois lignes de Python battent le plus gros LLM.)