đź§  ChatGPT et le droit : hallucination juridique ou outil utile ? Vos retours?

Je viens de lire ce post LinkedIn de Julie Bouin (:backhand_index_pointing_right: Aujourd’hui j’ai voulu donner sa chance à ChatGPT pour une recherche juridique. | Julie BOUIN) qui m’a bien fait réagir.

En résumé : elle a voulu tester ChatGPT sur une recherche juridique. Résultat ? Des arrêts inventés de toutes pièces… que l’IA a fini par reconnaître comme fictifs. :balance_scale::thought_balloon:

Cela soulève une vraie question : quelles sont les limites de l’IA dans des domaines sensibles comme le droit ?

Mais aussi :
:backhand_index_pointing_right: Utilisez-vous ChatGPT (ou d’autres IA) dans un cadre professionnel ou spécialisé comme le juridique, médical, technique… ?
:backhand_index_pointing_right: Quelles sont vos astuces pour éviter les hallucinations ?
:backhand_index_pointing_right: Avez-vous des outils complémentaires, des extensions, des workflows pour valider, recouper, fiabiliser ?
:backhand_index_pointing_right: Et des anecdotes Ă  partager, bonnes ou mauvaises ?

Personnellement, je pense que l’IA est un assistant puissant, mais pas encore une source de vérité autonome. Curieux d’avoir vos expériences et conseils sur le sujet !

2 « J'aime »

J’ai tous les jours des problèmes avec l’IA.
Que ce soit Claude, chat GPT, perplexity…
J’utilise beaucoup pour les études de documents, des synthèses, aides à la rédaction avec sources.
A chaque fois j’ai des mensonges dans mes textes. Des fausses sources citées avec même les pages et citations exacte de texte et tout est faux.

Honnêtement c’est de pire en pire.
Et même en faisant un bon prompt, en demandant de rester factuel, etc… Rien a faire.
Finalement j’ai arrêté l’IA pour l’étude de documents. Malheureusement elle sert uniquement de reformulation et encore même ça elle arrive à inventer des propos qui ne sont pas dans le texte initial.
Je perds du temps alors que je devrais en gagner.

1 « J'aime »

Je vous comprends à 100%. J’ai eu exactement les mêmes galères.

Au début, j’étais super enthousiaste : je me disais que l’IA allait me faire gagner un temps fou pour résumer des documents ou m’aider à rédiger avec des sources. Et puis très vite, j’ai déchanté…

Les hallucinations sont fréquentes, même quand tu fais tout bien : bon prompt, consignes claires, etc. Elle peut sortir une citation ultra précise avec page, auteur, contexte… et au final, ça n’existe pas. C’est assez dingue.

Perso, j’ai fini par ne plus lui faire confiance pour tout ce qui touche à des sources précises ou à l’analyse de texte mot à mot. Je l’utilise plutôt comme un assistant de reformulation, ou pour m’aider à clarifier une idée… mais jamais pour produire un truc final sans relecture attentive.

C’est frustrant parce qu’on vend souvent l’IA comme un outil “magique”, alors que dans les faits, elle demande encore beaucoup de vérification. Et parfois, comme tu dis, tu perds plus de temps que tu n’en gagnes.

Quelques pistes pour limiter ces erreurs :

  • :magnifying_glass_tilted_left: Toujours vĂ©rifier manuellement les rĂ©fĂ©rences citĂ©es.
  • :paperclip: Utiliser des outils avec accès direct Ă  des bases de donnĂ©es fiables (ex : Perplexity avec « Copilot Â» activĂ© ou ChatGPT avec la recherche web et les sources citĂ©es).
  • :books: PrivilĂ©gier des outils spĂ©cialisĂ©s pour la lecture et l’analyse de documents (par exemple : PDF.ai, Humata, ou ChatDOC).
  • :memo: Travailler en deux Ă©tapes : d’abord faire une extraction manuelle ou semi-automatisĂ©e du texte source, puis demander Ă  l’IA de travailler uniquement sur ce contenu prĂ©cis.

Cela reste imparfait, mais en utilisant les bons workflows, on peut quand même regagner un peu de temps et de clarté. Et pour la reformulation, c’est pareil : il vaut mieux lui faire reformuler uniquement des passages très précis, plutôt que des blocs entiers, pour éviter qu’elle n’invente des choses.

Bref, vous n’êtes pas seuls à galérer, mais avec un peu d’encadrement, l’IA reste un bon assistant mais pas encore un expert !

Mais je me dis que ça reste une techno jeune, et qu’elle progresse vite. Avec un peu de chance et de temps, elle finira peut-être par vraiment tenir ses promesses.

1 « J'aime »

Cela fait combien de temps que vous utilisez chat gpt et comment lutilisez vous?

Car tout est là…
Sans jeter la pierre a personne,
si les utilisateurs se faisaient des collaborateurs accompagnateurs, les IA serait bien plus pertinentes dans leurs retours.

A tout ceux Ă  qui cela parle meme un peu, invitation au post que je viens de lancer.

Au plaisir

Avec NotebookLM, j’ai beaucoup moins d’hallucinations :star_struck: