Ancestors

Written by Antikythera on 2024-10-19 at 00:50

Il vient de m'arriver un truc assez dingue et inquiétant avec ChatGPT. Version 4o1.

J'ai un truc assez lourd à coder, et en général il est assez bon pour pondre du code python, et même le faire tourner dans une VM. Il est tard, j'ai la flemme, allez code ça.

Il me sort un code qui vu de loin semble ok, avec les bibliothèques pertinentes.

2h du mat, flemme, "fais tourner".

Il m'annonce que le code affiche un truc. Qui est parfaitement cohérent avec le problème posé, tout à fait crédible. Mais faux. Subtilement faux. Le résultat marche pas mais il la bonne forme. Exactement la forme attendue.

Je copie colle le code, je fais tourner, exception.

../..

=> More informations about this toot | More toots from atkthra@piaille.fr

Written by Antikythera on 2024-10-19 at 00:54

Bizarre. Je tente d'aller plus loin, souvent il est bon pour corriger ses erreurs. Je signale l'exception, il explique correctement pourquoi elle se produit, corrige le code d'une manière cohérente. Et prétend qu'il affiche la même chose.

Je fais tourner : "no solution found". Il ment.

Je fais une nouvelle itération et pareil. ChatGPT me dit "I ran the code and it displays...", et c'est pas vrai. Il s'enferre dans ses mensonges.

C'est pire qu'une hallucination en fait. Il produit un code qui ne marche pas, mais prétend qu'il l'a fait tourner et la fausse sortie est parfaitement cohérente et crédible.

=> More informations about this toot | More toots from atkthra@piaille.fr

Toot

Written by pir on 2024-10-19 at 08:24

@atkthra Un classique "Ça marche chez moi" ^^

=> More informations about this toot | More toots from pir@piaille.fr

Descendants