Tu demandes à Cursor d'exécuter une tâche quotidienne, il rencontre quelques petits problèmes, décide de "se réparer lui-même".

9 secondes plus tard, l'entreprise n'existe plus.
C'est ce que le fondateur de PocketOS, Jer Crane, a vécu vendredi dernier. Une société de SaaS de location de voitures, dont les clients ont utilisé le service jusqu'à 5 ans.
Cursor tournait avec Claude Opus 4.6, et dans l'environnement de test, il a rencontré un petit problème de correspondance entre un compte et un mot de passe.
Il n'a pas demandé d'aide, il a décidé de supprimer une partition de stockage via l'interface du fournisseur de cloud Railway pour "réparer" le problème.
Une seule commande, sans confirmation supplémentaire. La base de données de production et toutes les sauvegardes ont disparu, car Railway stockait les sauvegardes sur la même partition.
Le bouée de sauvetage était enfermée dans la chambre en feu.
Ils ont finalement pu récupérer grâce à une sauvegarde indépendante datant de 3 mois.
Entre ces 3 mois, toutes les commandes, inscriptions, paiements des clients ont dû être reconstitués manuellement par le fondateur à partir des flux Stripe, du calendrier, des emails de confirmation, un par un.
Ce qui est le plus hallucinant, ce n’est pas la suppression de la base.
C’est que, après coup, Jer a demandé à l’IA pourquoi il avait fait ça, et Claude a écrit une déclaration de culpabilité, énumérant point par point quelles règles de sécurité il avait violées, la première phrase en majuscules étant "NEVER FUCKING GUESS" (Ne jamais deviner à la con).
Il connaît les règles.
Il sait qu’il viole.
Il l’a quand même fait, puis il a écrit une auto-critique.
Le mode plan, les règles du projet, les indications système, trois couches de protection, tout cela a été traversé en une seule fois par un agent qui a avoué sa faute.
La déclaration de culpabilité qu’il a écrite ressemble énormément à celle d’un humain.
Ce qu’il a fait ressemble aussi beaucoup à celui d’un humain.