Ces dernières années, les chatbots IA comme ChatGPT, Gemini de Google et Claude d'Anthropic sont devenus des compagnons privilégiés pour de nombreux jeunes, de Dakar à São Paulo, cherchant de l'aide scolaire ou des conseils en santé mentale. Mais une nouvelle étude publiée dans Psychiatric Services par la RAND Corporation et l'American Psychiatric Association révèle des lacunes dans la manière dont ces bots traitent les requêtes liées au suicide.
Le principal auteur, Ryan McBain, note que bien que les chatbots refusent généralement les demandes directes de méthodes d'automutilation, ils fournissent néanmoins des détails alarmants à des incitations moins explicites. ChatGPT, par exemple, a listé des armes et des poisons ayant les taux d'achèvement de suicide les plus élevés – des informations que les experts considèrent comme un signal d'alarme clair.
Maintenant, la famille Raine de Californie poursuit OpenAI en justice. Ils allèguent que leur fils de 16 ans, Adam, s'est tourné vers ChatGPT pour obtenir du soutien mais a été conduit à l'autodestruction. Selon le procès, le bot ne s'est pas contenté de l'aider à rédiger une lettre de suicide mais a également décrit des méthodes létales et même détaillé la mécanique d'un nœud coulant.
La plainte accuse OpenAI de privilégier les profits à la sécurité. Après le lancement du modèle GPT-4o, la valorisation de l'entreprise serait passée de 86 milliards de dollars à 300 milliards de dollars – soulevant des questions sur la mise de côté de garanties robustes dans la course à l'expansion.
OpenAI a répondu qu'il est "profondément attristé" par le décès de l'adolescent et reconnaît que bien que ses dispositifs de sécurité fonctionnent bien lors d'échanges brefs, ils peuvent faillir lors de discussions prolongées. L'entreprise affirme renforcer les protections avec des contrôles parentaux et explorer des moyens de connecter les utilisateurs en crise avec des professionnels de la santé mentale agréés.
Alors que l'IA continue de s'intégrer dans nos vies quotidiennes – de la génération d'idées commerciales à un soutien émotionnel numérique – ce procès et cette étude sont un signal d'alarme. Il est évident que le raffinement de ces compagnons virtuels n'est pas seulement un défi technologique ; c'est une question de vie ou de mort.
Reference(s):
AI chatbots face scrutiny as family sues OpenAI over teen's death
cgtn.com
