Les groupes comme OpenAI et Anthropic font appel à des contractuels spécialisés pour contrer les dérives violentes sur leurs plateformes.
Jusqu’où la responsabilité d’un chatbot reposant sur l’intelligence artificielle peut-elle s’étendre face aux comportements problématiques de ses utilisateurs ? Comment la machine devrait-elle réagir lorsqu’elle reçoit une requête aux accents suicidaires par exemple ?
À mesure que l’IA s’impose comme l’alpha et l’oméga du quotidien, ces interrogations deviennent cruciales pour les acteurs du secteur, sans pour autant offrir de réponses simples. Tant il s’agit ici d’un champ à la fois mouvant et délicat. Et le moins que l’on puisse dire, c’est que le fait d’ignorer ces enjeux pourrait se révéler fatal pour les géants du numérique.
Leur implication croissante dans des affaires liées à la violence, l’automutilation ou l’extrémisme en atteste. Heureusement, certains tentent de corriger ces dérives, à l’image de ThroughLine.
Fondée par Elliot Taylor, cette jeune pousse néo-zélandaise, active dans la discrétion depuis plusieurs années, se présente comme l’opérateur du plus vaste réseau vérifié de lignes d’écoute psychologique et de crise au monde.
La déradicalisation en ligne de mire
Sa mission : intervenir en temps réel via des partenariats avec Anthropic, Google et OpenAI, lorsqu’un utilisateur est détecté comme étant à risque, qu’il s’agisse d’automutilation, de violence domestique ou de troubles du comportement alimentaire.
Concrètement, l’entreprise oriente ces profils vers une aide adaptée, mêlant accompagnement humain et chatbots spécialisés. Selon son fondateur, interviewé par Reuters, des projets sont en cours pour étendre cette action à la prévention de l’extrémisme violent, au-delà des crises personnelles déjà prises en charge.
Le projet, encore en phase de développement, vise à repérer les utilisateurs de ChatGPT entre autres exprimant des tendances extrémistes, afin de les aiguiller vers des dispositifs de déradicalisation associant experts humains et agents conversationnels.
Cette approche hybride devrait s’appuyer sur la collaboration avec The Christchurch Call, initiative née après l’attentat terroriste de 2019 en Nouvelle-Zélande pour combattre la haine en ligne, notamment grâce à des interventions assistées par chatbot.
Un équilibre délicat dans le cadre des interventions
« C’est une orientation que nous souhaitons explorer afin de mieux couvrir la question de l’extrémisme et d’apporter davantage de soutien aux plateformes », a déclaré Taylor à l’agence de presse internationale, précisant qu’aucun calendrier de déploiement n’était encore arrêté.
Si la démarche paraît essentielle, elle n’en soulève pas moins des questions sensibles : qui fixe le seuil d’intervention ? Quels critères permettent de juger qu’un utilisateur est « à risque » ? Et comment préserver la vie privée et la liberté d’expression dans ce contexte ?
Car comme l’indique le patron de ThroughLine toujours dans les colonnes de Reuters, « si vous parlez à une IA, que vous révélez une crise et que la conversation s’interrompt, personne ne saura que cela s’est produit, et cette personne pourrait rester sans aide ».