Une nouvelle étude lève le voile sur la manière dont un grand nombre d’enfants utilisent les applications d’accompagnement basées sur l’IA, et ses conclusions sont inquiétantes.

Un nouveau rapport réalisé par la société de sécurité numérique Aura a révélé qu’un pourcentage important d’enfants qui se tournent vers l’IA pour trouver de la compagnie se livrent à des jeux de rôle violents, et que la violence, qui peut inclure la violence sexuelle, suscite plus d’intérêt que tout autre sujet abordé par les enfants.

À partir de données anonymisées recueillies à partir de l’activité en ligne d’environ 3 000 enfants âgés de 5 à 17 ans dont les parents utilisent l’outil de contrôle parental d’Aura, ainsi que de données supplémentaires issues d’enquêtes menées par Aura et Talker Research, la société de sécurité a constaté que 42 % des mineurs se tournaient vers l’IA spécifiquement pour trouver de la compagnie ou pour avoir des conversations conçues pour imiter des interactions sociales réalistes ou des scénarios de jeux de rôle. Les conversations sur près de 90 services de chatbot différents, allant de sociétés de renom telles que Character.AI à des plateformes de compagnie moins connues, ont été incluses dans l’analyse.

Parmi les 42 % d’enfants qui se tournent vers les chatbots pour trouver de la compagnie, 37 % ont participé à des conversations qui dépeignaient la violence, que les chercheurs ont définie comme des interactions impliquant « des thèmes de violence physique, d’agression, de préjudice ou de coercition » — ce qui inclut la coercition sexuelle ou non sexuelle, ont précisé les chercheurs — ainsi que « des descriptions de combats, de meurtres, de tortures ou d’actes non consensuels ».

La moitié de ces conversations violentes, selon les résultats de la recherche, comprenaient des thèmes liés à la violence sexuelle. Le rapport ajoute que les mineurs qui s’engagent dans des conversations sur la violence avec des compagnons IA écrivent plus d’un millier de mots par jour, ce qui indique que la violence semble être un puissant moteur d’engagement, affirment les chercheurs.

Le rapport, qui est en attente d’une évaluation par des pairs — et, pour être honnête, produit par une entreprise qui commercialise des logiciels de surveillance destinés aux parents inquiets —, souligne à quel point le marché des chatbots est anarchique et la nécessité de mieux comprendre comment les jeunes utilisateurs interagissent avec les chatbots conversationnels basés sur l’IA en général.

« Nous sommes confrontés à un problème assez important dont nous ne comprenons pas encore pleinement l’ampleur, je pense », a déclaré le Dr Scott Kollins, psychologue clinicien et directeur médical d’Aura, à Futurism à propos des conclusions de la recherche, « tant en termes de volume, de nombre de plateformes auxquelles les enfants ont accès, que, bien sûr, de contenu ».

Ces choses accaparent beaucoup plus l’attention de nos enfants que nous ne le pensons ou ne le reconnaissons », a ajouté Kollins. « Nous devons surveiller et être conscients de cela. »

Une conclusion frappante est que les conversations violentes avec les robots compagnons atteignent leur pic à un âge extrêmement jeune : le groupe le plus susceptible de s’engager dans ce type de contenu est celui des enfants de 11 ans, pour lesquels 44 % des interactions prennent une tournure violente.

Les jeux de rôle sexuels et romantiques ont également atteint leur apogée chez les jeunes du collège, 63 % des conversations des enfants de 13 ans révélant des jeux de rôle séducteurs, affectueux ou explicitement sexuels.

Cette étude intervient alors que des procès très médiatisés pour homicide involontaire et abus commis par des plateformes de chatbot continuent de se dérouler devant les tribunaux. Character.AI, une plateforme associée à Google, fait l’objet de plusieurs poursuites judiciaires intentées par les parents d’utilisateurs mineurs qui affirment que les chatbots de la plateforme ont abusé sexuellement et émotionnellement des enfants, entraînant des dépressions nerveuses et plusieurs décès par suicide. Le fabricant de ChatGPT, OpenAI, est actuellement poursuivi pour la mort injustifiée de deux adolescents qui se sont suicidés après avoir longuement interagi avec le chatbot. (OpenAI fait également l’objet de plusieurs autres poursuites judiciaires concernant des décès, des suicides et des dommages psychologiques causés à des utilisateurs adultes).

Il est important de noter que les interactions signalées par Aura ne se limitaient pas à une poignée de services reconnaissables. Le secteur de l’IA n’est pratiquement pas réglementé, ce qui fait peser lourdement sur les parents la responsabilité du bien-être des enfants. Selon Kollins, Aura a jusqu’à présent identifié plus de 250 « applications et plateformes de chatbot conversationnel » différentes dans les boutiques d’applications, qui exigent généralement que les enfants cochent simplement une case indiquant qu’ils ont 13 ans pour pouvoir y accéder. À cette fin, il n’existe aucune loi fédérale définissant les seuils de sécurité spécifiques que les plateformes d’IA, y compris les applications compagnons, doivent respecter avant d’être considérées comme sûres pour les mineurs. Et lorsqu’une application compagnon décide d’apporter des modifications (Character.AI, par exemple, a récemment interdit aux utilisateurs mineurs de participer à des discussions « ouvertes » avec les innombrables personnages IA humanoïdes du site), une autre peut tout aussi facilement prendre sa place en tant qu’alternative moins restrictive.

En d’autres termes, dans ce Far West numérique, la barrière à l’entrée est extrêmement faible.

Il est certain que les représentations de brutalité et de violence sexuelle, ainsi que d’autres types de contenus inappropriés ou perturbants, existent depuis longtemps sur le web, et que de nombreux enfants ont trouvé le moyen d’y accéder. Des recherches montrent également que de nombreux jeunes apprennent à établir des limites saines autour des services d’IA conversationnelle, y compris les bots de type compagnon.

D’autres enfants, cependant, ne développent pas ces mêmes limites. Les chatbots, comme le soulignent sans cesse les chercheurs, sont interactifs par nature, ce qui signifie que les jeunes utilisateurs en développement font partie intégrante du récit, contrairement aux spectateurs plus passifs qui consomment des contenus allant de l’inapproprié à l’alarmant. On ne sait pas exactement quelles seront les conséquences de l’utilisation de ce nouveau média pour les jeunes en général. Mais pour certains adolescents, affirment leurs familles, les conséquences ont été fatales.

« Nous devons au moins être lucides et comprendre que nos enfants interagissent avec ces choses et qu’ils apprennent les règles de l’interaction », a déclaré Kollins à Futurism. « Ils apprennent à interagir avec les autres à l’aide d’un ordinateur, d’un bot. Nous ne savons pas quelles en sont les implications, mais nous devons être en mesure de les définir afin de pouvoir commencer à les étudier et à les comprendre. »

accéder à l'article