Une étude menée par l'université deCornell, en partenariat avec Google Jigsaw et Wikimedia, utilise l'apprentissage automatique pour détecter en amont les discussions qui pourraient s'envenimer.
Le logiciel des chercheurs a été entrainé à mettre en lumière les termes menant à un franc désaccord, voire à un échange qui dégénère, en analysant la talk page de Wikipedia. Le programme cible des propos cordiaux indiquant un état d'esprit apaisé, comme merci pour votre aide, comment allez-vous, il me semble que,, ou encore s'il vous plait, afin de déterminer un échange constructif, au sein duquel un individu pourra admettre une erreur sans s'emporter.
Au contraire, des termes avec une négation en début de conversation, comme des questions répétées, pourquoi n'as-tu pas, pourquoi ce n'est pas fait, ou des phrases répétées commençant par tu ou ton, suggèrent au logiciel que l'ambiance pourrait s'assombrir, et qu'au moins l'un des protagonistes en fait une affaire personnelle.
En utilisant ensuite une technique nommée régression logistique, les chercheurs ont tenté d'aiguiser le jugement de la machine, avec in fine 65 % de prédictions exactes. Toutefois, les modérateurs humains -qu'il s'agit ici de remplacer à moindre coût- réalisent un score de 72 % sur le même test. De plus, les nuances des différents langages, comme l'ironie ou l'humour, s'avèrent toujours difficiles à déchiffrer pour une IA.
Le programme pourrait dans un premier temps trier les discussions ayant déclenché une alerte, avant examen par un modérateur. Justine Zhang de l'université de Cornell admet les limites actuelles du projet en évoquant des échanges houleux, présentant tous les indices néfastes, et qui pourtant se terminent de manière constructive, nécessitant parfois cet état toxique afin de faire avancer le dialogue.
