Les communautés en ligne abondent aujourd’hui, sur les sites de réseautage social, sites Web de communautés du monde réel comme les écoles ou les clubs, sur le web forums, sur les forums de discussion des jeux vidéo, et même sur les pages de commentaires sites d’information et blogs. Certaines de ces communautés sont « saines » et discussion polie entre membres respectueux, mais d’autres sont « toxiques » et se transformer en combats virulents, à la traîne, à la cyberintimidation, à la fraude, ou même à la l’incitation au suicide, à la radicalisation ou à la prédation sexuelle et au toilettage des Mineurs. La détection des messages toxiques et des utilisateurs toxiques est un défi majeur, en partie parce qu’ils sont des utilisateurs contradictoires qui tentent activement de contourner ou logiciels de détection et filtres. En outre, alors que beaucoup de recherches dans le la littérature s’est penchée sur les communautés en ligne (par exemple dans la normalisation du texte pour corriger les mots mal orthographiés, dans la détection des sentiments pour déduire l’humeur de utilisateurs, ou dans la modélisation utilisateur pour reconnaître les différentes personnalités des utilisateurs), la plupart d’entre eux ont supposé que les utilisateurs collaborent plutôt que délibérément essayer de détourner le logiciel.
La société privée TwoHat dispose d’un logiciel Community Sift, qui aide les modérateurs communautaires à trouver des messages dans les conversations en ligne. Dans ce projet de recherche, nous avec eux afin d’atteindre cinq objectifs généraux, qui seront détaillés dans les sections ultérieures: (1) Pour explorer les améliorations à la gestion de la conversation outils et des mesures d’évaluation de la toxicité dans le contexte du système; (2) Rechercher de nouvelles méthodologies pour la détection de la toxicité en ligne conversations; (3) Développer des algorithmes innovants pour agréger les des éléments d’information dans les dossiers de preuves dans le cadre d’une évaluation cohérente et prédiction; (4) Développer des implémentations en temps réel de ces méthodologies qui peut gérer le flux massif de données des conversations en ligne; (5) Étudier la nature des comportements toxiques, leurs impacts sur les utilisateurs et sur les communautés, et les mécanismes pour les freiner.