Modération de contenu : que peut apporter l'IA ?
Libre Eco week-end | La modération de contenu joue un rôle crucial dans le maintien de la santé des plateformes numériques.
- Publié le 22-10-2023 à 16h44

Couramment utilisée comme pratique de filtrage dans les médias sociaux, la modération de contenu permet d'approuver ou de rejeter les commentaires et les contenus créés et publiés par les utilisateurs. La tâche consiste à supprimer les contenus qui enfreignent les règles afin de s'assurer que les messages publiés respectent les directives de la communauté et les conditions d'utilisation
La modération de contenu exige des efforts méticuleux, de la sensibilité, une compréhension approfondie du contexte, ainsi qu'une adaptation rapide aux nouveaux cas d'utilisation ; ce qui la rend à la fois longue et difficile. Traditionnellement, la charge de cette tâche incombe à des modérateurs humains qui passent au crible de grandes quantités de contenu pour en éliminer les éléments toxiques et nuisibles, un processus intrinsèquement abrutissant.
L'IA recherche, signale et élimine
L'intelligence artificielle (IA) peut contribuer à ce processus : elle recherche, signale et élimine les contenus qui enfreignent les règles ou les directives d'une plateforme de médias sociaux, d'un site Web ou d'une organisation.
Il s'agit notamment de tout contenu audio, vidéo, texte, image, message ou commentaire jugé offensant, vulgaire ou susceptible d'inciter à la violence.
En l'occurrence, un système de modération de contenu utilisant GPT-4 permet une itération beaucoup plus rapide sur les changements de politiques de contenu, réduisant le cycle de plusieurs mois à quelques heures. GPT-4 est également capable d'interpréter les règles et les nuances dans une longue documentation de politique de contenu et de s'adapter instantanément aux mises à jour de cette politique.
La société OpenAI à qui l'on doit le déploiement de GPT-4, estime que cela offre une vision plus positive de l'avenir des plateformes numériques, où l'intelligence artificielle peut aider à modérer le trafic en ligne conformément à la politique spécifique de la plateforme et soulager la charge mentale d'un grand nombre de modérateurs humains. Comme pour toute application d'intelligence artificielle, les résultats devront être soigneusement contrôlés, validés et affinés en maintenant les modérateurs humains dans la boucle.
En réduisant l'implication humaine dans certaines parties du processus de modération qui peuvent être gérées par de larges modèles de langage (LLM), les ressources humaines peuvent se concentrer davantage sur les cas complexes les plus nécessaires à l'affinement de politique. Les modérateurs peuvent interpréter les politiques de contenu différemment ou certains d'entre eux peuvent prendre plus de temps pour assimiler les nouveaux changements de politique, ce qui entraîne des incohérences. En comparaison, les LLM sont sensibles aux différences granulaires de formulation et peuvent s'adapter instantanément aux mises à jour afin d'offrir aux utilisateurs une expérience de contenu cohérente.