Projets & Gouvernance

Projet « Chat Control » vs 1984 d’Orwell : entre réalité légale et dystopie fictionnelle

by  • 

J’ai voulu cet article pour comparer le célèbre livre « 1984 » a été écrit par George Orwell (nom de plume d’Eric Arthur Blair), publié en 1949 au projet Chat Control de l’union européenne.

En mai 2022, la Commission européenne a proposé un règlement ambitieux pour lutter contre les abus sexuels sur enfants en ligne, surnommé par certains « Chat Control ».

Ce projet vise à imposer aux services de communication (messageries, hébergeurs…) la détection automatique des contenus pédopornographiques et des comportements de grooming (sollicitation d’enfants en ligne). La Commission justifie l’initiative par l’ampleur du problème : 85 millions d’images et vidéos pédopornographiques ont été signalées dans le monde en 2021, un chiffre en forte hausse.

Or, le dispositif actuel de détection volontaire par les plateformes est jugé insuffisant et va devenir juridiquement impossible une fois expirée l’exemption temporaire au règlement ePrivacy en vigueur jusqu’en 2024. Le nouveau règlement instaurerait donc des obligations permanentes : les fournisseurs de services devraient évaluer et atténuer les risques d’abus sur leurs plateformes, mettre en place des mesures proportionnées avec des garde-fous, et, en dernier recours, détecter, signaler et retirer les contenus illicites identifiés. Il prévoit aussi la création d’un Centre européen indépendant (EU Centre on Child Sexual Abuse) chargé d’appuyer ces efforts en centralisant expertise et signalements.

Du point de vue légal, ce projet s’inscrit dans la continuité d’une réglementation provisoire adoptée en 2021, qui permettait aux messageries de scanner volontairement les communications pour y repérer des abus d’enfants malgré le secret des correspondances garanti par la directive ePrivacy.

Le nouveau règlement « CSAR » (Child Sexual Abuse Regulation) remplacerait ce régime transitoire par un cadre contraignant uniforme dans l’UE. Le dossier est politiquement sensible : il touche à la protection des enfants, impératif incontesté, mais soulève des questions de protection de la vie privée et de secret des communications tout aussi fondamentales. Le ton de la Commission se veut rassurant, insistant sur la nécessité d’agir tout en respectant les droits : la détection serait « une mesure de dernier recours », appliquée seulement si les mesures préventives échouent.

En pratique, des ordres de détection ciblés pourraient être délivrés, enjoignant une plateforme à analyser les messages d’un service particulier si un risque élevé d’abus y est constaté, plutôt qu’une surveillance permanente et généralisée de tous les messages circulant en Europe.

Surveillance automatisée des communications : vers un Big Brother numérique ?

Malgré les précautions affichées, le projet a suscité immédiatement des comparaisons avec l’univers de 1984 de George Orwell – roman emblématique dépeignant une surveillance de masse omniprésente. Dans cette dystopie, la liberté individuelle est anéantie : « La liberté d’expression n’existe plus, tous les comportements sont minutieusement surveillés grâce à des machines appelées télécrans » affichant partout le slogan « Big Brother vous regarde ». Ces télécrans, dispositifs fictifs installés dans chaque foyer, diffusent en continu la propagande du Parti tout en espionnant chaque geste et parole des citoyens. Dotés de micros et caméras, ils enregistrent toute activité, sans possibilité pour l’individu de les éteindre complètement. Toute intimité est abolie : même les expressions faciales ou attitudes suspectes peuvent trahir un crime de la pensée et conduire à l’arrestation par la Police de la Pensée. Orwell résume ainsi le but du télécran : permettre aux autorités « d’entendre et de voir ce qui se fait dans chaque pièce où se trouve un individu », instaurant un espionnage permanent.

Face à cette référence dystopique, qu’en est-il réellement du projet européen ? Le règlement « Chat Control » n’instaure heureusement pas de caméras chez les citoyens, mais il obligerait les fournisseurs de messagerie à opérer une surveillance automatisée des communications privées en ligne. Concrètement, il s’agirait pour les plateformes de scanner les messages, conversations et contenus partagés par les utilisateurs, à la recherche soit d’images connues illégales (grâce à des empreintes numériques), soit de nouveaux contenus suspects via l’intelligence artificielle, soit encore de schémas de conversation pouvant révéler un grooming.

Cette analyse s’effectuerait sans distinction a priori entre contenus légitimes et illicites, ce qui inquiète les défenseurs des libertés. « Cela consiste à scanner l’intégralité des communications privées en Europe. C’est comme si l’on demandait […] de mettre une caméra ou un micro dans chaque maison […]. Les gens seraient horrifiés d’une telle proposition », a alerté Will Cathcart, patron de WhatsApp, en dénonçant ce projet.

Cette analogie forte avec les télécrans orwelliens souligne la crainte d’une ingérence massive dans la vie privée des citoyens, même motivée par la lutte contre la pédocriminalité.

Du côté des autorités européennes, on insiste sur le caractère ciblé et encadré de la mesure, loin d’une surveillance totalitaire généralisée. La Commission et certains parlementaires soulignent que le texte doit respecter l’interdiction des obligations de surveillance générale déjà établie par le droit européen et la jurisprudence de la Cour de justice.

Le droit de l’UE (notamment via la directive eCommerce et des arrêts de la CJUE) proscrit d’imposer aux intermédiaires Internet une obligation de surveiller de manière généralisée les informations transmises par leurs utilisateurs. Le rapporteur du Parlement européen sur le projet a d’ailleurs modifié la version initiale pour clarifier ce point : il propose de limiter l’analyse aux métadonnées dans le cas des messageries chiffrées, afin de repérer des « patrons de comportement suspects » sans briser le secret du contenu. Cette approche viserait à concilier efficacité et proportionnalité, en évitant de « lire » effectivement tous les messages.

Néanmoins, la frontière entre une détection ciblée sur indication et un scannage indiscriminé de toutes les conversations reste au cœur du débat. Le Contrôleur européen de la protection des données (CEPD) a mis en garde : en l’état, les conditions du projet sont trop floues et « risquent de mener vers une surveillance généralisée et non discriminée de toutes les communications numériques, façon Big Brother ». Autrement dit, sans garanties techniques et juridiques strictes, le scénario d’une machine surveillant l’ensemble des échanges numériques – rappelant la fiction orwellienne – pourrait devenir réalité, en contradiction avec les valeurs européennes.

Chiffrement de bout en bout : un rempart menacé ?

L’une des principales préoccupations soulevées par Chat Control concerne le chiffrement de bout en bout (E2EE) qui protège de nombreuses messageries (WhatsApp, Signal, iMessage…). Actuellement, ce chiffrement garantit que seuls l’émetteur et le destinataire peuvent lire le message, empêchant même le fournisseur du service ou les autorités d’accéder au contenu.

Cette confidentialité est considérée comme un pilier essentiel de la sécurité numérique et de la liberté d’expression. Le Comité européen de protection des données (qui regroupe les CNIL des 27 pays de l’UE ainsi que le CEPD) a ainsi rappelé que le chiffrement fort contribue de manière fondamentale à la protection de la vie privée et qu’il ne doit pas être affaibli « pour le bien de tous ».

Or, pour détecter du contenu illicite à l’intérieur même de messages chiffrés, deux options se présentent, toutes deux controversées : soit briser le chiffrement (installer une porte dérobée ou backdoor permettant d’accéder aux messages), soit mettre en place une analyse côté client sur le terminal de l’utilisateur avant chiffrement. La première option est ouvertement rejetée par les acteurs de la sécurité : affaiblir sciemment le chiffrement crée des vulnérabilités exploitables par des hackers ou des régimes autoritaires, menaçant la sécurité de tous.

La seconde option, le client-side scanning (CSS), a un temps été envisagée par Apple (scandale du projet NeuralHash) avant d’être suspendue face au tollé mondial. Elle consisterait par exemple à intégrer dans l’application de messagerie un logiciel qui analyserait les photos avant envoi, en les comparant à une base de données de fichiers illégaux connus.

Apple avait même pensé à un système d’alerte parentale via IA détectant des images sexuellement explicites dans les iMessages des mineurs. Ces idées, bien qu’animées de bonnes intentions, rappellent furieusement l’omniscience de Big Brother.

Des experts en cybersécurité de premier plan ont d’ailleurs publiquement fustigé le principe même de l’analyse sur l’appareil : selon eux, le scannage local des messages constitue une menace pour la vie privée, la sécurité informatique, la liberté d’expression et même la démocratie dans son ensemble.

En effet, même si le chiffrement n’est pas « mathématiquement cassé » par cette méthode, c’est un trompe-l’œil : « le message est analysé avant d’être envoyé », donc le contenu n’est plus réellement confidentiel.

En outre, introduire un mécanisme d’inspection sur chaque téléphone ouvre la porte à des usages abusifs : détournement par des acteurs malveillants, ou élargissement futur du champ de surveillance. Sur ce dernier point, les associations de défense des droits numériques alertent : une fois en place une infrastructure technique de surveillance, même limitée à la pédopornographie initialement, la tentation sera grande de l’étendre à d’autres infractions ou comportements jugés indésirables.

C’est la logique du « slippery slope » (glissement progressif) qui inquiète : aujourd’hui le ciblage des prédateurs d’enfants fait consensus, mais demain une telle technologie pourrait servir – dans de mauvaises mains – à filtrer des conversations politiques, idéologiques ou personnelles, basculant vers une société de surveillance généralisée.

Les défenseurs du projet répondent que le règlement intègre des sauvegardes juridiques : la mise en œuvre de la détection serait soumise à autorisation (par une autorité judiciaire ou administrative indépendante), ciblée sur un service précis et proportionnée à la menace. De plus, des techniques moins intrusives, comme l’analyse des métadonnées ou la détection des contenus connus via des hash numériques, seraient privilégiées. Par exemple, plutôt que de lire toutes les conversations, un fournisseur pourrait être requis de détecter uniquement les fichiers images circulant dont l’empreinte correspond à celles d’un matériel pédopornographique dans la base de l’NCMEC (centre américain faisant référence en la matière).

Cela reviendrait à un filtrage automatisé très spécifique, comparable aux scanners anti-virus ou antispam. Cependant, même un tel filtrage soulève des objections de principe : n’est-ce pas instaurer un contrôle permanent sur les communications privées, là où le droit européen consacre au contraire le secret des correspondances comme inviolable ? La ligne est ténue entre une analyse algorithmique limitée et un outil de surveillance de masse. « Même limitée à l’usage d’indicateurs, l’impact négatif de la surveillance généralisée des communications textuelles et audio est si grave qu’il ne peut être justifié au regard de la Charte des droits fondamentaux de l’UE », a insisté Wojciech Wiewiórowski, le CEPD, résumant l’avis des gendarmes européens des données.

Bref, porter atteinte au cœur du droit à la vie privée – ici le contenu de nos messages – serait disproportionné, quand bien même l’objectif poursuivi est légitime et urgent.

Novlangue et détection comportementale : le contrôle du discours

Au-delà de l’aspect purement technique, la comparaison entre Chat Control et 1984 invite à réfléchir à la maîtrise du langage et de l’information. Dans le roman d’Orwell, le régime instaure la Novlangue, une langue officielle appauvrie et déformée dont le but est explicite : « Le novlangue était destiné, non à étendre, mais à diminuer le domaine de la pensée », en réduisant au minimum le choix des mots disponibles.

En éliminant les termes hérétiques et en fusionnant les concepts (par exemple « liberté » devient impensable car le mot n’existe plus), le Parti rend littéralement impossible la formulation d’une idée subversive. La Novlangue est l’instrument ultime du contrôle des esprits : si l’on ne peut plus mettre de mots sur la contestation, celle-ci finit par disparaître même en pensée.

Évidemment, le projet Chat Control n’ambitionne rien de tel et ne manipule pas la langue des citoyens. Néanmoins, il comporte un volet d’analyse automatisée du langage qui, de façon limitée, s’apparente à une surveillance du contenu sémantique des communications. En effet, pour détecter des sollicitations d’enfants (grooming), les fournisseurs pourraient recourir à de l’IA entraînée à reconnaître des schémas de conversation typiques d’un prédateur cherchant à gagner la confiance d’un mineur.

Cela implique de passer au crible les messages texte à la recherche de suites de mots, de phrases ou de comportements linguistiques suspects (par exemple, un adulte essayant d’isoler un enfant, d’obtenir des photos, etc.). On entre là dans une forme de surveillance comportementale automatisée, où ce n’est plus uniquement la présence de fichiers illicites qui alerte, mais le contenu même des échanges et la manière dont ils se déroulent. Certes, l’objectif est de repérer des criminels, non de traquer l’opinion politique ou de policer le langage en général. Toutefois, pour les spécialistes, cette approche algorithmique est problématique : le risque d’erreur est élevé (faux positifs où des conversations innocentes seraient mal interprétées) et cela crée un climat de méfiance permanente dans l’espace numérique privé.

Chaque utilisateur pourrait se sentir surveillé dans ce qu’il écrit, sachant qu’une machine évalue ses propos. L’autocensure pourrait en découler, par crainte d’être signalé à tort – une conséquence néfaste pour la liberté d’expression. Ici encore, la fiction d’Orwell offre un miroir grossissant : dans 1984, les gens vivent dans la peur constante que le moindre mot de travers ou même un tic de langage les trahisse. Ils pratiquent la doublepensée et le crimeStop (arrêter net toute pensée déviante) pour éviter de prononcer des paroles hérétiques. Chat Control n’instaure pas une police politique du vocabulaire, mais en cherchant à identifier des comportements à risque via le texte, il introduit une surveillance du discours privée, bien que ciblée sur un type de criminalité précis.

Il convient de distinguer strictement la fiction de la réalité légale : la Novlangue est un outil de domination politique pour empêcher toute contestation d’un pouvoir totalitaire, tandis que l’analyse automatique du texte dans Chat Control serait encadrée par la loi, limitée à la prévention d’un crime grave (la prédation pédophile) et soumise au contrôle d’autorités administratives et judiciaires. Nulle part il n’est question pour l’UE de filtrer les opinions, de bannir des mots du dictionnaire ou de réécrire l’histoire à la manière du Ministère de la Vérité.

Toutefois, cette incursion du numérique dans le contenu sémantique de nos communications privées représente un saut qualitatif important. Jusqu’à présent, en démocratie, le contenu des correspondances était sacro-saint, protégé par le secret postal ou des télécommunications. Seuls des soupçons individualisés permettaient une interception par les autorités, et sous de stricts contrôles. Demain, si Chat Control entrait en vigueur tel quel, chaque message pourrait être passé au tamis d’un algorithme à des fins de sécurité, sans suspicion préalable, un peu comme si la poste ouvrait systématiquement tous les courriers pour vérifier leur licéité. Même limité aux crimes pédosexuels, c’est un changement de paradigme qui préoccupe les juristes. La Cour européenne des droits de l’homme, par exemple, a toujours jugé incompatibles avec la Convention les régimes de surveillance de masse indiscriminés des communications.

La Cour de justice de l’UE a, de même, annulé les législations de conservation généralisée des données (data retention) au nom du respect de la vie privée. On voit donc poindre le risque que le juge européen censure un dispositif trop intrusif, ou exige des garanties renforcées (ciblage très précis, limitation aux métadonnées, supervision humaine indépendante, etc.) pour le rendre conforme au cadre des droits fondamentaux.

Cadre juridique, données personnelles et libertés fondamentales

Sur le plan légal, le projet Chat Control se heurte à un délicat exercice de conciliation des obligations : protéger les enfants et poursuivre des criminels d’un côté, tout en respectant le droit à la vie privée, à la protection des données et à la liberté d’expression de l’autre. Le RGPD (Règlement Général sur la Protection des Données) et la directive ePrivacy forment le socle européen garantissant la confidentialité des communications et la minimisation de leur surveillance.

Toute mesure de filtrage ou d’accès au contenu des messages constitue un traitement de données personnelles hautement sensible, qui doit reposer sur une base légale solide, poursuivre un objectif légitime d’une manière nécessaire et proportionnée. Le règlement proposé avance cet objectif légitime (lutte contre une criminalité particulièrement grave) et prévoit d’autoriser explicitement ce que le droit actuel n’autorise pas. Il crée ainsi une nouvelle base légale sui generis dérogeant au secret des communications, mais en y imposant des conditions strictes : limitation dans le temps des ordres de détection, approbation par une autorité compétente, recours à des technologies les moins intrusives possible, vérification humaine des contenus avant signalement aux forces de l’ordre. L’enjeu pour les législateurs de l’UE est de blinder le texte de toutes les garanties nécessaires pour qu’il passe le test de proportionnalité devant les tribunaux et qu’il soit acceptable par les autorités de protection de la vie privée (comme la CNIL).

Pour l’instant, ces autorités se montrent très critiques. Dans leur avis conjoint de 36 pages, le CEPD et le Comité européen de protection des données ont estimé que, « en l’état, la proposition présente plus de risques pour les individus et, par extension, pour l’ensemble de la société, que pour les criminels visés ». Ce réquisitoire sans appel souligne que les modalités floues du dispositif pourraient conduire à des dérives, et que l’atteinte aux droits fondamentaux (privacy, données personnelles, secret de la correspondance) serait disproportionnée. Les gardiens européens des données rappellent que le contenu des communications relève de l’essence du droit au respect de la vie privée (Article 7 de la Charte des droits fondamentaux de l’UE). Y porter atteinte de manière large, même pour une cause légitime, menace cette essence même et risque de violer la Charte. E

n outre, l’efficacité du système n’est pas garantie : les technologies de détection d’images et surtout d’IA pour les textes génèrent des erreurs non négligeables. Cela signifie que des utilisateurs innocents pourraient être injustement signalés (avec l’ingérence dans leur vie privée que cela implique, ne serait-ce que d’avoir leurs messages lus par un agent humain), pendant que certains criminels rusés pourraient contourner la détection (par exemple en chiffrant eux-mêmes leurs images ou en utilisant des termes codés).

L’efficience vs l’intrusion est un équilibre difficile à trouver : un filtrage exhaustif maximise les chances d’attraper des délinquants mais piétine la vie privée de tous, alors qu’un filtrage restreint et très ciblé risque de manquer des abus. Ce dilemme transparaît d’ailleurs dans le processus législatif en cours : le Parlement européen a largement amendé la proposition initiale fin 2023, la vidant de sa substance selon certains, précisément pour atténuer son impact sur le chiffrement et la vie privée.

Par exemple, l’obligation pour toutes les messageries d’analyser tout le contenu des messages a été retirée à ce stade, jugée impossible à mettre en œuvre sans « casser » le chiffrement de bout en bout. Ce bras de fer législatif illustre la difficulté de l’entreprise : comment protéger les enfants sans instaurer une surveillance généralisée ?

Une conclusion : entre prévention nécessaire et dérive orwellienne

En confrontant factuellement le projet européen « Chat Control » et la dystopie 1984, il apparaît clairement qu’on ne saurait assimiler l’un à l’autre – mais que certaines analogies servent d’avertissements salutaires.

D’un côté, Chat Control s’inscrit dans un État de droit démocratique, avec des objectifs précis (la lutte contre la pédopornographie), un champ légal délimité et la volonté affichée de respecter les droits fondamentaux.

De l’autre, 1984 décrit un régime totalitaire où la surveillance n’a d’autre but que le contrôle absolu de la population, supprimant toute dissidence. Fiction vs réalité : dans la réalité, l’UE doit composer avec des contre-pouvoirs, des organes de surveillance (CNIL, CEPD, tribunaux) et l’opinion publique, là où Big Brother n’a aucun compte à rendre.

Néanmoins, cette comparaison met en lumière des points de convergence inquiétants si les garde-fous ne sont pas au rendez-vous : la possibilité technique d’une surveillance exhaustive des communications de chacun, le risque de porter un coup fatal au droit à la vie privée, et l’instauration d’un sentiment de surveillance permanente pouvant altérer le comportement social (autocensure, perte de confiance dans les outils numériques sécurisés, etc.).

En fin de compte, le défi pour l’Union européenne sera de démontrer que la protection des enfants en ligne peut être assurée sans basculer dans une société de la surveillance. Cela passera par un encadrement légal draconien du dispositif : ciblage très précis des mesures, contrôle préalable par un juge ou une autorité indépendante, transparence vis-à-vis du public, recours exclusif à des technologies éprouvées et non intrusives, et évaluation régulière de l’impact sur les droits fondamentaux.

À l’inverse, toute dérive vers un scanner universel des conversations, même animée par les meilleures intentions, risquerait de réaliser en partie la prophétie d’Orwell. Le telecran moderne prendrait alors la forme d’une application de messagerie, moins visible qu’un écran au mur mais tout aussi efficace pour éplucher la vie intime des individus.

En synthèse, le projet Chat Control soulève des questions fondamentales de compliance réglementaire (RGPD, ePrivacy), de proportionnalité juridique et de déontologie technologique. La vigilance des DPO (Data Protection Officers), des experts en cybersécurité et de la société civile sera cruciale pour éviter que la légitime protection de l’enfance ne se transforme en cheval de Troie érodant nos libertés numériques.

Il est possible de prévenir les crimes les plus odieux sans renoncer aux valeurs fondamentales : c’est sur cette ligne de crête que l’Europe est attendue. La neutralité et le professionnalisme exigent d’écarter tout alarmisme excessif – nous ne vivons pas en 1984 – mais aussi de reconnaître que toute surveillance généralisée, même bien intentionnée, porte en germe un pouvoir orwellien qu’il faut savoir contenir.

Le débat en cours autour de Chat Control aura eu au moins ce mérite : rappeler à chacun que la défense de la sécurité publique doit aller de pair avec la préservation des droits fondamentaux, sans quoi la victoire contre le crime se ferait au prix d’une défaite de nos libertés.

Sources légales et analyses du projet Chat Control / CSAR (Union européenne)

Sources sur 1984 de George Orwell