Dit artikel is geschreven naar aanleiding van het recente rondetafelgesprek in de Tweede Kamer over het EU client side scanning voorstel, ook bekend als ‘chatcontrol’, een verplichte module in je WhatsApp/Signal/iMessage/Snapchat die je communicatie en foto’s scant op ‘grooming’ en bekende en onbekende kinderporno & automatisch melding doet bij politie en Europol. Meer achtergrond is hier te vinden.

Specifiek onderwerp van dit stuk is de proportionaliteit van de voorgenomen regelgeving. Die staat onder hoge spanning omdat de wetgeving wordt toegepast op iedereen in Europa, zo’n 500 miljoen mensen. Dit overigens zonder uitzondering voor journalisten, medici, advocaten, geestelijk verzorgers en overige geheimhouders (!). Die worden niet eens genoemd in het voorstel.

Voor de proportionaliteit moeten alle nadelen beschouwd worden ten opzichte van de voordelen. Dit stuk heeft aan het einde extra aandacht voor de cybersecurity risico’s in relatie tot software als Pegasus en Predator. Specifiek, deze risico’s ontstaan zodra er ook maar iets gescanned wordt, ook al is het alleen maar naar bekend materiaal.

Update 15 oktober, het stukje over scannen naar bekend materiaal is uitgebreid met een analyse van een privacyprobleem.

Photo by Elena Mozhvilo on Unsplash

Het voorstel

In dit voorstel kunnen “interpersoonlijke communicatiediensten” zoals WhatsApp, Telegram, Snapchat etc verplicht worden een scanner in al hun apps te stoppen. Deze scanner zoekt naar:

• Bekend materiaal van misbruik van kinderen (met fingerprints)
• Nog onbekend materiaal (met AI)
• Pogingen “kinderen te benaderen” (in tekst en mogelijk gesproken woord, met AI)

Deze scanner wordt door de EU aangeboden aan de aanbieders van dit soort diensten. Ze mogen ook zelf software ontwikkelen.

Indien de scanner iets detecteert gaat er een signaal naar de aanbieder (bijvoorbeeld Facebook/Meta), en die zetten dat signaal weer door naar het “EU-centrum”. Aldaar vindt een lichte check plaats of dit geen evident onjuiste melding is (“geen foto/video van een kind”).

Het EU-centrum zet daarna de melding door naar die “rechtshandhavingsinstantie” die vermoedelijk het meest past bij de persoon waar de scanner op aansloeg. Dit zou op basis van telefoonnummer kunnen gebeuren, maar er worden ook GPS coördinaten meegestuurd. Tevens gaat er een kopie naar Europol.

In mijn eerdere verhaal is veel meer detail te vinden, maar voor hier is het voldoende aan te nemen dat de scanner niet perfect is, vergelijkbaar met een spamfilter, wat soortgelijke techniek is. Soms wordt normale mail aangezien voor spam, en soms komt er toch spam in de inbox. Dit soort classifiers is niet perfect te krijgen, zelfs niet voor iets eenvoudigs als email. Een enorme schare wetenschappers heeft gezegd dat de AI-techniek niet goed genoeg is voor dit soort detectie.

Proportionaliteit

Proportionaliteit ligt aan de basis van Europese wetgeving, en houdt in dat gewogen moet worden hoe groot de inbreuk of schade van een middel is ten opzichte van het doel wat verwacht wordt behaald te kunnen worden.

Voor de voorliggende regelgeving valt dit helder uiteen in vier elementen:

1. Hoeveel misbruik van kinderen kan (indirect) voorkomen worden (zie het breed)
2. Hoeveel schade lopen kinderen/gezinnen op door onterechte meldingen/onderzoeken
3. Hoe beperkt voelen Europeanen zich door de wetenschap dat hun gesprekken gescanned worden door AI
4. Hoeveel Europeanen zullen beschadigd worden doordat via de scanners hun gegevens lekken/gehacked worden (Predator, Pegasus etc)

Deze elementen dienen met elkaar in balans te zijn wil het EU middel proportioneel zijn.

Het is misschien goed om punten 1 en 2 samen te bekijken. De verwachting van wetenschappers en experts is dat de scanners grotendeels valse alarmen op zullen leveren. De overgrote meerderheid van onze communicatie is geen materiaal van misbruik van kinderen. Zelfs de beste detectors zitten er 0,1% naast. Ook detectie van reeds bekend materiaal kan fout gaan (zie verderop). Daarom zal er veel meer onschuldig materiaal gedetecteerd worden dan daadwerkelijke beelden van misbruik.

Dit effect wordt nog versterkt doordat mensen die weten dat ze fout materiaal versturen dit zeker niet zullen doen op platformen die (verplicht) moeten aankondigen dat ze de EU scanner geïnstalleerd hebben.

De voorgestelde EU regelgeving werpt zelf weinig drempels op. Aanbieders van telecommunicatiediensten mogen meldingen ongezien doorzetten, bijvoorbeeld. En ook het EU-centrum checkt alleen op evident onjuiste meldingen.

Er zullen kortom veel meer onterechte meldingen zijn dan terechte. De vraag is dan, hoe schadelijk is een onterechte melding.

Het voorstel zegt (in bijlage III) dat een melding de volgende gegevens omvat: het materiaal zelf, IP adres, GPS coördinaten, tijdstip, telefoonnummer gebruiker, indien beschikbaar de naam/adres/postcode/bankrekening van de gebruiker (meestal niet in geval van WhatsApp).

De regelgeving zegt dat deze informatie doorgegeven moet worden aan een lokale rechtshandhavingsinstantie, maar specificeert niet wat dat is. Vermoedelijk een politieregio, of in ons geval de nationale politie. Overigens krijgt ook Europol altijd een kopie van de melding, voor in hun permanente (!) database.

Vervolgens zegt het voorstel niets over wat er dan moet gebeuren met de melding. Het politiebureau krijgt een melding binnen met zeer summiere informatie, eigenlijk vergelijkbaar met een anonieme melding. Er is geen context, er kunnen geen vragen gesteld worden aan de persoon die de melding gedaan heeft. De melding kwam van een computer.

Om meer te doen zal de politie een echt onderzoek moeten beginnen omdat de melding zelf geen context biedt. Het is terloops niet eenvoudig voor een politieorganisatie om te besluiten geen onderzoek te doen, behalve door overbelast te raken (wat vermoedelijk ook zal gebeuren).

We kunnen hieruit concluderen dat veel meldingen, inclusief de onterechte, tot een daadwerkelijk onderzoek zullen leiden. Met alle gevolgen van dien. Onderzocht worden is zeer belastend en kan een thuissituatie volledig ontwrichten. Ook komt het helaas regelmatig voor dat onderzoeken tot de verkeerde conclusie komen, met name als ze zonder gedegen aanleiding begonnen worden.

Het is mogelijk goed te weten dat veel telefoons van kinderen administratief op naam van de ouders staan. Dus bij naslag bij de telefoonaanbieder lijkt een door de AI “gevlagd” spannend gesprek te komen van een man van 45, maar in werkelijkheid is het misschien van een meisje van 14. Is een heel andere context, die in de melding ontbreekt. Dus onderzoek.

Afhankelijk van de aard van het onderzoek kunnen betrokkenen als strafrechtelijke verdachte gezien worden, en daarmee verliezen ze mogelijk hun VOG en daarmee mogelijk ook hun baan, nog voor ze veroordeeld zijn.

Kortom, de impact van een onterecht onderzoek is aanzienlijk – iets wat we in Nederland helaas uitgebreid meegemaakt hebben in de toeslagenaffaire.

Bekend materiaal

Er gaan ook stemmen op om alleen te scannen op reeds bekend materiaal van seksueel misbruik van kinderen, zonder gebruik te maken van AI. Dit is in ieder geval eenvoudiger, maar de gevolgen van onterechte detecties blijven enorm.

Er zijn internationaal grote databases van bekend materiaal. Van dit materiaal zijn mathematische “vingerafdrukken” gemaakt, bijvoorbeeld door het (voormalige) Microsoft Photo DNA systeem. Deze vingerafdrukken kunnen gebruikt worden om een foto te herkennen, zonder dat de scanner de foute foto zelf in de database hoeft te hebben.

Het is een grote lijst getallen, en die getallen kunnen na mathematische operaties een bekend foute foto herkennen. Dit komt dan in de EU scanner.

Maar, omdat de detectie niet plaatsvindt aan de hand van daadwerkelijke foto’s is de vraag natuurlijk of het systeem ook andere foto’s kan vlaggen als fout.

De ene kinderfoto in bad is de andere niet, afhankelijk van de context.

De industrie heeft deze databases tot nu toe gebruikt in laag-risico omgevingen. Als een foto hiermee wordt gedetecteerd wordt deze verwijderd, bijvoorbeeld. Er komt geen automatisch politie-onderzoek. De foto is weg en je krijgt een waarschuwing.

Voor iets cruciaals als toepassing in de EU scanner zouden we graag meer willen weten over de gebruikte techniek. Tot nu toe hebben de beheerders van dit soort databases weinig tot geen openheid gegeven over hoe hun technologie werkt. Er worden wel cijfers genoemd (“1 op de 1000 miljard kans op fouten”), maar dit wordt door onafhankelijke wetenschappers gezien als onwaarschijnlijk.

Een tweede probleem is dat onduidelijk is welke foto’s er in de databases zitten. Het is goed mogelijk dat er in de database ook (vingerafdrukken van) foto’s zitten die er op het eerste oog onschuldig uitzien, maar die alleen in de context van een onderzoek relevant bleken.

Het is uitstekend mogelijk om zo iemand “te grazen te nemen” door een onschuldige ogende foto te circuleren, die wel degelijk door de scanner herkend wordt. En dan komt er toch een melding. Neem hierbij ook in aanmerking hoe vaak WhatsApp accounts gehacked zijn (de bekende ‘mama ik heb een nieuwe telefoon’ berichtjes). Een hacker kan je zo in enorme problemen brengen door wat bekende foto’s door te sturen. Ook een goede manier om mensen af te persen, overigens.

Zoals gezegd is de meeste van deze fingerprinting techniek tot nu toe geheim gehouden. Maar door de techniek in te gaan bouwen in onze telefoons zal het voor kwaadwillenden mogelijk worden om te ontdekken hoe deze fingerprints werken. Dat is goed voor de wetenschap, maar wat minder goed voor de kracht van deze databases.

Het blijkt namelijk uitstekend mogelijk om foto’s “pixel voor pixel” zo aan te passen dat ze een vingerafdruk krijgen die door het systeem herkend wordt als kinderporno, terwijl de foto er zelf nog steeds hetzelfde uitziet.

Update 15 oktober: Het lijkt onwaarschijnlijk dat de eigenaars van de databases met bekend materiaal het toe zullen staan dat hun gegevens gedeeld gaan worden met alle telefoons in Europa. Ook zou deze database weleens heel groot kunnen zijn, en vaak veranderen. Het lijkt daarom waarschijnlijk dat de “scan op bekend materiaal” plaats gaat vinden via de aanbieder. Dit houdt in dat op de telefoon van iedere foto vingerafdrukken berekend worden, en die getallen worden dan doorgestuurd naar WhatsApp om te checken.

Als het op deze manier wordt uitgerold krijgt WhatsApp/Meta/Facebook daardoor een prachtig ‘spoor’ van hoe foto’s verstuurd worden. Want iedere keer gaan diezelfde fingerprints weer naar de WhatsApp server. Dit spoor houdt in dat je geen vertrouwelijke screenshots meer moet versturen aan journalisten (bijvoorbeeld), want WhatsApp kan nu exact volgen waar dat materiaal heen gaat (en crucialer, vandaan kwam).

Dus hoewel dit soort herkenning van bekend materiaal eenvoudiger is dan de AI scanners blijven er nog veel risico’s over.

Het gevoel bespied te worden

Dat er een EU scanner in je telefoon zit kan je het gevoel geven dat je bespied wordt. Want dat word je ook. Een computerprogramma toetst je teksten, foto’s en video’s. En als ze niet in de haak worden bevonden word je gemeld. Zeker als je nog jong bent zijn er foto’s of berichtjes die je misschien beter niet meer kan versturen.

Het denken over het privacygevoel omtrent telefoons heeft zich de afgelopen jaren ontwikkeld. Waar vroeger politiemensen makkelijk zonder nadere autorisatie een telefoon “leegtrokken” is dat tegenwoordig anders.

In het nuttige boekje Onderzoek aan digitale-gegevensdragers. Een technische en juridische verkenning (vorig jaar verspreid onder alle rechters en raadsheren) kunnen we lezen hoe de “Smartphone-arresten” (ECLI:NL:HR:2017:584, ECLI:NL:HR:2017:588, ECLI:NL:HR:2017:592) een stelsel neerlegden waarbij iedere meer dan beperkte inbreuk van privacy expliciet goedgekeurd zal moeten worden door een officier van justitie of een rechter-commissaris. Het kan niet zomaar, want niet proportioneel anders.

Een telefoon omvat inmiddels ons hele leven. Vrijwel alle sociaal-, cultureel-, sportief- en werk-gerelateerde activiteiten worden geregeld “via de App”. In een recent straat-onderzoek van Argos bleek dat mensen bereid zijn van alles te delen over hun leven, maar dat houdt direct op bij de vraag “mag ik naar je appjes kijken”.

Meer en meer wordt in jurisprudentie de privacy van onze telefoon gelijkgetrokken aan die van ons woonhuis of zelfs de slaapkamer.

De eerdere uitspraken van het EU hof van justitie en het Europees Hof voor de Rechten van de Mens over de bulk-verwerking van communicatiegegevens van niet-verdachten maken duidelijk dat dit soort verwerking, behoudens smalle uitzonderingen voor geheime diensten, onrechtmatig is.

Inlichtingen- en veiligheidsdiensten kunnen zich er hierbij nog op beroepen dat het voor onschuldige burgers geen praktische gevolgen zou hebben om passief bespied te worden door een geheime dienst (al is dat ook weer niet zo).

Dat is voor deze EU scanner, met directe melding naar de politie, een heel ander verhaal.

Het voorliggende voorstel laat de EU een scanner plaatsen in een omgeving die, qua proportionaliteit, vergelijkbaar is met onze huiskamer of zelfs slaapkamer.

Cybersecurity risico’s: gehacked worden

Al jaren wordt door nette en minder nette overheden, maar ook door private organisaties, gebruik gemaakt van software als Predator (Intellexa) en Pegasus (NSO) om in te breken in telefoons. Dit soort software geeft de klant daarna beschikking over al iemands communicatie, maar ook locatiegevens, foto’s, filmpjes. Ook kan de telefoon zelf als afluisterapparaat (microfoon) ingezet worden.

Apple, WhatsApp en Google slagen er al vele jaren niet in om hun telefoons goed genoeg te beveiligen tegen deze bedrijven. En dit zijn toch hele vaardige clubs.

Deze spyware komt volgens openbare rapporten vrijwel altijd “binnen” via de code in de chatsoftware om plaatjes, filmpjes en documenten mee te verwerken. De recente iOS 17.0.1 update bijvoorbeeld was nodig omdat Apple een component van Google gebruikte om zogeheten ‘.webp’ plaatjes te verwerken. Deze component bleek lek en zowel Apple als Google moesten hals over kop updates uitrollen.

Cruciaal is nu dat de EU scanner ook alle plaatjes en filmpjes moet kunnen bewerken en uitgebreid moet analyseren. Hiermee is deze scanner zelf een zeer interessant nieuw aanvalsoppervlak voor hackers. Telefoons zullen gehacked gaan worden via de door de EU verplicht gestelde scanner.

Wat dit verhaal nog lastiger maakt is dat Apple en Google en WhatsApp binnen zeer korte tijd nieuwe versies van hun software uit kunnen brengen, waarmee ze de periode van kwetsbaarheid kort weten te houden.

De door de overheid beschikbaar gestelde scanner zal vermoedelijk door veel meer bureaucratische stappen moeten gaan voor een nieuwe versie uitgerold kan worden naar de aanbieders. En al die tijd is de chatapplicatie lek.

Een interessante vraag is overigens wie aansprakelijk is voor deze schade. Een korte blik op de NIS2 richtlijn lijkt uit te wijzen dat de EU dat zelf is. En deze kosten komen dan terecht bij de (nationale) belastingbetalers.

Cybersecurity risico’s: lekken van gegevens

Het EU-Centrum, Europol en de aanbieders houden databases bij van iedere melding. Europol heeft al aangegeven deze database, inclusief onterechte meldingen, lang te willen bewaren voor onderzoeksdoeleinden.

De EU zelf heeft nog zelden zulke hoeveelheden persoonsgegevens bijgehouden. Het blijkt voor de EU zeer lastig om geheimen te bewaren. Men heeft wel een informatiebeveiligingsregime, maar het wordt zeer zelden gebruikt. En iedereen die weleens met de EU werkt weet dat alles lekt als een zeef. Ook is de EU regelmatig zelf gehacked.

De gevolgen van het lekken van de database met veelal onterechte meldingen zijn vreselijk. Want in “the court of public opinion” ben je toch veroordeeld als je naam aangetroffen is in de database. Al was het alleen maar vanwege de onjuiste detectie van een bekend plaatje.

De balans

Uit het voorgaande blijkt duidelijk dat de impact op 500 miljoen mensen in Europa enorm zal zijn. Inclusief op journalisten, medici, advocaten, geestelijk verzorgers, die geen uitzondering krijgen.

De scanners zullen volgens experts niet goed genoeg zijn om te bepalen wanneer er onderzoek nodig is. Onterechte onderzoeken liggen daarom voor de hand, want de overgrote meerderheid van de communicatie is onschuldig. We weten hoe schadelijk onterechte onderzoeken zijn, deze kunnen levens ruïneren.

Ook als er gekozen wordt om alleen naar bekend materiaal te zoeken blijven risico’s bestaan. Het is mogelijk dat onschuldige foto’s in de fingerprint database zitten, en het doorsturen daarvan leidt weer tot onderzoeken. Tot nu toe was de technologie achter de fingerprints geheim, maar door deze op onze telefoons te zetten zal het mogelijk worden om foto’s zo te manipuleren dat ze herkend worden door de scanner, terwijl ze er nog steeds onschuldig uitzien. Gezien hoe vaak WhatsApp gebruikers gehacked worden met trucs bestaat de kans dat mensen hier mee afgeperst zullen worden onder dreigement van melding bij de politie.

De recente jurisprudentie geeft terecht aan dat onze telefoons tot onze meest private omgevingen behoren. De EU heeft geen beste reputatie met het geheim houden van gegevens, en het is daarmee angstig dat ze een database gaan opbouwen van alle meldingen, inclusief onterechte.

Afsluitend is het uitstekend mogelijk dat onze telefoons gehacked gaan worden juist via de EU scanner. Het lukt Apple, Google en WhatsApp al slecht hun producten te beschermen tegen spyware. De EU scanner zal een set geheel nieuwe softwarekwetsbaarheden in onze communicatie installeren, waarbij we van de wendbaarheid en programmeerkwaliteiten van de EU af zullen hangen hoe goed dit gaat. Dit ziet er niet goed uit.

Zo de som opmakend lijkt het duidelijk – het voorstel om 500 miljoen Europeanen van een EU scanner te voorzien is op geen enkele manier proportioneel. Het is strijdig met recente jurisprudentie, onterechte onderzoeken zullen veel schade veroorzaken, en zelfs de meest beperkte vorm van detectie opent onze telefoons voor nieuwe aanvallen van spyware. En er is geen vrijstelling voor medici, advocaten, journalisten en geestelijk verzorgers.

Dit voorstel zal indien aangenomen leiden tot pijnlijke rechtszaken die de EU uiteindelijk zal verliezen. Maar in de tussentijd creëren we misschien een hele nieuwe toeslagenaffaire door mensen die onterecht onderzocht zijn vanwege slechte detecties. Ook zullen mensen gehacked worden, en openen we de deuren verder voor spyware.

Al met al is dit een schoolvoorbeeld in wording van wat disproportionaliteit inhoudt.