Preview document (🔗 origineel)

---

2021D32896 INBRENG VERSLAG VAN EEN SCHRIFTELIJK OVERLEG

Binnen de vaste commissie voor Digitale Zaken hebben enkele fracties de behoefte om enkele vragen en opmerkingen voor te leggen aan de Staatssecretaris van Economische Zaken en Klimaat over het fiche: Verordening betreffende Kunstmatige Intelligentie (Kamerstuk 22 112, nr. 3129) en het fiche: Mededeling Bevorderen Europese aanpak inzake Kunstmatige Intelligentie (Kamerstuk 22 112, nr. 3128).

De fungerend voorzitter van de commissie,
Leijten

De adjunct-griffier van de commissie,
Van Tilburg

Inhoudsopgave	blz.
I	Vragen en opmerkingen vanuit de fracties	2
	Vragen en opmerkingen van de leden van de VVD-fractie	2
	Vragen en opmerkingen van de leden van de D66-fractie	4
	Vragen en opmerkingen van de leden van de PVV-fractie	7
	Vragen en opmerkingen van de leden van de CDA-fractie	8
	Vragen en opmerkingen van de leden van de SP-fractie	10
	Vragen en opmerkingen van de leden van de GroenLinks-fractie	12
	Vragen en opmerkingen van de leden van de Volt-fractie	14

I Vragen en opmerkingen vanuit de fracties

Vragen en opmerkingen van de leden van de VVD-fractie

De leden van de VVD-fractie hebben met interesse kennisgenomen van de voorliggende verordening inzake kunstmatige intelligentie en deze leden hebben daarover nog enkele vragen en opmerkingen. Deze leden sluiten zich overigens aan bij de vragen van het kabinet aan de Europese Commissie.

De leden van de VVD-fractie zijn verheugd te lezen dat het voorstel is gebaseerd op de waarden en grondrechten van de Europese Unie (EU) en dat het tot doel heeft mensen en andere gebruikers het vertrouwen te geven om op Artificiële Intelligentie (AI) gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen. Terecht wordt gesteld dat AI een instrument moet zijn voor mensen en de positieve kracht in de samenleving met als uiteindelijk doel het menselijk welbevinden te vergroten. Deze leden achten het noodzakelijk dat op gebied van AI een stevige Europese positie wordt verworven.

Er zijn vier categorieën AI-systemen. Wat is het verschil tussen enerzijds AI-systemen met een hoog risico en een ex ante conformiteitsbeoordeling en anderzijds AI-systemen waarvoor bepaalde transparantieverplichtingen gelden? Kan dat verschil wel zo worden gemaakt? Deze leden krijgen graag een reactie op deze vragen.

De leden van de VVD-fractie lezen dat het voorstel inzake AI-systemen van toepassing zal zijn op AI-systemen die in de EU op de markt worden gebracht of in gebruik worden genomen in uiteenlopende sectoren. Hoe verhoudt de reikwijdte van deze verordening zich tot de gehanteerde definitie van de Europese Commissie? Op basis van welke criteria valt een AI-systeem wel of niet binnen deze verordening? Hoe verhoudt de in deze verordening gehanteerde definitie van AI zich tot de huidige gehanteerde (wetenschappelijke) definitie van AI? Wat voor implicaties heeft deze definitie voor de inzet van AI in Europa?

De leden van de VVD-fractie lezen tevens dat dit voorstel aanvullende (administratieve) verplichtingen stelt aan providers van AI-systemen zoals documentatievereisten en inschrijving in een Europese database voor aanbieders van hoog-risico AI-systemen. Deze leden zijn zich vanzelfsprekend bewust van de noodzaak om eisen te stellen aan de providers van AI-systemen om ze zo veilig mogelijk te kunnen inzetten. Echter, het is voor deze leden onduidelijk welke regeldruk hiermee op ondernemers en in het bijzonder op ondernemers in het midden- en kleinbedrijf (mkb) afkomt. Deelt het kabinet de mening dat de inzet bij dit voorstel zo min mogelijk extra regeldruk moet zijn voor (kleine) ondernemers? Hoe beoordeelt het kabinet de verplichtingen die bij dit voorstel komen kijken voor bedrijven en ondernemers? Hoe beoordeelt het kabinet de proportionaliteit van deze verplichtingen die worden aangegaan ten opzichte mkb-bedrijven?

De leden van de VVD-fractie lezen voorts dat providers van AI-systemen de naleving van aanvullende verplichtingen aan moeten tonen door een ex ante conformiteitsbeoordeling. Ervan uitgaande dat dit eveneens geldt voor providers van huidige (bestaande) AI-systemen, hoe wordt deze conformiteitsbeoordeling uitgevoerd? Heeft dit enige gevolgen voor de continuïteit van de bedrijfsprocessen van providers van AI-systemen? Wat is de termijn van het uitvoeren van een conformiteitsbeoordeling? Deelt het kabinet de mening dat dergelijke conformiteitsbeoordelingen bedrijfsprocessen zo min mogelijk moeten beperken en daarmee onze digitale innovatieve economieën en concurrentiepositie niet onnodig mogen schaden?

De leden van de VVD-fractie constateren dat bij iedere «substantiële» verandering aan het AI-systeem na introductie op de markt of ingebruikname, een nieuwe conformiteitsbeoordeling moet worden uitgevoerd. Met het oog op het voorkomen van onnodige beoordelingen, kan het kabinet ophelderen welke aanpassingen vallen onder substantiële veranderingen en welke niet? Te lezen valt dat er enige ruimte blijft voor nationale lidstaten om maatwerk te leveren bij handhavingstaken en andere bevoegdheden. Dat stemt deze leden tevreden en tegelijkertijd ontstaat de zorg hoe een gelijk speelveld bewerkstelligd kan worden. Kan het kabinet ophelderen hoe zij hiernaar kijkt?

De leden van de VVD-fractie concluderen dat elke lidstaat een nationale toezichthouder dient aan te wijzen die verantwoordelijk is voor het toezicht op de verordening in algemene zin. Deze leden lezen tevens dat lidstaten sectorspecifieke toezichthouders moeten aanwijzen. Er bestaat bij deze leden enige onduidelijkheid over de taken van de nationale toezichthouder en die van sectorspecifieke toezichthouders. Hoe verhouden de nieuwe bepalingen in het kader van toezicht zich tot het huidige toezichtskader? In hoeverre wordt hierbij rekening gehouden met de eventuele overlap aan toezichtstaken? Hoe verhouden de taken en bevoegdheden van sectorspecifieke toezichthouders zich tot die van de nationale toezichthouder? Deelt het kabinet de mening dat ter voorkoming van toezichtshiaten en fragmentatie van beleid, het wenselijk kan zijn om met één nationale centrale toezichthouder te werken? Zo ja, welke toezichthouder heeft het kabinet voor ogen en hoe wordt geborgd dat de toezichthouder(s) over de juiste middelen, capaciteit en kennis beschikt? Zo nee, waarom niet?

De leden van de VVD-fractie lezen eveneens dat toezichthouders de mogelijkheid krijgen om gebruikte datasets, die providers van hoog-risico AI-systemen moeten produceren, in te zien. Op welke wijze wordt bij uitvoering van deze verplichting voldaan aan de Algemene Verordening Gegevensbescherming (AVG)?

De leden van de VVD-fractie achten het positief dat voor kleine organisaties en bedrijven (mkb) een uitzonderingspositie wordt beoogd met het invoeren van experimenteerruimtes (regulatory sandboxes) om de AI-systemen te testen voordat ze in gebruik worden genomen. Hoe verhouden deze regulatory sandboxes zich tot de reguliere conformiteitsbeoordelingen en in het bijzonder in het kader van de nalevingskosten? Kan worden toegelicht of het hier alleen om mkb-bedrijven gaat? Welke reikwijdte geldt hier?

De leden van de VVD-fractie maken zich zorgen om de grootte van de nalevingskosten voor bedrijven en dan in het bijzonder mkb-bedrijven. Deze leden lezen immers dat de Europese Commissie de kosten van naleving voor de ontwikkelaars van hoog-risico AI-systemen schat op ongeveer 10.000 euro. Op basis waarvan is deze schatting gemaakt? Welke analyse ligt ten grondslag aan deze schatting? Wordt het bedrag gebaseerd op het soort AI-systeem of op het soort bedrijf? Aangezien het nog onduidelijk is met welke kosten verschillende soorten uiteindelijk te maken krijgen, krijgen deze leden hier graag opheldering over. Deze leden willen benadrukken dat hoge nalevingskosten met name voor mkb-bedrijven problematisch kunnen zijn. Deelt het kabinet deze zorgen en is het kabinet bereidt deze zorgen mee te nemen in de onderhandelingen? Zo nee, waarom niet?

Door de ontwikkeling van machine learning neemt de intelligentie van algoritmes toe. De leden van de VVD-fractie vinden het belangrijk dat wanneer slimme algoritmes, bijvoorbeeld gebruikt bij «unsupervised learning», een (steeds grotere) rol krijgen binnen besluitvormende publieke processen, de menselijke maat steeds bewuster geborgd moet worden. Deelt het kabinet deze mening en kan het kabinet toelichten of en hoe deze verordening borgt dat het in de praktijk mogelijk is voor iemand om inzicht te krijgen in dit proces om te beoordelen of een uitkomst rechtmatig is? Deelt het kabinet de mening dat het van belang is dat lidstaten enige zeggenschap hebben in het aanmerken van hoog-risico AI-Systemen? Zo ja, kan het kabinet dit meenemen in de onderhandelingen? Zo nee, waarom niet? Deelt het kabinet de mening dat deepfake-technologie een risico kan zijn voor onze democratische rechtstaat? Zo ja, is het kabinet bereid om in de onderhandelingen mee te nemen dat deze technologie op de lijst van hoog-risico-systeem geplaatst zou moeten worden? Zo nee, waarom niet?

De leden van de VVD-fractie vragen hoe het kabinet ervoor zorgt dat er binnen de rijksoverheid voldoende kennis en capaciteit is om op verantwoorde wijze om te gaan met de verschillende soorten AI-systemen. De Europese Commissie stelt voor om elk jaar te beoordelen of de lijst met hoog-risico AI-systemen moet worden aangepast. Welke bevoegdheden heeft de Europese Commissie om die lijst aan te passen. Welke zeggenschap hebben de lidstaten daarbij? Wat is de rol van de parlementen daarbij? Deze leden krijgen graag een verduidelijking van deze procedure. Deze leden ontvangen ook graag een verduidelijking van het volgende. In welke situaties/onderdelen van de verordening is er sprake van delegatie en in welke situatie van uitvoeringshandelingen?

De leden van de VVD-fractie vragen tot slot hoe het verdere proces met betrekking tot de onderhavige verordening eruitziet.

Vragen en opmerkingen van de leden van de D66-fractie

De leden van de D66-fractie hebben kennisgenomen van de fiches met betrekking tot het voorstel voor een Kunstmatige Intelligentie (AI)-verordening en hebben hier nog een groot aantal vragen over. AI heeft nu al een enorme impact op onze maatschappij, rechtstaat, democratie, economie, zorg, veiligheid en innovatievermogen. AI gaat een grote rol spelen bij de grote uitdagingen van deze tijd, met AI kunnen we bijvoorbeeld straks beter de klimaatcrises te lijf, of kankercellen makkelijker detecteren. Maar er zit ook een schaduwzijde aan deze vooruitgang zoals het schenden van fundamentele rechten en publieke waarden, ongelijke behandeling en massasurveillance. Deze leden beamen de uitspraak van Eurocommissaris Vestager over de nieuwe AI-verordening dat hoe groter de risico’s zijn, des te strenger de regels moeten worden. Voor deze leden staat het beschermen van fundamentele rechten, het stimuleren van innovatie én het als EU wereldwijd als allereerste de toonzetten op het gebied van regulering van AI centraal.

De leden van de D66-fractie delen de mening van het kabinet dat de verordening veel verduidelijking behoeft en zullen hier dan ook meerdere keren naar vragen. Deze leden merken daarnaast op dat de focus van de fiches voornamelijk op de economische effecten zijn van de AI-verordening.

Ethische richtlijnen

De leden van de D66-fractie horen graag van het kabinet of zij van mening is dat de ethische richtlijnen van de High-Level Expert Group on AI voldoende zijn overgenomen in het huidige voorstel. Zo nee, welke onderdelen uit de ethische richtlijnen zijn onvoldoende meegenomen in de verordening die het kabinet wel had willen terugzien?

Subliminale beïnvloeding en schade

Wat wordt er verstaan onder subliminale technieken, hoe ver reikt dit? En waarom is politieke microtargeting op basis van AI uitgezonderd? De verordening hanteert een schade principe, echter komt schade niet alleen in persoonlijke vorm voor, maar ook op maatschappelijke schaal, wordt dit ook meegenomen? Is het kabinet van mening dat misleiding niet moet worden toegestaan, ook niet als er niet meteen directe persoonlijke schade kan worden aangetoond? Wie is verantwoordelijk voor de bewijslast? Hoe beoordeelt het kabinet deze keuze? Vindt het kabinet dat er genoeg aandacht is voor toetsen op basis van daadwerkelijk effect in plaats van enkel beoogd gebruik?

Kwetsbaren

Deelt het kabinet de mening dat de groep kwetsbaren genoemd in artikel 5b van de verordening veel verder zou moeten reiken dan enkel kinderen en mensen met een beperking? Met name omdat er veel andere groepen ook het recht hebben op een gelijke behandeling, of disproportioneel slachtoffer zijn van fysieke of psychologische schade, zoals vrouwen die, bijvoorbeeld, het vaakst slachtoffer zijn doormiddel van afpersing met deepfake pornografie? Zo ja, welke groepen ziet het kabinet graag terug in de verordening?

Social scoring

De leden van de D66-fractie delen de noodzaak een verbod op «social scoring» systemen in de verordening terug te zien en herinneren het kabinet graag aan het eerder door de Nederlandse rechter verboden fraudeopsporingssysteem SyRi. «Social scoring» heeft geen plaats in een vrije samenleving en de publieke ruimte. Kan het kabinet uiteenzetten hoe sterk het verbod hierop wordt geacht door het groot aantal uitzonderingen? Zou dit moeten worden aangescherpt? Is het kabinet van mening dat dit verbod ook moet gelden voor private partijen?

Biometrische surveillance

Een van de risico’s die aansluiten bij «social scoring» is het gebruik van biometrische surveillance / herkenning. De leden van de D66-fractie horen graag waarom er de keuze is gemaakt voor biometrische identificatie in plaats van biometrische surveillance. Voorspellingen maken op basis van bepaald gedrag, stemgebruik, hoe iemand loopt, of iemands emoties vallen nu buiten de boot bij de hoge risico bepalingen. Is het kabinet van mening dat het begrip van biometrische identificatie moet worden opgerekt om meer risico’s op surveillance te voorkomen? Zo nee, kan het kabinet een lijst geven van welke vormen van biometrische surveillance acceptabel worden geacht? Ook is er bij biometrische identificatie sprake van ruime uitzonderingsgronden die de beperkingen grotendeels tenietdoen. Binnen Nederland hebben we eerder gezien dat de politie gebruik maakte van gezichtsherkenning, ook als daar geen wettelijke basis voor bestond, omdat de toegang tot deze technologie wel bestond. Deze leden horen graag van het kabinet of biometrische identificatie in de publieke ruimte überhaupt wenselijk moet worden geacht. Is het kabinet van mening dat de uitzonderingsgronden te algemeen en te breed zijn? Deelt het kabinet de zorgen van deze leden dat het enkel verbieden van «real-time» analyse tekortschiet als definitie, nu dit niet duidelijk analyse na een zeer kort tijdsbestek in de wegstaat? Hoe staat het kabinet ten aanzien van het gebruik van biometrische identificatie door private partijen? Hoe staan andere lidstaten hiertegenover?

Transparantie

Een van de belangrijkste onderdelen om ongelijke behandeling, discriminatie en het schenden van de algemene beginselen van behoorlijk bestuur te voorkomen in de verordening is de transparantieplicht om de interpretatie van de uit AI-systemen volgende beslissingen mogelijk te maken. Als besluitvorming geautomatiseerd wordt kan dit rechtsongelijke en persoonsafhankelijke oordelen voorkomen, maar neemt het risico tot onacceptabele vormen van ongelijkheid toe omdat besluitvormingsprocessen niet langer kunnen worden getoetst op discriminatie of andere verboden inbreuken op mensenrechten.

De leden van de D66-fractie zijn van mening dat de verordening nog te weinig mogelijkheden biedt om inzicht in AI-systemen te krijgen, waardoor effectieve controle op rechtmatigheid van beslissingen gehinderd wordt. Is het kabinet van mening dat besluitvorming voldoende inzichtelijk, uitlegbaar en begrijpelijk wordt met de huidige verordening?

Stimuleren AI voor kleinere bedrijven en ondernemers

De leden van de D66-fractie zijn van mening dat AI-systemen ook enorme voordelen met zich meebrengen voor maatschappij en het bedrijfsleven. Deze leden horen graag van het kabinet hoe lang bedrijven hebben, die nu al gebruik maken van AI-systemen, om te voldoen aan de verordening, bij de inwerkingtreding. Acht het kabinet de implementatietijd voldoende? De verordening kan ook voor kleinere innovatieve bedrijven grote lasten met zich meebrengen, terwijl één van de doelen van de AI-verordening het stimuleren van Europese innovatie op AI-gebied is. Kan het kabinet toelichten op welke wijze er extra aandacht is voor het stimuleren van ontwikkelingen op het gebied van AI voor kleine bedrijven binnen de EU en vanuit Nederland?

Definities

De leden van de D66-fractie merken op dat ook binnen het bedrijfsleven veel vragen bestaan over de reikwijdte en definities binnen de verordening. Kan het kabinet toelichten of volledige interne AI-processen vallen binnen de definitie van AI-systemen? Zo ja, acht het kabinet dit wenselijk met het oog op de toenemende regeldruk die bij een dergelijke definitie komt kijken? Bedrijven hebben een informatieplicht richting klanten om te informeren over de het gebruik en risico’s van AI-systemen. In hoeverre geldt deze plicht ook voor de leveranciers van deze systemen?

Toezicht

De leden van de D66-fractie horen graag een nadere toelichting hoe het kabinet het toezicht van de verordening op nationaal niveau voor zich ziet binnen de huidige capaciteiten. Deze leden horen graag van het kabinet of ze de rol van de Europese Commissie binnen de toezichthouder «European Artificial Intelligence Board» (EAIB) wenselijk acht met het oog op onafhankelijk toezicht. Hoe staan andere lidstaten hierin?

Militair gebruik

De leden van de D66-fractie horen graag van het kabinet waarom de Europese Commissie ervoor heeft gekozen om militair gebruik van AI-systemen uit te zonderen in de verordening. Acht het kabinet dit wenselijk?

Vragen en opmerkingen van de leden van de PVV-fractie

De leden van de PVV-fractie zijn van mening dat de aard en impact, met name de negatieve (bij-) effecten, van kunstmatige intelligentie (AI) tot regulering nopen, maar deze leden zijn tegelijkertijd wel bezorgd dat pogingen daartoe, zeker op Europees niveau, juist tot meer onduidelijkheid leiden. De reikwijdte van en de definities in de nieuwe AI-verordening zijn dermate breed en onbepaald, dat een goede analyse en beoordeling op dit moment uitermate lastig is. Het kabinet erkent dat zelf ook en geeft aan op diverse punten verduidelijking gevraagd te hebben aan de Europese Commissie. Kan het kabinet aangeven op welke punten die gevraagde verduidelijking inmiddels is ontvangen? Mocht dat nog niet het geval zijn geweest, op welke termijn denkt het kabinet die verduidelijking nog te ontvangen van de Europese Commissie? Is het kabinet bereid om bij uitblijven van afdoende verduidelijking door de Europese Commissie, een Nederlandse voortrekkersrol op zich te nemen in de nadere behandeling van deze verordening?

De leden van de PVV-fractie delen de zorgen van het kabinet als het gaat om de benodigde middelen, capaciteit en expertise bij de verschillende nationale toezichthouders die deze verordening met zich mee gaat brengen. Zeker gezien het kabinet ook erkent dat de door de Europese Commissie gehanteerde definitie van AI dusdanig ruim is dat potentieel alle algoritmische informatiesystemen onder het begrip AI vallen.

De verwachte administratieve lasten kunnen mogelijk fors worden, aldus het kabinet in haar brief. Het kabinet vindt de schatting die de Europese Commissie maakt van de verwachte kosten en regeldruk die mkb-bedrijven, startups en kleine organisaties moeten maken voor de naleving, te laag. De leden van de PVV-fractie delen deze vrees en horen graag van dit kabinet wat zij van plan is om de administratieve lasten voor Nederlandse bedrijven zo laag mogelijk te houden en te zijner tijd te verlichten. Deze leden merken voorts op dat heel veel ondernemers nog altijd worstelen met de administratieve lasten en kosten die de invoering van de AVG met zich mee heeft gebracht. Zij maken zich grote zorgen over de gevolgen die een nieuwe golf Europese regelgeving gaat hebben op de slagkracht en het innovatievermogen van Nederlandse ondernemers.

De leden van de PVV-fractie hebben in dit kader ook grote zorgen over de toezichthouders, die in de huidige vorm volstrekt niet toegerust zijn om effectief toezicht uit te oefenen op de naleving van een dergelijk veelomvattende AI-verordening. Deze leden roepen in herinnering dat tot op heden nog geen stappen zijn genomen door dit kabinet om de Autoriteit Persoonsgegevens (AP) afdoende middelen te geven om de naleving van de AVG te kunnen begeleiden. Het is deze leden volstrekt onduidelijk waarom het kabinet in haar brief aangeeft dat zij zich voorzichtig afvraagt of de door de Europese Commissie benoemde benodigde bezetting van 1 tot 25 FTE bij de toezichthoudende instantie voldoende is. Dat klinkt als een enorm understatement. Wat deze leden betreft is een actieplan voor versterking van met name de AP nu echt urgent; deze leden zouden graag willen weten welk actieplan dit kabinet klaar heeft liggen om ervoor te zorgen dat het toezicht-systeem versterkt wordt. Wat deze leden betreft is het onwenselijk om wet- en regelgeving in te voeren als op voorhand duidelijk is dat er geen toezicht op naleving gehouden kan worden.

Tot slot zou de leden van de PVV-fractie graag zien dat de het kabinet zich hard maakt voor een systeem van eenvoudige en effectieve rechtsbescherming voor door AI-systemen benadeelde burgers.

Vragen en opmerkingen van de leden van de CDA-fractie

De leden van de CDA-fractie hebben met belangstelling kennisgenomen van het fiche van het kabinet over de verordening kunstmatige intelligentie. Deze leden willen allereerst het belang onderstrepen van het waarborgen van de fundamentele grond- en mensenrechten ook in het digitale domein. De Europese verordening is de eerste van haar soort in de wereld en een eerste poging om kunstmatige intelligentie op grote schaal te reguleren. Een inzet die deze leden steunen.

De leden van de CDA-fractie willen allereerst opmerken dat zij de opmerkingen en commentaren van het kabinet begrijpen, maar dat voor hen op verschillende punten nog niet duidelijk wordt wat het standpunt is van het kabinet ten aanzien van (delen van) de verordening. Deze leden denken hierbij aan de door de Europese Commissie gekozen reikwijdte van het begrip kunstmatige intelligentie, de gehanteerde risicobenadering en andere gewenste verduidelijkingen. Zij vragen het kabinet wat voor hen dan wel voldoet, bijvoorbeeld wanneer gevraagd wordt om verduidelijking.

De leden van de CDA-fractie merken op dat er in de verordening gekozen is voor specifieke bescherming van kwetsbare groepen, waarbij de verordening zich beperkt tot twee kwetsbare groepen. Kinderen en mensen met een beperking worden genoemd. Deze leden vragen of het zuiver is om enkel deze twee groepen te benoemen. Zij vragen naar de onderliggende argumentatie voor de keuze om deze twee groepen aan te wijzen als bijzonder kwetsbaar als het gaat om kunstmatige intelligentie. Deze leden achten voorstelbaar dat er ook andere groepen benoemd moeten worden en zien in het algemeen dat minderheden sneller kwetsbaar zijn bij bepaalde toepassingen van kunstmatige intelligentie. Zij vragen hoe het kabinet dat ziet.

De leden van de CDA-fractie delen de zorgen van zowel kabinet als samenleving dat de in de verordening gehanteerde definitie van kunstmatige intelligentie dusdanig ruim is dat potentieel alle algoritmische informatiesystemen onder het begrip AI komen te vallen. Deze leden vragen het kabinet in hoeverre er gekeken kan worden naar een definitie die met name ziet op «machine learning» en complexe algoritmes waar het onduidelijk kan zijn hoe er tot een bepaald besluit is gekomen.

De leden van de CDA-fractie merken op dat de definitie van hoog-risico AI-systemen niet genoemd wordt in de beoordeling van het voorstel, terwijl dat ook nog de nodige onduidelijkheid over bestaat. Is deze definitie voor het kabinet voldoende duidelijk of zal het kabinet in de Europese onderhandelingen hier ook een punt van maken?

De leden van de CDA-fractie willen hun steun uitspreken voor het standpunt van het kabinet om nieuwe definities als «ingebruikname» vanaf het begin van de onderhandeling duidelijk uitgewerkt te hebben. Zij refereren daarbij aan de onduidelijkheid die nog steeds bestaat over wat precies het «verwerken» van gegevens is bij de invoeren van de AVG. Deze leden vragen daarbij wel of het kabinet een indicatie kan geven over wat zij een acceptabele definitie vindt.

De leden van de CDA-fractie uiten hun zorgen over de brede formulering van de verboden en de vele uitzondering op verboden. Verschillende uitzonderingen zijn begrijpelijk en kunnen op steun rekenen van deze leden. Echter vragen deze leden naar het verbod op manipulatie en winstgevend maken van kwetsbaarheden die verband houden met iemands leeftijd, verstandelijke of fysieke beperking dat alleen lijkt te gelden indien er sprake is van (een grote kans op) schade. Deze leden vragen waarom er niet voor een algemeen verbod is gekozen en of het kabinet voornemens is daar wel voor te pleiten. Deze leden lijkt het logisch dat manipulatie en winstgevend maken van kwetsbaarheden altijd onwenselijk is en daarmee niet toegestaan.

Het verbod op bepaalde systemen en real-time biometrie in de publieke ruimte

De leden van de CDA-fractie zijn positief over het uitgangspunt van een verbod op real-time biometrische identificatie systemen in de publieke ruimte ten behoeve van rechtshandhaving. Wel hebben deze leden vragen over wat er precies bedoeld wordt met «real-time» biometrische identificatie. In dat kader vragen deze leden of het kabinet zich wil inzetten op het verkrijgen van duidelijkheid op dat punt. Deze leden vragen het kabinet waarom er niet een verbod op biometrische identificatie aan de hand van kunstmatige intelligentie in publieke ruimte in het algemeen komt. Deze leden zien daarnaast in uitzonderlijke gevallen, bijvoorbeeld bij terroristische dreiging of aanslag, reden om wel gebruik te maken van (real-time) biometrische identificatie, maar dat dit wel met waarborgen dient te worden omkleed.

Transparantie voor overige AI-systemen

De leden van de CDA-fractie vragen hoe de rol van de burger is geregeld in de verordening en dan in het bijzonder hoe de burger in staat gesteld zal worden om grip te houden op welke wijze zij worden onderworpen aan automatische besluitvorming en kunstmatige intelligentie. Klopt het dat burgers geen mogelijkheden worden gegeven om inzicht te krijgen in hoe en in welke mate zij onderworpen zijn aan kunstmatige intelligentie in de verordening, mogelijkheden die de AVG wel biedt op het terrein van eigen persoonsgegevens?

Toezicht en governance

De leden van de CDA-fractie kunnen zich vinden in de vragen en bezwaren van het kabinet over de wijze waarop het toezicht en de governance is geregeld in de verordening. Door te kiezen voor een brede reikwijdte en open definities zal er automatisch ook meer gevraagd worden van het toezicht, zo menen deze leden. Deze leden vragen naar de consequenties van deze uitgangspositie van het kabinet op dit punt. Ook vragen deze leden of het kabinet bereid is om in voorbereiding op de verordening actief na te denken over de wijze waarop het toezicht in Nederland vormgegeven moet gaan worden en welke capaciteit daar voor nodig is. Het is daarbij van belang dat we niet verrast worden door mogelijke gevolgen en capaciteitsvragen zoals in het verleden weleens is gebeurd, zo menen deze leden.

Innovatie en regeldruk

De leden van de CDA-fractie waarderen de aandacht voor een wetgevend kader dat innovatievriendelijk is, waarbij hoge nalevingskosten worden vermeden en met oog voor het belang van kleine organisaties en bedrijven, zoals het mkb. Deze leden lezen dat die organisaties en bedrijven voorrang kunnen krijgen bij experimenteerruimtes, waaronder «regulatory sandboxes», digitale innovatiehubs en test- en experimenteerfaciliteiten voor AI-systemen. Is reeds bekend onder welke voorwaarden bijvoorbeeld mkb-bedrijven hier toegang toe kunnen krijgen? Tijdens de coronacrisis is gebleken dat het voor mkb en starters lastig is om eigen, doorgaans kostbare Research & Development (R&D) -capaciteit aan te houden. Zullen kleinere bedrijven straks toegang hebben tot de digital innovation hubs, om van daaruit samen te werken met de R&D-afdeling van grote(re) bedrijven? Hoe is financiering hiervan/hiervoor geregeld? Kan het kabinet aangeven hoe het staat met de «infrastructuur» van eerdergenoemde experimenteerruimtes in Nederland? Zijn er bijvoorbeeld voldoende test- en experimenteerfaciliteiten, verspreid over het land, waar het mkb op laagdrempelige wijze AI-systemen kan laten testen, niet alleen de mkb-koplopers maar ook het brede mkb-peloton? Het kabinet schat in dat regeldruk- en nalevingskosten voor mkb-bedrijven, startups en kleine organisaties in de praktijk hoger zullen uitvallen, met mogelijk een rem op innovatie tot gevolg. Hoe gaat het kabinet zich er concreet voor inzetten dat administratieve verplichtingen «zo lastenluw en effectief mogelijk» worden vormgegeven, zowel in Nederland als in Europees verband?

Consumentenbescherming

Consumentenorganisaties wijzen erop dat de verordening geen specifieke consumentenrechten bevat, om consumenten te beschermen tegen de risico’s van AI. Als voorbeelden worden genoemd het ontbreken van een recht op transparantie, een recht op uitleg, een recht om een algoritmisch besluit aan te vechten of een het recht om een klacht in te dienen bij een vermoedelijke inbreuk. Hoe kijkt het kabinet hier tegenaan? Biedt de huidige wetgeving consumenten voldoende bescherming ten aanzien van AI? Kan dit worden geïllustreerd met voorbeelden?

Vragen en opmerkingen van de leden van de SP-fractie

De leden van de SP-fractie hebben kennisgenomen van de fiches over kunstmatige intelligentie en hebben hierover nog enkele vragen en opmerkingen. Kunstmatige intelligentie is niet inherent slecht of goed en biedt kansen, maar ook hele grote uitdagingen. Dat betekent dat regulatie noodzakelijk is. De leden van SP-fractie vragen wel waarom er veel bevoegdheden bij de Europese Commissie worden belegd, waaronder een grote rol in het toezicht. Deze leden achten dit ondemocratisch en onwenselijk. Kan het kabinet in gaan op de wenselijkheid van zo’n grote rol van de Europese Commissie?

De leden van de SP-fractie maken zich onder andere grote zorgen over profilering, ratingsystemen (publiek én privaat) en grove privacy-schendingen. Een van de grootste uitdagingen op het gebied van kunstmatige intelligentie is hoe bijvoorbeeld de menselijke waardigheid beschermd kan blijven. Hoe kijkt het kabinet hiertegen aan? Is het kabinet bereid een ethische commissie in te stellen die hier bijvoorbeeld advies over uit kan brengen? Zo nee, waarom niet?

Biometrische identificatie

De leden van de SP-fractie lezen dat systemen voor voorspellend politiewerk en gezichtsherkenning deels aan banden worden gelegd. In hoeverre valt de huidige Nederlandse politiepraktijk hieronder? Wat is de inzet van het kabinet als het gaat om biometrische herkenningssystemen op grote schaal? Pleit het kabinet voor een totaalverbod, zowel in de publieke als de private sector en zo nee, waarom niet? Kan het kabinet ook ingaan op waarom emotieherkenningsystemen niet onder de regels vallen en wat het standpunt van het kabinet over deze systemen is? Vindt het kabinet het bijvoorbeeld wenselijk als bedrijven gebruik kunnen maken van technologieën in huiskamers, waarmee emoties worden herkend, om zo het aanbod van deze bedrijven beter af te stemmen? Deelt het kabinet de mening dat dit en soortgelijke systemen per definitie een veel te grote inbreuk zijn op de privacy bijvoorbeeld? Zo nee, waarom niet?

Sociale Ratingsystemen

De leden van de SP-fractie hebben grote twijfels bij het gebruik van ratingsystemen. Hoewel er tegenwoordig voor zo ongeveer elke online-klik om feedback gevraagd wordt, kan het leiden tot uitsluiting en bijvoorbeeld onterechte ontslagen. Deze leden steunen daarom van harte een verbod op ratingsystemen. De vraag is echter wel waarom dit alleen voor de publieke sector geldt. Waarom mag een groot bedrijf als Uber bijvoorbeeld zowel zijn chauffeurs als zijn klanten laten raten? Ziet het kabinet ook ethische bezwaren en zo ja, wat gaan zij hierop ondernemen? In hoeverre spelen de argumenten voor een vrije (Europese) markt in deze discussie een rol volgens het kabinet? Hoe reflecteert het kabinet hierop?

Dodelijke autonome wapens

De leden van de SP-fractie betreuren dat er niet gesproken wordt over dodelijke autonome wapens. In hoeverre heeft dat volgens het kabinet te maken met de instelling van een Europees defensiefonds, waarbij er geïnvesteerd wordt in het ontwikkelen van autonome wapens? Deze leden vragen naar wat het kabinet verstaat onder betekenisvolle menselijke controle als maatstaf voor dit soort wapens. Is het kabinet alsnog bereid om te pleiten voor een volledig verbod op zogenaamde LAWS (Lethal Autonomous Weapons Systems)? Zo nee, waarom niet?

Handhaving

Het is voor de leden van de SP-fractie geen verrassing dat aanbieders van hoog-risico soft- en hardware zelf verantwoordelijk worden gemaakt voor kwaliteitstoetsing. De zelfregulatiezucht is echter bij systemen die zo ontzettend veel risico’s met zich meebrengen volgens deze leden volstrekt onvoldoende. Hoe ziet het kabinet dit?

De overheid heeft een belangrijke taak om te voorkomen dat bij het invoeren van kunstmatige intelligentie de menselijke waardigheid niet geborgd is en er bijvoorbeeld op basis van onjuiste data ingrijpende beslissingen worden genomen. Acht het kabinet zich voldoende in staat deze essentiële taak uit te voeren en te handhaven? Hoe staat het inmiddels met de uitvoering van de motie-Marijnissen c.s. (Kamerstuk 35 510, nr. 21)?

Vragen en opmerkingen van de leden van de GroenLinks-fractie

De leden van de GroenLinks-fractie zijn blij met het verschijnen van de verordening betreffende kunstmatige intelligentie, die deze leden zien als een belangrijke stap richting effectieve regulering van het snel toenemende aantal toepassingen dat hier gebruik van maakt. Zij hebben echter nog vragen over de details.

De leden van de GroenLinks-fractie vinden de verbodsbepaling, onder artikel 5, onduidelijk geformuleerd. Wat wordt bedoeld met subliminale technieken en het wezenlijk verstoren van gedrag en waarom zijn deze enkel verboden wanneer dit waarschijnlijk zal leiden tot directe fysieke of psychologische schade aan individuele personen? Ligt de bewijslast om dit aan te tonen exclusief bij de betroffen individuen? Erkent het kabinet dat manipulatie via AI-systemen ook ernstige maatschappelijke gevolgen kan hebben, ook wanneer directe fysieke of psychologische schade aan individuen niet aantoonbaar is? Is het kabinet bereid om zich in te zetten voor een verduidelijking en verbreding van de verbodsbepaling op dit punt? Is het kabinet van mening dat aanbevelingsalgoritmen die nepnieuws en schokkende of extreme content promoten om individuele personen langer op het platform te houden ten einde meer advertenties te laten zien ook een vorm van subliminale techniek is gericht op het wezenlijk verstoren van het gedrag van personen?

De leden van de GroenLinks-fractie vragen met betrekking tot het verbod op AI-systemen gericht op sociale scores voor een classificatie van de betrouwbaarheid van natuurlijke personen, waarom dit alleen zou gaan gelden voor overheidsinstanties, en niet voor private bedrijven. Is het gebruik van AI-gedreven sociale score systemen door private bedrijven in potentie niet net zo schadelijk? Wat is de kabinetsinzet op dit vlak?

De leden van de GroenLinks-fractie vragen waarom het verbod op biometrische surveillance in de openbare ruimte zich beperkt tot real-time identificatie. Wat is de definitie van real-time? Zou het gebruik van gezichtsherkenningstechnologie op live beelden, maar met 10 seconden vertraging, dan niet onder dit verbod vallen? Hoe wenselijk is dat? Daarnaast vragen deze leden waarom het verbod op biometrische surveillance in de openbare ruimte gelimiteerd is tot surveillance «met het oog op de rechtshandhaving». Is surveillance in de openbare ruimte met een ander doel of door private partijen ook niet net zo schadelijk?

De leden van de GroenLinks-fractie maken zich ook zorgen over de uitzonderingsruimte van het verbod die wordt geboden in Artikel 5 (d). Met deze ruime formulering, zeker onder lid (iii), vrezen deze leden dat er alsnog veelvuldig gebruik kan worden gemaakt van biometrische surveillance in de openbare ruimte. Deelt het kabinet deze zorg? Wat vindt het kabinet verder van de gezamenlijke oproep van de Europese privacy-toezichthouders, waaronder de Autoriteit Persoonsgegevens, om gezichtsherkenning, stemherkenning en bewegingsherkenning in de openbare ruimte volledig te verbieden? Is het kabinet bereid om zich hiervoor in te zetten in Europees verband? Kan het kabinet in deze context ook een appreciatie geven van de aangehouden motie-Van der Lee c.s. (Kamerstuk 21 501-20, nr. 1706)?

De Europese toezichthouders pleiten daarnaast voor een verbod op AI-systemen die mensen indelen in groepen op basis van etniciteit, geslacht, seksualiteit of politieke voorkeur, omdat dit discriminatie in de hand werkt. De leden van de GroenLinks-fractie vragen of het kabinet dit pleidooi ondersteunt en zich hier in Europees verband voor in wil zetten. Tenslotte pleiten de Europese toezichthouders ook voor een verbod op alle vormen van kunstmatige intelligentie voor het herkennen van emoties. Deze leden vragen of het kabinet dit pleidooi ondersteunt en bereid is om zich in te zetten om dit op te nemen in de verbodsbepaling van deze verordening.

De leden van de GroenLinks-fractie begrijpen de logica achter de risicogerichte benadering. Deze leden hebben wel twijfels bij de uitvoering van deze benadering, die is gericht op sectoren en niet op toepassingen. Wat is het risico dat hoog-risico toepassingen in sectoren die niet als hoog-risico zijn geclassificeerd, nu zonder noemenswaardige regelgeving kunnen worden toegepast, met mogelijk ernstige gevolgen van dien?

De leden van de GroenLinks-fractie vragen ook een reflectie op de nadruk die wordt gelegd in de verordening op de providers, of ontwikkelaars, van AI-systemen. Erkent het kabinet dat het verkeerd gebruik van een goed ontworpen AI-systeem ook kan leiden tot de schending van mensenrechten? Zou de conformiteitsbeoordeling dan niet ook moeten worden vereist voor gebruikers van hoog-risico AI-systemen? Ook is het opmerkelijk dat personen die aan AI-systemen worden onderworpen amper voorkomen in de verordening. Is het kabinet bereid zich in te zetten voor duidelijke rechten voor eenieder die wordt onderworpen aan AI-gedreven systemen, zoals het recht op transparantie, het recht op uitleg over algoritmische besluiten en het recht om dergelijke besluiten aan te vechten?

De leden van de GroenLinks-fractie vragen het kabinet ook in te gaan op de centrale rol van zelfbeoordelingen in deze verordening. Op welke manier is er sprake van onafhankelijke externe toetsing op de kwaliteit van zelfbeoordelingen en op het daadwerkelijk naleven van de uitgangspunten van de verordening?

De leden van de GroenLinks-fractie ondersteunen de inzet van deze verordening op verhoogde transparantie bij het gebruik van AI-systemen. Deze leden merken echter op dat de interpretatie van transparantie zich lijkt te beperken tot het informeren over het feit dat er gebruik wordt gemaakt van AI-systemen. Is dat niet een veel te beperkte benadering, zo vragen deze leden? Is het kabinet bereid om zich ervoor in te zetten dat de verordening ook transparantie afdwingt over de wijze waarop AI-systemen werken en hoe deze tot hun uitkomsten en besluiten komen, met name richting personen die aan AI-systemen worden onderworpen?

De leden van de GroenLinks-fractie hebben ook vragen bij het standaardisatieproces. Wat is de positie van het kabinet over het feit dat het opstellen van deze normen of standaarden wordt gedelegeerd aan private instellingen zoals CEN (Europese Commissie voor Standaardisatie) en CENELEC (Europese Commissie voor Elektrotechnische Standaardisatie)? Erkent het kabinet dat de details van deze standaarden gevolgen hebben voor fundamentele rechten, en deelt het kabinet de mening dat experts op het gebied van fundamentele rechten en AI en ethiek ook bij dit standaardisatieproces betrokken moeten worden? Zo ja, op welke wijze wordt dit geborgd? Zo nee, waarom niet?

Tenslotte vragen de leden van de GroenLinks-fractie naar de klimaateffecten van het toenemend gebruik van kunstmatige intelligentie. Zou klimaatimpact niet moeten worden meegewogen in de classificatie en regulering van AI-systemen?

Vragen en opmerkingen van de leden van de Volt-fractie

De leden van de Volt-fractie hebben de BNC-fiches over de concept Verordening betreffende Kunstmatige Intelligentie («AI-verordening») en de Mededeling Bevorderen Europese aanpak inzake Kunstmatige Intelligentie met grote belangstelling gelezen. Deze leden onderschrijven het belang van innovatie en technologische ontwikkelingen, waarbij publieke waarden, zoals het beschermen van grondrechten en de basisbeginselen van de Europese Unie, centraal staan. In dat kader is regulering van de toepassing van kunstmatige intelligentie essentieel. Deze leden zijn benieuwd naar de overwegingen die het demissionaire kabinet heeft meegenomen in aanloop naar haar positiebepaling ten aanzien van de concept AI-verordening. Hoe is het demissionaire kabinet tot haar positie ten aanzien van de verordening gekomen? Wie heeft het demissionaire kabinet hiervoor geraadpleegd? Welke afwegingen zijn gemaakt en in hoeverre is het standpunt van het demissionaire kabinet, te lezen in de fiches, definitief? Hoe voorziet het demissionaire kabinet eventuele tussentijdse bijstelling van de positie tijdens het onderhandelingsproces, in de raadswerkgroep- en Coreper-fase, wordt de Kamer hierin meegenomen?

Innovatie is een middel om publieke waarden te laten floreren. De leden van de Volt-fractie zien het dan ook als een voorwaarde dat bij de inzet van AI-systemen altijd de vraag wordt gesteld welke maatschappelijke impact dit heeft. Deze leden vragen het demissionaire kabinet dan ook allereerst hoe zij bescherming van publieke waarden bij de wetsonderhandelingen van de AI-verordening zal betrekken.

Zoals het demissionaire kabinet terecht opmerkt bevat de concept AI-verordening een aantal vage definities. Zo bestaat onduidelijkheid over de definitie van AI (artikel 3, sub 1). Hoe definieert het demissionaire kabinet AI? Welke definitie wenst het demissionaire kabinet in de verordening terug te zien, zodat de definitie recht doet aan de wetenschappelijke en dagelijkse praktijk, en tegelijkertijd uitputtend is? Welke afwegingen heeft het demissionaire kabinet meegenomen in de vaststelling van de definitie en in hoeverre is de positie van het kabinet beklonken?

Daarnaast bestaat onduidelijkheid over aanbieders (artikel 3, sub 2) en gebruikers (artikel 3, sub 4) en de wijze van kwalificatie van actoren. Welke definities zouden volgens het demissionaire kabinet in de concept-verordening moeten worden opgenomen en welke overwegingen liggen daaraan ten grondslag? Waar zou volgens het demissionaire kabinet de grens tussen provider en gebruiker moeten liggen en is zij voornemens deze visie te delen in aanstaande wetsonderhandelingen?

Hoe gaat het demissionaire kabinet ervoor zorgen dat duidelijkheid ontstaat over de definities en actoren, zodat coherentie met bestaande regelgeving wordt geborgd (zowel huidige als in ontwerp zijnde Nederlandse en EU wet- en regelgeving)? Wat zal daarbij de inzet zijn van het demissionaire kabinet? Waarin ziet zij ruimte voor verbetering ten aanzien van coherentie met bestaande regelgeving?

De leden van de Volt-fractie stellen dat de concept AI-verordening onduidelijk is over welke AI-systemen als hoog-risico moeten worden gezien (artikel 5). Deelt het demissionaire kabinet deze mening? Deelt het demissionaire kabinet de mening dat de concept AI-verordening een beperkte definitie van hoog-risico AI definieert? Zo ja, wat zou er volgens het demissionaire kabinet onder hoog-risico moeten vallen? Zo nee, waarom niet? Hoe beoordeelt het demissionaire kabinet de restrictieve definitie van hoog-risico AI en de daardoor beperkte reikwijdte van de verordening? Acht het demissionaire kabinet het beschermingsniveau voldoende? Zo ja, waarom? Zo nee, hoe zou de reikwijdte er volgens het demissionaire kabinet dan uit moeten zien en hoe gaat het demissionaire kabinet dit in Europa bewerkstelligen?

Hoeveel bewegingsvrijheid zou de Europese Commissie moeten hebben om de lijst met hoog-risico AI-systemen in de toekomst aan te vullen (artikel 7)? Welke kaders ziet het demissionaire kabinet voor deze bewegingsvrijheid? In hoeverre zal het demissionaire kabinet ervoor zorgen dat de lidstaten voldoende mogelijkheden behouden om de samenstelling van de lijst te kunnen controleren? Wat wordt de inzet van het demissionaire kabinet in de wetsonderhandelingen en hoe, en in samenwerking met wie, is deze onderhandelingsinzet tot stand gekomen?

Wil het demissionaire kabinet het gebruiken van biometrische identificatie door politie en justitie in een beperkt aantal uitzonderingsgevallen toestaan? Zo ja, welke uitzonderingsgevallen betreft dit? Is het demissionaire kabinet bekend met de open brief van Access Now, Amnesty International, European Digital Rights (EDRi), Human Rights Watch, Internet Freedom Foundation (IFF), and Instituto Brasileiro de Defesa do Consumidor (IDEC)¹? Onderschrijft het demissionaire kabinet de zorgen over de potentiële risico’s van de uitzonderingen voorgesteld in de AI-verordening, waarbij het gebruik van biometrische identificatie door politie en justitie wel is toegestaan? Zo ja, hoe gaat het demissionaire kabinet ervoor zorgen dat deze risico’s worden gemitigeerd? Zo nee, waarom niet? Is het demissionaire kabinet van mening dat het gebruik van biometrische gegevens voor identificatie door private bedrijven geheel verboden moet worden? Zo ja, wat is daarvoor de onderbouwing? Zo nee, hoe is dit standpunt tot stand gekomen en wie waren er betrokken bij dit besluitvormingsproces? Welke afwegingen liggen daaraan ten grondslag en hoe heeft het demissionaire kabinet die afwegingen gemaakt?

De Europese privacy waakhonden EDPS en EDPB roepen op tot een algeheel verbod op sociale scores, aangezien dit in strijd is met de fundamentele waarden van de EU en tot discriminatie kan leiden. Deelt het demissionaire kabinet de mening dat het gebruik van sociale scoresystemen niet past binnen een vrije en open samenleving? Deelt het demissionaire kabinet de mening dat social scores niet alleen verboden zou moeten worden voor overheidsinstanties, maar ook voor private partijen (zoals bijvoorbeeld verzekeraars)? Zo ja, met welke inzet zal het demissionaire kabinet dit in de EU bewerkstelligen? Zo nee, waarom niet? Wat is de visie van het demissionaire kabinet ten aanzien van de rechtshandhaving voor social scores? Is het demissionaire kabinet voornemens hier op Europees niveau toezicht op te houden? Zo ja, hoe zal dit toezicht vormgegeven worden? Zo nee, op basis van welke overwegingen is deze keuze tot stand gekomen?

In het verlengde hiervan vragen de leden van de Volt-fractie welke vormen van onbewuste sturing van burgers (zoals micro-targeting) het demissionaire kabinet ongewenst acht en of het demissionaire kabinet van mening is dat de concept AI-verordening voldoende beschermingsniveau biedt om deze ongewenste sturing te voorkomen. Hoe is het demissionaire kabinet tot deze conclusie gekomen? In het geval dat de concept AI-verordening onvoldoende bescherming biedt, hoe is het demissionaire kabinet voornemens dit op Europees niveau aan te kaarten en zich hiervoor hard te maken?

Het Europees Parlement zal waarschijnlijk aandringen op een strenger verbod ten aanzien van het gebruik van technologieën voor voorspellend politiewerk (zoals biometrische surveillance). Hoe denkt het demissionaire kabinet over de wens van het EP ten aanzien van het aandringen op een strenger verbod? Hoe zou dat verbod er volgens het demissionaire kabinet uit moeten zien? Is het demissionaire kabinet van mening dat er een algemeen verbod zou moeten komen voor het gebruik van technologieën voor voorspellend politiewerk? Welke afweging ligt daaraan ten grondslag en hoe heeft het demissionaire kabinet die afweging gemaakt? Deelt het demissionaire kabinet het oordeel dat er een algemeen verbod moet komen voor biometrische surveillance in de publieke ruimte? Welke afweging ligt daaraan ten grondslag en hoe heeft het demissionaire kabinet die afweging gemaakt? Hoe weegt het demissionaire kabinet de daarbij betrokken grondrechten die mogelijk in het geding komen?

Het is voor de leden van de Volt-fractie onduidelijk hoe de risicoanalyse van aanbieders van AI-systemen met een hoog-risico die de markt willen betreden eruit moet komen te zien en welke actoren deze conformiteitsbeoordeling moeten uitvoeren. Hoe oordeelt het demissionaire kabinet over het proces van zelfevaluatie voor aanbieders van hoog-risico AI-systemen? Welke kaders zouden er volgens het demissionaire kabinet moeten worden gesteld voor dergelijke zelf risicoanalyses? Biedt de concept verordening volgens het demissionaire kabinet voldoende kaders? Deelt het demissionaire kabinet de mening dat de administratieve lasten en complexiteit van de zelf risicoanalyses ervoor kunnen zorgen dat de betrouwbaarheid en kwaliteit van beoordelingen achteruitgaan, met als gevolg dat de (hoog-risico) AI-systemen alsnog beperkt betrouwbaar zijn? Zo ja, hoe gaat het demissionaire kabinet ervoor zorgen dat dit voorkomen wordt? Zo nee, waarom niet?

De leden van de Volt-fractie onderschrijven nogmaals het belang van regulering van AI, maar uiten ook zorgen over de implicaties voor midden- en kleine ontwikkelaars en publieke organisaties. De mogelijke administratieve lasten en complexiteit van de uitvoering kan toetreden tot de markt voor deze organisaties, zeker ten opzichte van grote technologiebedrijven, lastiger maken. Welke maatregelen gaat het demissionaire kabinet nemen om ervoor te zorgen dat het de implicaties voor de uitvoering en implementatie van de uiteindelijke AI-verordening organisaties – in het bijzonder mkb-bedrijven en publieke organisaties – zo efficiënt en goed mogelijk beheerst? Op basis van welke afwegingen heeft het kabinet deze maatregelen opgesteld en is de keuze voor deze maatregelen definitief? Deze leden denken daarbij bijvoorbeeld aan: (i) tijdige en bruikbare voorlichtingscampagnes; (ii) handvatten om in aanloop naar de invoering van de AI-verordening al in lijn met de AI-verordening te ontwikkelen; (iii) het aanbieden of ondersteunen van organisaties bij het maken van impact assessments voor de implementatie van de AI-verordening; en (iv) financiële middelen om organisaties te ondersteunen, zodat de AI-verordening er niet voor zorgt dat de ontwikkeling van innovatie AI-toepassingen stopt en de markt niet langer toegankelijk wordt voor kleine ontwikkelaars.

Het beschermingsniveau dat de transparantieregels voor gebruikers van AI-systemen biedt, zoals omschreven in artikel 13 van de concept verordening, is beperkt. Deelt het demissionaire kabinet het standpunt dat de bepalingen in de concept verordening onvoldoende mogelijkheden bieden voor gebruikers van AI-systemen om te controleren of de uitkomsten van het gebruik van AI-systemen juist en rechtmatig zijn? Zo ja, met welke inzet zal het demissionaire kabinet ervoor zorgen dat burgers die te maken krijgen met AI-systemen van private partijen, maar in het bijzonder ook overheidsorganisaties, de mogelijkheid krijgen om de uitkomsten van deze AI-systemen te controleren op rechtmatigheid en indien dit ontbreekt daartegenop te treden? Zo nee, waarom niet?

Is het demissionaire kabinet een voorstander van het verplicht openbaar maken van broncodes van AI-software? Zo ja, welke welke afwegingen liggen hieraan ten grondslag? Zo nee, welke afwegingen liggen hieraan ten grondslag? Is het standpunt van het demissionaire kabinet afgewogen tegen de positie van andere Europese lidstaten en is er in aanloop naar de vaststelling van de positie met hen overlegd? Zo ja, welke zaken zijn meegenomen in de positiebepaling en welke heeft het kabinet achterwege gelaten en waarom? Zo nee, waarom is dit niet meegenomen en in de positiebepaling? Welke grondrechten heeft het demissionaire kabinet in die afweging meegenomen? In hoeverre kunnen de leden van de Volt-fractie constateren dat de positie van het demissionaire kabinet is beklonken?

Ten aanzien van de wetsonderhandelingen hebben de leden van de Volt-fractie een aantal vragen. Hoe is het demissionaire kabinet voornemens om tussentijds de Kamer te informeren ten aanzien van de wetsonderhandelingen die de komende jaren gevoerd zullen worden in de raadswerkgroepen? Kan het demissionaire kabinet toezeggen de Kamer tweemaandelijks te informeren over de onderhandelingspositie van het (demissionaire) kabinet, de overwegingen en eventuele nuanceringen op de positie of nadere detaillering volgend uit de wetgevingsonderhandelingen? In hoeverre gaat het demissionaire kabinet bovenstaande overwegingen geopperd door deze leden meenemen in de onderhandelingen?

Tot slot de toepassing van AI-systemen binnen en door de overheid. Hoe gaat het demissionaire kabinet ervoor zorgen dat de capaciteit en kennis binnen alle overheidsorganen ten aanzien van het gebruik en de impact van AI-systemen op orde is? Welke concrete maatregelen zal het demissionaire kabinet hiervoor nemen? Welk ministerie zal eindverantwoordelijke worden voor de implementatie, uitvoering en handhaving van de AI-verordening? Indien verschillende departementen verantwoordelijk zullen zijn voor de AI-verordening, hoe zal tussen deze departementen worden samengewerkt om coherentie, efficiëntie en effectiviteit te borgen?

---

1. Open letter calling for a global ban on biometric recognition technologies that enable mass and discriminatory surveillance d.d. 7 juni 2021 (Bron: Final version of ban biometric surveillance statement – ENG (accessnow.org).↩︎