Artikel

De AI-Act: omdat het niet alles goud is wat er blinkt!

We worden overspoeld met de mogelijkheden van AI. Logisch, want de mogelijkheden zijn mind-blowing. Echter, het is niet alles goud wat er blinkt. AI heeft namelijk in veel gevallen ook een potentiële dark side. Gelukkig hebben steeds meer mensen daar oog voor. En gelukkig zijn we er in Europa nu een keer redelijk op tijd bij met wet- en regelgeving. In 2024 is namelijk de AI-act vastgesteld. Deze wordt gefaseerd ingevoerd maar doet zich ook nu al gelden. Het is goed voor iedere onderwijsinstelling om daar als gebruikersverantwoordelijke bij stil te staan. Overigens niet alleen omdat de wet het voorschrijft maar ook omdat je niet moet willen dat de ongewenste neveneffecten van AI zich kunnen manifesteren.

De dark side van AI

Want zoals gezegd: AI heeft in veel gevallen ook een dark side. Welke vooral te maken heeft met de risico’s die aan het gebruik ervan verbonden zijn en waar je je als gebruiker(sverantwoordelijke) bewust van moet zijn.

Risico’s van AI waar je scherp op moet zijn allereerst de volgende:

vooroordelen doordat de data waarmee een systeem of model getraind is bias bevat;
gebrek aan transparantie (black box) waardoor de verantwoordingsplicht wordt ondermijnd;
de opkomst van onethische toepassingen als deep fake technologie;
schending van het auteursrecht dat met name bij generatieve AI op de loer ligt.

Daarnaast kan AI een bedreiging vormen voor de volgende grondrechten:

Privacy door bijvoorbeeld gezichtsherkenningtechnologie en profilering op basis van grote databestanden;
Non-discriminatie door bevooroordeelde AI-algoritmen.
Vrijheid van meningsuiting door overijverige AI-moderatie-instrumenten.
Vrijheid van gedachte, geweten en godsdienst door AI die informatie manipuleert.
Rechten van werknemers door AI op de werkplek die kan leiden tot opdringerig toezicht en verplaatsing van banen.
Recht op een eerlijk proces door de inzet van ontoerekeningsvatbare en ondoorzichtige AI-instrumenten in gerechtelijke procedures.
Consumentenbescherming door AI die consumenten misleidt of manipuleert of die de productveiligheid niet waarborgt.
Bescherming van de persoonlijke integriteit door AI-toepassingen in de geneeskunde of biometrie die misbruik maken van persoonlijke gezondheidsgegevens of lichamelijke informatie.
Milieubescherming en duurzaamheid door het energieverbruik dat nodig is voor het trainen van complexe AI-modellen en het elektronisch afval dat ontstaat door de snelle veroudering van AI-apparaten.
Vrijheid van ondernemerschap door AI-systemen die de markten verstoren door datadominantie of algoritmische collusie.

Categorieën AI-systemen

De AI-act kent een meervoudige aanpak voor het beheer van de bovengenoemde risico’s in die zin dat de AI-act onderscheid maakt naar de volgende categorieën AI-toepassingen die ieder hun eigen regels kennen:

Verboden Praktijken: dit zijn manipulatieve, uitbuitende en sociale controlepraktijken die in strijd zijn met de grondrechten en de waarden van de Europese Unie en daarom volledig verboden zijn. Meer concreet gaat het om de volgende soorten systemen:

Systemen die erop gericht zijn menselijk gedrag te manipuleren of te misleiden.
Systemen die misbruik maken van de kwetsbaarheden van personen als gevolg van leeftijd, handicap of sociale of economische situatie. AI-systemen voor social scoring. AI-systemen die mensen beoordelen op basis van sociaal gedrag of persoonlijke kenmerken.
AI gebaseerde voorspelde risicobeoordelingen voor criminaliteit.
Systemen die worden gebruikt om mensen op basis van biometrische gegevens te categoriseren in bepaalde gevoelige categorieën.
Het gebruik van AI-systemen voor biometrische identificatie op afstand in real-time in openbare ruimten.
Het ongericht scrapen van gezichtsafbeeldingen van internet of camerabeelden om databanken voor gezichtsherkenning aan te leggen of aan te vullen.
Emotieherkenning op de werkplek of in het onderwijs.

Met name het laatste punt is relevant voor het onderwijs.

Praktijken met een hoog risico: hoewel deze praktijken niet in strijd zijn met de grondrechten of de waarden van de Europese Unie, houden ze wel een aanzienlijk risico in op een negatieve impact op deze rechten. Gebruikssituaties met een hoog risico worden opgesomd in bijlage III van de AI-wet.
Specifiek voor het onderwijs zijn dit:

AI-systemen die bedoeld zijn om te worden gebruikt voor het bepalen van toegang of toelating tot of het toewijzen van natuurlijke personen aan instellingen voor onderwijs en beroepsonderwijs op alle niveaus;
AI-systemen die bedoeld zijn om te worden gebruikt voor het evalueren van leerresultaten, ook wanneer die resultaten worden gebruikt voor het sturen van het leerproces van natuurlijke personen in instellingen voor onderwijs en beroepsonderwijs op alle niveaus;
AI-systemen die bedoeld zijn om te worden gebruikt voor het beoordelen van het passende onderwijsniveau dat een persoon zal ontvangen of waartoe hij toegang zal hebben, in het kader van of binnen instellingen voor onderwijs en beroepsonderwijs op alle niveaus;
AI-systemen die bedoeld zijn om te worden gebruikt voor het monitoren en detecteren van ongeoorloofd gedrag van studenten tijdens toetsen in de context van of binnen instellingen voor onderwijs en beroepsonderwijs op alle niveaus.

Waar het onderwijs in dit verband óók mee te maken kan krijgen zijn de zogenaamde AI toepassingen als gereguleerd product. Bijlage I van de AI-act bevat een lijst met allerlei EU-regelgeving voor producten, van liften en bladblazers tot jetski's en medische hulpmiddelen. Elke AI die kan worden beschouwd als een product dat daaronder valt, of een veiligheidscomponent daarvan, is automatisch een hoog risico.

In de praktijk betekent dit dat wanneer je als onderwijsorganisatie bijvoorbeeld een lift in gebruik neemt die deels wordt aangestuurd door AI je gebonden bent aan de regels met betrekking tot hoog risico AI-toepassingen (zie hierna).

De leveranciers van AI-systemen die binnen de categorie hoog risico-praktijken vallen moeten een groot aantal nalevingsregels implementeren voordat ze op de markt worden toegelaten, te weten

Menselijk mandaat en menselijk toezicht.
Technische robuustheid en veiligheid, inclusief aanvalsbestendigheid en beveiliging, uitwijkplan en algemene veiligheid, nauwkeurigheid, betrouwbaarheid en reproduceerbaarheid.
Privacy en gegevensbeheer, waaronder respect voor privacy, kwaliteit en integriteit van gegevens en toegang tot gegevens.
Transparantie, inclusief traceerbaarheid, uitlegbaarheid en communicatie.
Diversiteit, non-discriminatie en eerlijkheid, inclusief het vermijden van oneerlijke vooroordelen, toegankelijkheid en universeel ontwerp, en participatie van belanghebbenden.
Maatschappelijk en ecologisch welzijn, inclusief duurzaamheid en milieuvriendelijkheid, sociale impact, maatschappij en democratie.
Verantwoordingsplicht, inclusief controleerbaarheid, minimalisatie en rapportage van negatieve gevolgen, afwegingen en schadeloosstelling.

Een leverancier die een hoog risico praktijk op de Europese markt wil brengen moet het systeem aanmelden bij een zogenaamde aanmeldingsinstantie om een CE keurmerk te krijgen.

Een onderwijsinstelling die een hoog risico AI-toepassing wil gebruiken kan via de aanmeldingsinstantie nagaan of een toepassing CE-gecertificeerd is. Echter, dit is niet de enige verplichting die geldt bij in gebruik name van een dergelijke toepassing. Behalve de check op het keurmerk gelden ook de volgende verplichtingen:

toezien op gebruik van het systeem in overeenstemming met de gebruiksinstructies van de aanbieder;
zoveel mogelijk menselijk toezicht instellen en de invoergegevens en werking van het systeem controleren. Bijbehorende geautomatiseerde logboeken moeten ten minste zes maanden worden bewaard.
uitvoeren van een zogenaamde Fundamental Rights Impact Assessment (FRIA) voorafgaand aan of zo snel mogelijk na in gebruik name van het systeem.

3. Praktijken met een transparantierisico: sommige AI-systemen hebben transparantie verplichtingen. Dit geldt voor:

AI-systemen die bedoeld zijn voor interactie met natuurlijke personen.
AI-systemen, waaronder general purpose AI-systemen, die synthetische audio, beeld, video of tekst-inhoud genereren.
Emotieherkenning systemen of biometrische categorisering systemen.

Wanneer een AI-systeem hieronder valt gelden de volgende verplichtingen voor aanbieders:

De gebruiker informeren zodat voor diegene duidelijk is dat er geen interactie met een mens plaatsvindt.
In sommige gevallen moet de inhoud op een machine leesbare manier worden gelabeld zodat deze kan worden geïdentificeerd als kunstmatig gegenereerde of gemanipuleerde inhoud.

Voor gebruikersverantwoordelijkheden gelden bij de inzet van deze systemen de volgende verplichtingen:

Als gebruiksverantwoordelijke van systemen die audio, beeld of video genereren moet je ervoor zorgen dat duidelijk is dat de inhoud kunstmatig genereerd of gemanipuleerd is.
Als gebruiksverantwoordelijke van een AI-systeem dat teksten genereerd of bewerkt die gepubliceerd worden om het publiek te informeren over aangelegenheden van algemeen belang, moet je duidelijk maken dat de tekst kunstmatig is genereerd of is bewerkt.

4. Alle overige praktijken: alle systemen die niet binnen de hiervoor genoemde categorieën vallen, vallen binnen deze categorie en kunnen zonder meer worden gebruikt.

The future is now

De AI-Act is officieel in werking getreden op 1 augustus 2024. Hiermee begon een

overgangsperiode van twee jaar waarin AI-aanbieders, -distributeurs en -toepassers hun

producten, diensten en processen kunnen aanpassen aan de nieuwe vereisten.

Echter, verboden praktijken moeten al vanaf februari 2025 van de markt zijn gehaald en gebruikersverantwoordelijken moeten vanaf februari 2025 werken aan AI-geletterdheid van hun medewerkers naar rato van de toepassing van AI binnen de organisatie.

In augustus van dit jaar (augustus 2025) moeten aanmeldingsinstanties en aangemelde instanties welke nodig zijn voor het certificeringsproces en toezichthoudende instanties die toezicht houden op AI-distributeurs en -implementeerders zijn opgericht.

Vanaf dit moment gelden ook de regels ten aanzien van AI-systemen met een transparantierisico.

Augustus 2026 moeten alle aanbieders en implementeerders voldoen aan de algemene regels voor AI met een hoog risico.

Als een AI-systeem een hoog risico heeft omdat het een veiligheidscomponent van een gereguleerd product is (denk aan een lift), krijgt de aanbieder een extra overgangsjaar (tot einde 2027) voor volledige naleving.

Kortom, werken met verboden praktijken volgens de AI-act mag nu al niet meer. Hetzelfde geldt voor toepassingen met een transparantierisico die niet voldoen aan de voorschriften. Werken met toepassingen met een transparantierisico die wel aan de voorschriften voldoen mag alleen onder genoemde voorwaarden.

Werken met de overige typen AI-toepassingen mag alleen wanneer medewerkers ook worden geschoold in het gebruik ervan.

Vanaf augustus 2026 mag alleen nog met hoog risico systemen gewerkt worden wanneer aan alle hiervoor genoemde voorwaarden is voldaan. Let wel: hieronder vallen naar verwachting ook systemen als Snappet, Gynzy en andere adaptieve toepassingen zoals die bijvoorbeeld in het PO gebruikt worden.

En de lift die via AI wordt aangestuurd mag na augustus 2027 alleen nog maar worden gebruikt mits deze aan alle voorwaarden uit de wet voldoet.

Het laatste lijkt allemaal misschien nog ver weg. Maar bedenk wel dat systemen die je nu aanschaft of geïntegreerd hebt in je processen over 1 of uiterlijk 2 jaar wel aan de hiervoor genoemde eisen moeten voldoen. Het is dus goed om vooruit te kijken en ook in deze fase al kritisch te kijken naar de aangeschafte of aan te schaffen AI-toepassingen.

Disclaimers:

Het vraagstuk van de AI-act en bijbehorende compliance is complex. Om het enigszins begrijpelijk te houden is e.e.a hier vereenvoudigd weergegeven.
Op het moment van schrijven is de discussie gaande of de termijnen voor de inwerktreding van de AI-act niet zou moeten worden opgeschoven gegeven de impact.