Wat is een hoog-risico AI-systeem?
Door Joey van Vliet, oprichterBijgewerkt
Kort gezegd
Een hoog-risico AI-systeem is volgens de EU AI Act een toepassing die de gezondheid, veiligheid of grondrechten van mensen aanzienlijk kan raken, zoals AI in werving en selectie, kredietbeoordeling of toegang tot essentiële diensten. Voor deze systemen gelden zware eisen aan risicobeheer, datakwaliteit, logging en menselijk toezicht.
Ook wel: hoog-risico AI, high-risk AI
Twee soorten hoog-risico systemen
Bijlage III, zelfstandige systemen: AI in domeinen die de wet bij naam noemt. Werving en selectie en andere beslissingen in de arbeidsrelatie, toegang tot onderwijs, kredietbeoordeling, toegang tot essentiële publieke en private diensten, rechtshandhaving, migratie en bepaalde vormen van biometrie.
Bijlage I, ingebouwd in producten: AI als onderdeel van producten die al onder Europese productveiligheidsregels vallen, zoals medische hulpmiddelen, machines, liften en speelgoed.
De verplichtingen gaan gefaseerd in, en de data verschillen per soort. Controleer de actuele ingangsdata in de geconsolideerde tekst van de AI Act op EUR-Lex voordat je plant.
Wat het betekent als je het systeem alleen gebruikt
Ook als gebruiksverantwoordelijke, dus als je het systeem niet zelf bouwt, krijg je bij hoog-risico toepassingen extra taken. Je gebruikt het systeem volgens de instructies, belegt menselijk toezicht bij iemand met de kennis en de bevoegdheid om in te grijpen, houdt de invoer relevant en representatief, bewaart de logs en laat betrokkenen weten dat er een hoog-risico systeem wordt gebruikt.
Dat is duidelijk meer dan bij gewone AI-toepassingen, maar nog steeds veel minder dan wat de aanbieder moet doen.
Waar het in de praktijk toe doet
Loop bijlage III langs met één vraag: neemt of ondersteunt deze AI een beslissing over een persoon die gevolgen heeft voor diens werk, geld of toegang tot iets?
Bij veel MKB-bedrijven is het antwoord één keer ja, en dan gaat het om recruitmentsoftware. Laat je cv’s voorsorteren of kandidaten scoren door AI, dan zit je in deze categorie, ook als de leverancier dat niet groot vermeldt. Meer daarover in CV-screening met AI.
De verstandige volgorde: vraag je leverancier schriftelijk of het systeem als hoog risico is geclassificeerd en hoe hij zich op de verplichtingen voorbereidt. Dat antwoord bepaalt of je zelf iets moet inrichten of kunt aanhaken bij wat de aanbieder levert.
Veelgestelde vragen
Welke hoog-risico toepassingen komen in het MKB het vaakst voor?
Vooral AI in werving en selectie: cv’s filteren, kandidaten scoren of rangschikken. Daarnaast AI die meebeslist over krediet of over toegang tot essentiële diensten. De meeste andere categorieën uit bijlage III, zoals biometrie en kritieke infrastructuur, raken het gemiddelde MKB-bedrijf niet.
Wanneer gaan de hoog-risico verplichtingen in?
Gefaseerd, en de data verschillen voor systemen uit bijlage III en systemen die in producten uit bijlage I zijn ingebouwd. Gebruik de geconsolideerde tekst van de AI Act op EUR-Lex als bron, niet een samenvatting van een jaar geleden.
