7 aandachtspunten voor ethiek en transparantie bij toegepaste AI

Leestijd: 6 minuten

Iedereen die bezig is met het verbeteren van prestaties is overtuigd van de mogelijkheden en de kracht van Artificial Intelligence (AI). Met AI kun je patronen herkennen in enorme hoeveelheden data, om daarmee inschattingen en voorspellingen te kunnen doen. En AI is in staat om daar gaandeweg steeds beter in te worden.

De keerzijde van AI

Zoals regelmatig uit het nieuws blijkt, zit er ook een keerzijde aan de inzet van AI. AI brengt risico’s met zich mee die vele verschijningsvormen hebben. Of het nou komt door gebrekkige data of fouten in de programmatuur: blind vertrouwen op de uitkomst van wat een algoritme zegt kan ernstig nadeel toebrengen aan mensen. Dat is duidelijk gebleken in de Toeslagenaffaire, waarbij nietsvermoedende burgers op basis van vage meldingen werden opgenomen in de fraudesignaleringsvoorziening van de Belastingdienst. Vaak onterecht moesten zij duizenden euro’s terugbetalen, waardoor ze in grote financiële problemen terechtkwamen, met alle psychische gevolgen van dien.

Voorzichtigheid is geboden

Nu is dit – gelukkig – een extreem voorbeeld van wat er verkeerd kan gaan, maar het geeft goed aan dat voorzichtigheid is geboden als je een stuk denkwerk uit handen geeft aan, plat gezegd, een veredelde rekenmachine. Maar hoe doe je dat dan? Hoe kun je ervoor zorgen dat je AI op een verantwoorde manier inzet? Dat je je doelen kunt bereiken zonder dat dat leidt tot onaanvaardbare risico’s voor mens en maatschappij? En daarmee meteen reputatieschade voorkomt voor je eigen organisatie?

Privacy- en ethiekframework voor AI: zeven aandachtsgebieden

Binnen de Hot ITem Groep zijn we bezig met een privacy- en ethiekframework voor AI. Dit framework benoemt zeven aandachtsgebieden waarbij je moet stilstaan als je problemen wilt voorkomen.

1. Beleid en Governance bij het toepassen van AI

Als je aan de slag gaat met het ontwikkelen en toepassen van AI doe je er goed aan om richtlijnen en kaders op te stellen over hoe je als organisatie omgaat met dergelijke technologie. En om die richtlijnen en kaders te baseren op de kernwaarden van je organisatie. Waar liggen bijvoorbeeld de morele grenzen voor de inzet van technologie? Wat vinden we nog acceptabel, en wat niet? En hoe bepalen we of eventuele grenzen worden overschreden?

Governance gaat over de verdeling van rollen en verantwoordelijkheden. Wie binnen de organisatie is eindverantwoordelijk voor de inzet van een bepaald algoritme? Bij wie moet hij of zij van tevoren voor advies aankloppen voor het mitigeren van risico’s? En wie ziet er vervolgens op toe dat het gebruik van een AI-toepassing in de praktijk binnen de grenzen van het aanvaardbare blijft? Governance gaat ook over procedures. Het is raadzaam een procedure in te richten waarin een voorafgaande toetsing plaatsvindt op aspecten als privacy, informatiebeveiliging en ethiek.

2. Rechtvaardigheid bij het toepassen van AI

Rechtvaardigheid is een uitermate subjectief begrip en bovendien sterk cultuurgebonden. Wat voor de een de normaalste zaak van de wereld is, is voor een ander volstrekt onaanvaardbaar. In China kijken weinig mensen op van het social scoring systeem dat de overheid met behulp van onder andere gezichtsherkenningscamera’s heeft ingericht, in Europa doet het ons denken aan George Orwells Big Brother.

Toch zijn er ook zaken te noemen waar we het – in Europa althans – over het algemeen wel over eens zijn. Zo is het onwenselijk dat een algoritme discrimineert, oftewel verboden onderscheid maakt op basis van geloof, nationaliteit of andere persoonlijke kenmerken. Een algoritme mag ook niet leiden tot het uitsluiten van bepaalde bevolkingsgroepen op basis van dit soort kenmerken.

Nauw verband hiermee houdt het verschijnsel van bias, oftewel vooringenomenheid, die in de data verstopt kan zitten. Zo was in het Amerikaans gevangeniswezen een algoritme in gebruik voor het berekenen van de kans dat een veroordeelde na vervroegde vrijlating opnieuw de fout in zou gaan. Door bias in de data bleek dat mensen met een donkere huidskleur aanzienlijk vaker opnieuw in criminaliteit terugvielen dan mensen met een witte huidskleur, simpelweg omdat zij veel vaker (en zwaarder) werden veroordeeld. De kans dat je met een donkere huidskleur voor vervroegde vrijlating in aanmerking kwam, was dus aanzienlijk kleiner dan wanneer je een witte huidskleur had.

Het lastige is dat het hier vaak geen zwart-witkwesties betreft (oké, in dit geval dus wel, maar je begrijpt wat ik bedoel). Als uit statistische verbanden blijkt dat mannen relatief vaak ernstige verkeersongelukken veroorzaken, en dus een hogere autoverzekeringspremie moeten betalen, in hoeverre is er dan sprake van ‘verboden onderscheid’? Afgezien van het feit dat niet iedereen het daarover eens zal zijn, is er in zijn algemeenheid helaas moeilijk iets over te zeggen. Je zult dat van geval tot geval moeten beoordelen. En daar zijn de genoemde kaders en richtlijnen dan weer handig voor.

3. Rechtmatigheid bij het toepassen van AI

Simpel gezegd moet je bij de inzet van AI-toepassingen (uiteraard) voldoen aan wet- en regelgeving. Verwerk je persoonsgegevens met een algoritme? Dan is de AVG van toepassing. In dat geval mag je de AI-toepassing niet zelfstandig besluiten laten nemen die ‘de betrokkene in aanmerkelijke mate treffen’. Het algoritme dat Netflix en Spotify inzetten om aanbevelingen te doen aan hun gebruikers is dus geen probleem, maar een geautomatiseerde afwijzing voor een lening of bankrekening mag dus niet.

Ook als je AI-toepassing geen persoonsgegevens verwerkt kun je mogelijk met bepaalde wetgeving te maken hebben, omdat er sprake kan zijn van een hoge maatschappelijke impact. Denk bijvoorbeeld aan zelfrijdende auto’s, die soms beslissingen moeten nemen met grote gevolgen voor andere verkeersdeelnemers.

Daarnaast is er de Europese AI-verordening, waarover de onderhandelingen tussen de lidstaten en het Europees Parlement nog moeten beginnen. Het is nog lang niet zeker hoe die er uiteindelijk uit zal komen te zien, maar het ziet ernaar uit dat bepaalde algoritmes verboden zullen worden, en andere alleen onder strikte voorwaarden mogen worden ingezet.

4. Kwaliteit bij het toepassen van AI

Het vierde aandachtsgebied is kwaliteit. Bij kwaliteitsborging snijdt het mes aan twee kanten: het verhoogt de toegevoegde waarde van het algoritme, en je vermindert risico’s voor mens en maatschappij. Kwaliteitsborging heeft zowel betrekking op de kwaliteit van de data, als die van de programmatuur, oftewel de AI-toepassing zelf. Datakwaliteit is het terrein van datamanagement. Gedegen datamanagement is dus een randvoorwaarde voor de inzet van AI. Wees je bewust dat 100% datakwaliteit niet bestaat; er zullen altijd wel wat foutjes in zitten. Waar het om gaat, is dat je van tevoren nadenkt over de vereiste kwaliteit en dat je – waar nodig – aanvullende maatregelen treft om die kwaliteit te halen. De juistheid van gegevens is niet het enige waar je op moet letten. Ook de representativiteit, actualiteit en volledigheid van de data waarmee je werkt is van belang.

Om ervoor te zorgen dat ook het algoritme zelf van de gewenste kwaliteit is, doe je er goed aan een ontwikkel- en beheerproces te implementeren zoals Machine Learning Operations (MLOps). Zorg voor doorlopende monitoring op zowel de kwaliteit van de data, als de kwaliteit van de output. Zo kun je continu in de gaten houden of je algoritme blijft doen wat hij moet doen.

5. Transparantie bij het toepassen van AI

Voor de acceptatie van AI is het van belang dat degenen die onderwerp van de output zijn, of daar de gevolgen van ondervinden, op de hoogte zijn van het gebruik van algoritmes. Ook op dit front ging het fout bij de Belastingdienst. Burgers hadden geen idee dat ze waren opgenomen in de fraudesignaleringsvoorziening, zodat zij zich daar ook niet tegen konden verweren. Ook de AVG zegt hier iets over, namelijk dat je de betrokkene op een begrijpelijke manier moet informeren over de werking van de AI-toepassing, naast alle andere informatieverplichtingen die sowieso gelden als je persoonsgegevens verwerkt. Bovendien is transparantie een goede maatstaf voor moreel handelen: als je niet open durft te zijn over wat je doet, ben je dan wel met de juiste dingen bezig? Transparantie verhoogt het vertrouwen in je organisatie, dus het credo is: zeg wat je doet, en doe wat je zegt.

6. Bewustzijn bij het toepassen van AI

Hier kunnen we kort over zijn: zorg dat iedereen binnen je organisatie die op wat voor manier dan ook betrokken is bij AI bewust is van wat AI eigenlijk is, wat de mogelijkheden zijn, maar zeker ook wat de tekortkomingen en valkuilen zijn. Dit geldt uiteraard voor degene die eindverantwoordelijk is voor een AI-toepassing, maar ook voor ontwikkelaars, uiteindelijke gebruikers, adviseurs en toezichthouders, zoals auditors.

7. Verantwoording bij het toepassen van AI

Voor de inzet van AI is het van groot belang dat je je als organisatie achteraf kunt verantwoorden. Hiervoor is het uiteraard nodig dat je een goede governance hebt geïmplementeerd, maar het gaat verder dan dat. Leg van meet af aan vast welke keuzes je hebt gemaakt, en waarom. Zorg er ook voor dat de output van AI verklaarbaar is, en dat tijdig kan worden ingegrepen als zaken anders lopen dat gepland.

Verantwoording betekent ook dat de organisatie verantwoordelijk blijft. ‘Computer says no’ is geen aanvaardbare uitleg, dus zorg bij impactvolle AI altijd voor een menselijke beoordeling. Je kunt veel verwachten van een algoritme, maar tot empathie en het toepassen van de menselijke maat is het niet in staat.

De moeite waard!

Alles bij elkaar zijn er best veel zaken om rekening mee te houden. Maar de moeite die je daarvoor moet nemen, verdient zich dubbel en dwars terug. Je beperkt niet alleen risico’s, maar je dwingt jezelf tot nadenken over de keuzes die je gaandeweg moet maken. Daar wordt niet alleen de wereld, maar ook je AI-model, en daarmee je organisatie beter van.