Threat Modeling: de verborgen security-risico’s van AI onthullen en bestrijden

Leestijd: 4 minuten

Artifical Intelligence speelt een steeds grotere rol in ons dagelijks leven. Het stelt ons in staat om computers te laten denken als mensen en ons leven gemakkelijker te maken. De ontwikkelingen op het gebied van AI gaan momenteel heel snel, denk aan slimme chatbots zoals ChatGPT, het herkennen van mensen en objecten via camerabeelden, en zelfrijdende auto’s. De kracht van AI wordt steeds bekender bij het grote publiek en het belang ervan groeit. Naarmate AI belangrijker wordt, is het essentieel om veilig gebruik en bescherming van AI-producten te waarborgen. Daarom is het voor zowel ontwikkelaars als gebruikers van AI-producten belangrijk om zich bewust te zijn van de risico’s die gepaard gaan met het gebruik van AI en om maatregelen te nemen om deze risico’s te beheersen.

Voorbeelden van risico’s in de praktijk

Er zijn verschillende risico’s verbonden aan AI-gerelateerde producten, die kunnen leiden tot fouten of misbruik. Een aantal praktijkvoorbeelden:

• In 2018 moest Amazon een sollicitatie-algoritme stopzetten omdat het gebaseerd was op niet-objectieve data, waardoor mannelijke kandidaten boven vrouwelijke kandidaten werden bevoordeeld.
• Met behulp van ‘deepfake’ technologie kunnen realistisch ogende maar fictieve beelden worden gegenereerd. Dit kan worden gebruikt om iemand in een negatief daglicht te stellen of om jezelf voor te doen als iemand anders. Dit gebeurt veel bij politici als Donald Trump, Vladimir Putin of Kim Jong-un. Hieronder zie je een voorbeeld van iemand die zich voordoet als Tom Cruise.

Bron: www.trymaverick.com

• Als een slimme chatbot zelflerend is op basis van tekst in de chatbox, kan deze gemanipuleerd worden door onjuiste of kwaadwillige input. Dit kan leiden tot het geven van foutieve of schadelijke reacties door de chatbot. Aan de andere kant is het ook een risico voor gebruikers van een slimme chatbot als zij zich niet bewust zijn van welke informatie wordt opgeslagen door de chatbot. Werknemers van Samsung hebben bijvoorbeeld gevoelige informatie gedeeld met ChatGPT, waarna Samsung het gebruik van ChatGPT heeft verboden voor haar werknemers.
• In 2019 heeft een studie aan de University of Washington aangetoond dat een AI-algoritme voor het herkennen van verkeersborden kan worden misleid door kleine aanpassingen aan de vorm of kleur van de borden. Dit zou kunnen leiden tot verkeerde beslissingen door zelfrijdende auto’s die dit algoritme gebruiken, zoals het negeren van een stopbord of het volgen van de verkeerde rijstrook. Hieronder zie je een voorbeeld van hoe een stopbord deels is afgeplakt, en vervolgens wordt herkend als een maximumsnelheidsbord.

Bron: Twitter – Worldwide Engineering

Het toepassen van een AI Threat Model

Om AI-producten te beschermen, is het belangrijk om een ‘AI Threat Model’ toe te passen. Dit is een werkwijze waarbij de potentiële bedreigingen van een AI-product kunnen worden geïdentificeerd. Hiermee kan vervolgens duidelijk worden gemaakt hoe deze bedreigingen opgelost of voorkomen kunnen worden. Het doel is om vanuit het perspectief van een mogelijke aanvaller naar het gehele AI-systeem te kijken en te bepalen welke schade er aangericht zou kunnen worden. Een AI Threat Model bestaat doorgaans uit:

1. Een diagram van het AI-systeem
   Dit bestaat uit de afhankelijkheden, gebruikte databronnen en producten, output locaties en gebruikers die toegang hebben tot ieder onderdeel. Het is belangrijk om in dit overzicht een duidelijk beeld te hebben van:

• Hoe de training data voor het AI-algoritme tot stand komt en welke interne of externe databronnen worden gebruikt. Bepaal ook wie invloed kan uitoefenen op deze data.
• De (mogelijk publieke) locatie waar het AI-algoritme wordt gebruikt of waar de resultaten beschikbaar zijn, en wie hier toegang toe heeft.
• Het AI-algoritme (of Machine Learning-model) zelf. Welke gegevens zijn er beschikbaar over het model, en wie heeft hier toegang toe.
• Een overzicht van de toegang, inloggegevens of toegangssleutels, en verschillende rollen met bijbehorende rechten die gebruikers hebben.

2. Profielen van potentiële aanvallers van dit systeem en hun mogelijke motieven
   Probeer vanuit het perspectief van een aanvaller naar je systeem te kijken en bedenk welke onderdelen aangevallen kunnen worden en met welke motivatie. Analyseer je AI-systeem en identificeer mogelijke zwakke plekken. Het is verstandig om dit door verschillende rollen in je organisatie te laten doen, zoals een Data Scientist, een Data Engineer, een Tech Lead of de CTO van je organisatie, vertegenwoordigers vanuit de business, etc.
3. Een lijst van mogelijke bedreigingen en hoe deze bedreigingen kunnen worden voorkomen In onderstaande tabel zijn een aantal mogelijke bedreigingen uitgelicht, maar probeer ook na te denken over andere mogelijke bedreigingen.

Bedreiging	Omschrijving	Voorbeeld	Oplossingen
Vijandige verstoringen in classificatie	Een aanvaller geeft input aan het AI-algoritme die verkeerd wordt geclassificeerd.	Bewust spam e-mails niet als spam te laten classificeren of normale e-mails wel als spam te laten classificeren. Het eerdergenoemde voorbeeld van het afplakken van stopborden.	Model robuustheids- technieken, beperk gebruik van een model, bijv. per uur, outlier detectie, continue monitoring en evaluatie.
Data vergiftiging	Kwaadwillige input geven in de trainingsdata	Het eerdergenoemde voorbeeld van het sollicitatie-algoritme bij Amazon.	Outlier detectie, continue monitoring en evaluatie
Aanvallen op de ontwikkelketen van een AI-algoritme	Het aanvallen van afhankelijkheden zoals verschillende databronnen, code, systemen, 3e partijen, etc.		Strikte controles, verificatie van brondata, strikte code controles, versleutelen van code
“Back door” Machine Learning	Aanvallen op code/data/algoritmes van een 3e partij		Ontwikkel gevoelige algoritmes zelf, verifieer betrouwbaarheid 3e partij, beveilig interacties tussen 3e partij en je eigen systeem

Conclusie

Hoewel Artificial Intelligence erg krachtig is en veel voordelen kan bieden voor je organisatie, brengt het toepassen ervan ook risico’s met zich mee. Het is belangrijk om je bewust te zijn van deze mogelijke risico’s en daar rekening mee te houden. Hier lichtzinnig mee omgaan kan desastreuze gevolgen hebben voor de integriteit van je organisatie. Zoals je hierboven kunt lezen, zijn zelfs grote bedrijven slachtoffer geworden van aanvallen en misbruik van hun AI-systemen. Het is belangrijk om een AI Threat Model te gebruiken om de mogelijke risico’s in kaart te brengen en oplossingen te vinden. Hoewel het mogelijk niet direct perfect zal zijn, zul je als organisatie waarschijnlijk steeds beter worden in het beheersen van de mogelijke risico’s naarmate er meer aan wordt werkt en verschillende rollen binnen je organisatie hierbij worden betrokken. Wil je meer weten over hoe je een AI-algoritme kunt beschermen? Neem dan contact met ons op!