Shapley Value: zo verklaar je hoe een Analytics-model tot een voorspelling komt

Leestijd: 4 minuten

Tegenwoordig worden veel voorspellingen en beslissingen gemaakt met behulp van Advanced Analytics-modellen. Vaak komen ze op zo’n complexe wijze tot stand dat het niet meer goed uitlegbaar is hoe de uitkomsten zijn ontstaan. Sommige modellen zijn zo ondoorzichtig dat ze ook wel ‘black box-modellen’ worden genoemd. Des te belangrijker is het voor ontwikkelaars om zoveel mogelijk context en uitleg te geven, en daarmee te zorgen voor vertrouwen in geavanceerde analyses met Machine Learning en Artifical Inteligence. Zonder deze uitleg zul je als gebruiker van de modellen niet alleen twijfelen aan de uitkomst, maar kun je ook geen goede vervolgacties definiëren en is alle ontwikkelmoeite voor niets geweest.

“If you can’t explain it simply, you don’t understand it well enough”

Uit een jaarlijkse survey van PwC blijkt dat maar liefst 82% van de CEO’s het eens is met de stelling dat Artificial Intelligence-beslissingen uitlegbaar moeten zijn om ze te kunnen vertrouwen. Waarom is het nou zo lastig om de uitkomst van geavanceerde analytics-modellen uit te leggen? Albert Einstein zei ooit: “If you can’t explain it simply, you don’t understand it well enough”. Deze quote is goed om in gedachten te houden als je met data scientists praat over het ontwikkelen, trainen en evalueren van een analysemodel. Als ze het niet kunnen uitleggen, snappen ze simpelweg zelf niet goed genoeg wat zich in de black box afspeelt.

Modellen en beslissingen verklaren

Om een model goed uit te leggen is het noodzakelijk om exact te specificeren op basis van welke factoren het model is getraind en wat de effecten zijn van de verschillende factoren in het model. Ten eerste moet je weten wat de logica achter het algoritme is, ongeacht de soort voorspelling of besluitvorming die volgt op basis van het model. Ten tweede wil je voor elke individuele case weten hoe het model tot een voorspelling of besluit is gekomen. Beide inzichten krijg je door de factoren die positief en negatief hebben bijgedragen voor elke individuele case te benoemen en te kwantificeren.

Shapley Value methode

Om deze factoren in kaart te brengen, kun je gebruik maken van de SHapley Additive exPlanations methode (SHAP). Het is mogelijk om dit voor elke specifieke case afzonderlijk te doen, maar ook over de hele dataset heen. Bovendien is deze methode geschikt voor alle algoritmes die op decision trees (beslissingsbomen) gebaseerd zijn. De Shapley Value methode is dus bij uitstek geschikt om van een black box-model een transparante white box te maken. De Shapley Value methode stelt voor iedere factor in het model de volgende vraag: “Wat zou de uitkomst zijn als de informatie van deze factor zou ontbreken?” In een vorig blog heb ik Shapley Value uitgebreid besproken. Hieronder leg ik aan de hand van een voorbeeld uit hoe SHAP kan helpen om tot interpreteerbare machine learning-resultaten te komen.

Voorbeeld: het interpreteren van uitkomsten van een diagnosemodel

Stel dat we een model gebruiken om de kans te voorspellen dat een persoon een hartafwijking heeft. Deze diagnose wordt uitgevoerd aan de hand van verschillende eigenschappen van deze persoon, zoals leeftijd, maximale hartslag en pijnbeleving op de borst. Met SHAP kunnen we de vraag beantwoorden in hoeverre de voorspelde kans op een hartafwijking wordt beïnvloed door een bepaalde eigenschap, bijvoorbeeld de maximale hartslag.

Stel dat de maximale hartslag van de patiënt 187 is. Op basis van deze en alle andere eigenschappen van de patiënt wordt de voorspelling berekend. Vervolgens wordt nóg een voorspelling berekend, waarbij de hartslaginformatie is weggelaten. Des te groter het verschil tussen deze twee voorspellingen, des te meer impact de maximale hartslag heeft gehad op de voorspelling. Door dit proces te herhalen voor alle andere eigenschappen van de patiënt, kunnen we voor alle eigenschappen specificeren wat de bijdrage aan de voorspelling was.

Voorspellingen van factoren in individuele cases duiden

In de figuur hieronder zie je dat de voorspelde kans op een hartafwijking voor deze patiënt 89,1% is. Dat is een stuk hoger dan de kans van 58,4%, die je zou verwachten zonder enige specifieke informatie te hebben over een patiënt. Dit wordt ook wel de baseline genoemd. In het rood zijn de effecten van eigenschappen aangegeven die bijdragen aan een hogere voorspelling en in het blauw de effecten van eigenschappen die bijdragen aan een lagere voorspelling. Als je alle effecten optelt bij de baseline van 58,4%, kom je precies op de voorspelde kans van 89,1% uit. Het feit dat deze patiënt een maximale hartslag heeft van 187, zorgt voor een 6% hogere kans op een hartafwijking-diagnose bij deze patiënt.

Op deze manier kun je Shapley Value dus gebruiken om voorspellingen van individuele cases inzichtelijk te maken.

Voorspellingen van factoren in het gehele model duiden

Wil je nou het effect van de maximale hartslag in het gehele model duiden, dan tel je de effecten van alle individuele cases bij elkaar op. In dit voorbeeld blijkt dat de maximale hartslag gemiddeld 5,3% bijdraagt aan de voorspelde kans, zoals af te lezen valt in onderstaande figuur. Van alle eigenschappen blijkt de maximale hartslag de op twee na meest bepalende eigenschap te zijn voor de voorspelde kans op een hartafwijking.

Praktisch toepassen en succesvol implementeren

Het is dus goed mogelijk de uitkomsten van een machine learning-model interpreteerbaar te maken. Er zijn methoden die kunnen helpen dit complexe proces te standaardiseren en herhaalbaar te maken, maar voor toepassing op kleine schaal kan een data scientist zelf de SHAP Values uitrekenen door middel van programmeercode. SHAP is een uitstekende methode en daarom zeer populair en veel gebruikt.

Als de uitkomsten goed worden uitgelegd en interpreteerbaar zijn voor stakeholders, stijgt de kans op acceptatie en een succesvolle implementatie aanzienlijk. Besteed daarom bij de ontwikkeling en de toepassing van modellen altijd voldoende aandacht aan interpreteerbaarheid.