Verbeter de betrouwbaarheid van je AI-modellen met ML Observability

Leestijd: 4 minuten

Veel datagedreven organisaties implementeren AI-modellen in hun productieomgeving als onderdeel van hun oplossingen. Deze AI-modellen kunnen flinke voordelen opleveren, zoals lagere kosten, hogere efficiëntie, meer omzet en innovatie. Om deze voordelen te blijven houden, maken organisaties steeds vaker gebruik van Machine Learning (ML) Observability. In dit blog leg ik uit wat ML Observability precies inhoudt en waarom het zo’n belangrijk onderdeel is voor het monitoren van een betrouwbaar AI-model.

Wat is ML Observability?

ML Observability maakt deel uit van de productieworkflow van een ML Pipeline of AI Lifecycle. Hierbij faciliteert ML Observability een uitgebreid overzicht van de gezondheid en prestaties van ML-modellen. Het is een continu proces van het verzamelen, verwerken en analyseren van data over modellen om hun prestaties te begrijpen en te verbeteren. ML Observability omvat daarom het identificeren van afwijkingen, het begrijpen van de oorzaken hiervan en het snel kunnen reageren op problemen voordat ze een negatieve impact hebben.

Waarom is ML Observability belangrijk?

Er wordt vaak gedacht dat het werk voltooid is zodra een AI-model is gevalideerd en goed functioneert in productie. Het tegenovergestelde is waar. Echte, actuele data is veranderlijk en het voorspellen van de prestaties van een model in een productieomgeving blijft een uitdaging. Zelfs als een model aanvankelijk binnen de gestelde KPI’s presteert, kunnen veranderingen in de wereld ervoor zorgen dat het model in de toekomst niet meer aan deze normen voldoet. Neem bijvoorbeeld de invloed van externe factoren, zoals een pandemie die het aantal benodigde werknemers op een luchthaven beïnvloedt. Dit kan een merkbare invloed hebben op de prestaties van AI-modellen. Daarnaast kan de relatie tussen de input en de voorspelling van het model veranderen, wat kan leiden tot onverwachte reacties van het model.

Wanneer een AI-model ondermaats presteert of verkeerde voorspellingen doet zonder dat dit binnen de organisatie bekend is, kunnen er vervelende gevolgen ontstaan:

• Verlies van vertrouwen: Klanten en gebruikers kunnen het vertrouwen in je AI-oplossingen verliezen als ze merken dat de voorspellingen of aanbevelingen onbetrouwbaar zijn.
• Financiële impact: Slecht presterende modellen kunnen leiden tot verkeerde beslissingen, die op hun beurt kunnen resulteren in financiële verliezen.
• Operationele inefficiënties: Het niet tijdig opsporen van modelproblemen kan leiden tot operationele verstoringen en inefficiënties.
• Compliance-risico’s: Het niet kunnen aantonen van de betrouwbaarheid en juistheid van je AI-modellen kan leiden tot compliance-problemen, vooral in gereguleerde industrieën.

Om dit te voorkomen, kan de toepassing van ML Observability van waarde zijn. Maar hoe faciliteer je dit?

Monitoren van modelprestaties in productie

De makkelijkste manier om met ML Observability AI-modelprestaties te waarborgen, is door de prestaties continu te monitoren en alerts in te stellen voor wanneer het model onder de gestelde normen presteert. Na een melding kan het ML-team het probleem snel ‘troubleshooten’ en oplossen, bijvoorbeeld door het model opnieuw te trainen. Toch is monitoring van modelprestaties soms niet genoeg. Bij use cases waar forecasting-modellen gebruikt worden, denk aan churn-, klantvraag-, voorraadbeheer- en marktdynamiek-voorspelmodellen, is het moeilijk om direct te valideren hoe goed een voorspelling is, omdat de voorspellingen betrekking hebben op toekomstige scenario’s waarvan de uitkomst nog niet bekend is. In sommige gevallen ligt de ‘ground truth’ in de toekomst, waardoor het model pas later gevalideerd kan worden. In veel gevallen zal er echter nooit een ground truth bekend zijn. Voor deze gevallen kun je ‘drift’ gebruiken als indicatie voor prestaties.

Wat is Drift?

Drift is de verandering in de distributie van je data over tijd. Drift kan meerdere vormen aannemen, en het is belangrijk om deze te monitoren.

Concept-drift
Concept-drift treedt op wanneer er verandering plaatsvindt in de onderliggende relatie tussen inputvariabelen en uitkomst. Dit wordt vaak veroorzaakt door een verandering in het gedrag of de voorkeuren van de gebruikers.
Voorbeeld: Een streamingdienst gebruikt een aanbevelingsmodel dat getraind is op data waarbij gebruikers voornamelijk romantische komedies bekeken. Na verloop van tijd verschuift de voorkeur van gebruikers echter naar sciencefictionfilms. De relatie tussen gebruikersgedrag (inputvariabele) en aanbevolen films (uitkomst) is hierdoor veranderd. Het model moet worden aangepast aan deze nieuwe voorkeuren, anders zal de nauwkeurigheid van de aanbevelingen afnemen.

Data-drift
Data-drift ontstaat wanneer de distributie van de inputdata verandert, terwijl de onderliggende relatie tussen input en output hetzelfde blijft.
Voorbeeld: Je gebruikt een model om de vraag naar een product te voorspellen op basis van klantkenmerken zoals leeftijd. Oorspronkelijk bestond de klantenbasis voornamelijk uit klanten van 20-40 jaar oud. Na verloop van tijd verandert de klantenbasis naar 40-60 jaar. Hoewel de relatie tussen leeftijd en vraag naar het product hetzelfde blijft, is de distributie van de leeftijdsvariabele veranderd. Dit kan de prestaties van het model negatief beïnvloeden, omdat het model is getraind op een andere leeftijdsdistributie dan het nu tegenkomt.

Upstream-drift
Upstream-drift vindt plaats wanneer er veranderingen optreden in de pre-processing van de data die niet worden meegenomen in het model.
Voorbeeld: Je churn-model bevat een ‘feature’ genaamd ‘gemiddelde_prijs_vorige_week’ die eerst werd bijgehouden in euro’s en recentelijk is veranderd in dollars. De nieuwe data bevat daardoor andere waarden dan het model gewend is. Dit leidt tot problemen als de veranderingen niet correct worden doorgevoerd in het model.

Zonder oog te hebben voor deze vormen van drift, is het moeilijk om de kwaliteit van een AI-model in productie te waarborgen en bestaat de kans dat het model niet presteert naar de gestelde KPI’s.

ML Observability en Explainability

Naast het vroegtijdig detecteren van afwijkingen en problemen draagt ML Observability ook bij aan de ‘explainability’ van AI-modellen. ML Observability en Explainability stellen ons in staat om te begrijpen waarom een model bepaalde beslissingen neemt en hoe goed het presteert onder verschillende omstandigheden. Door continu te monitoren en te analyseren, kun je:

• Transparantie verbeteren: Je krijgt inzicht in hoe je model werkt en waarom het bepaalde voorspellingen of beslissingen maakt. Zo kan een retailbedrijf bijvoorbeeld begrijpen waarom een aanbevelingssysteem bepaalde producten aanbeveelt aan klanten, wat helpt om de klantervaring te verbeteren en de verkoop te stimuleren.
• Verantwoording afleggen: Je kunt verantwoorden aan stakeholders, klanten en regelgevers over de werking en betrouwbaarheid van je modellen. Een verzekeringsmaatschappij kan bijvoorbeeld uitleggen waarom een model bepaalde claimuitkomsten voorspelt, wat helpt bij het opbouwen van vertrouwen en het voldoen aan wettelijke vereisten.

De toepassing van ML Observability kan er dus voor zorgen dat AI-modellen continu presteren zoals verwacht. Dit waarborgt de betrouwbaarheid en effectiviteit van je datagedreven oplossingen. Bovendien draagt het bij aan een beter begrip en de verklaring van de werking en de staat van je modellen, wat essentieel is voor het opbouwen van vertrouwen bij alle belanghebbenden.

Meer weten over ML Observability?

Heb je hulp nodig bij het onderhouden en monitoren van jouw ML-model in productie? Of wil je eens van gedachten wisselen over de mogelijkheden voor jouw organisatie op het gebied van ML Observability? Neem dan vooral contact met ons op, we denken graag met je mee.