Heb je ook weleens binnen je organisatie gehoord of geroepen: “Wij doen iets met data/algoritmes/AI.” of “We hebben veel data-initiatieven, maar opschalen binnen de organisatie gaat lastig”? Dit zijn allemaal vragen die neerkomen op één hoofdvraag: Hoe zorg je ervoor dat je de goede algoritmes toepast op de juiste manier?
De kwaliteit van het algoritme wordt niet alleen bepaald door het inhuren van knappe koppen die aan de slag gaan met nauwkeurige algoritmes. Ervaring leert dat er veel meer bij komt kijken. Heb je al nagedacht over de volgende aandachtspunten?
- Waar moet een algoritme aan voldoen om ‘goed’ te zijn?
- Hoe stel je vast waar een algoritme aan moet voldoen?
- Welke betrouwbaarheidsmarges zijn acceptabel bij toepassing van een algoritme?
Deze aandachtspunten spelen al in de voorbereiding een cruciale rol om goede algoritmes te ontwikkelen en te beheren en daarnaast ook om een goede datakwaliteit te realiseren.
Waarom zijn deze criteria belangrijk?
“Wil je voor mij een algoritme maken?” – als algoritmeontwikkelaars hebben wij een specifiekere vraag nodig dan deze. Wanneer je naar de kapper gaat, heb je vooraf een bepaald beeld van waar je wel en vooral waar je niet mee naar huis wilt. Zonder je verwachtingen vooraf expliciet te maken, knipt de kapper ongetwijfeld je haar anders dan jij had verwacht. Hetzelfde geldt voor algoritmes, deze kunnen niet uit zichzelf aan de gestelde verwachtingen voldoen. Om wél aan de verwachtingen te voldoen, helpt het algoritmeontwikkelaars om antwoord te hebben op vragen zoals: Welk probleem wil je oplossen met behulp van data? Welke gegevens kunnen, mogen en willen we daarvoor gebruiken? Hoe wil je het algoritme inzetten en hoe sluit dit aan op de bestaande bedrijfsprocessen en het huidige beleid?
Ook wanneer het gelukt is om succesvol een algoritme te ontwikkelen en op te schalen, zien we dat het niet elke organisatie lukt om te borgen dat het algoritme blijft doen waarvoor het is ontwikkeld. In andere woorden: Hoe evalueer jij regelmatig dat het algoritme nog steeds doet waarvoor het ontwikkeld is? Om grip te houden op algoritmes in beheer, is het belangrijk dicht bij de inhoud te beginnen: start met periodieke controle op de prestaties van het algoritme. Leg vast wat er moet gebeuren als uit de controle blijkt dat het algoritme niet werkt zoals afgesproken. Sta niet alleen stil bij de prestaties zelf, maar stel ook continue vragen: Welke mogelijkheid heeft een medewerker om van het algoritme af te wijken? Hoe zorg je ervoor dat er geen tunnelvisie ontstaat bij zelflerende modellen?
In de praktijk zijn algoritmes in beheer te vergelijken met ICT-applicaties. Net zoals in applicaties wordt aan de hand van bepaalde input een proces uitgevoerd om tot het gewenste resultaat te komen. Periodieke controle op de werking van applicaties in termen van kwaliteit, snelheid, stabiliteit, veiligheid en robuustheid is meer regel dan uitzondering. Dat is niet alleen wenselijk om in controle te zijn van algoritmes, maar kan met de recent gepubliceerde AI-verordening zelfs een vereiste worden voor algoritmes. Er zijn tal van mogelijkheden om deze controles ook op algoritmes toe te passen. Zo hebben bijvoorbeeld Cynthia Liem en Annibale Panichella recent een onderzoek gepubliceerd over hoe ook algoritmes (Machine Learning) getest kunnen worden op hun robuustheid. De voorgestelde methodiek is gebaseerd op een veelgebruikte techniek om fouten te vinden bij het testen van applicaties. Met deze methodiek kunnen fouten in het algoritme tijdig onderkend worden en wordt hierop acteren mogelijk.
Periodiek evalueren zonder te veel overhead
Hoe zorgvuldig een algoritme ook is ontwikkeld, afstemming tussen beleid en uitvoering is essentieel voor volledig verantwoord gebruik. Steeds meer organisaties hebben de kennis en kunde in huis om zelf op een zorgvuldige wijze algoritmes te ontwikkelen. Deze organisaties hebben goed grip op hoe de data door het algoritme stroomt. De ontwikkelaars weten welke keuzes zijn gemaakt en welke aannames zijn gedaan. Tot slot zijn ze bewust van de impact van de gebruikte data en gemaakte keuzes op de uitkomst. Net als deskundige kappers, weten deze algoritmeontwikkelaars hoe ze tot een mooi eindresultaat moeten komen. Maar om dit gewenste eindresultaat te bereiken, hebben de ontwikkelaars sturing nodig. Enerzijds vraagt de connectie tussen beleid en uitvoering om voldoende kennis over het gebruik van algoritmes in de managementlaag. Managers moeten in staat zijn om samen met de uitvoering de kaders te bepalen en kritische vragen te stellen. Anderzijds vraagt dit om diepgaand begrip over de context van de data en de betekenis van aannames bij de ontwikkelaars. Jij verwacht toch ook van jouw kapper dat je advies krijgt als het door jou gewenste nieuwe kapsel veel onderhoud vergt of totaal niet past bij de vorm van je gezicht? …
En wat als je al bent begonnen zonder duidelijke instructies, maar wel in control wilt zijn? Er is vaak geen centraal overzicht welke algoritmes gebruikt worden en als dat er wel is, verschilt de manier van documenteren per afdeling of zelfs per algoritme. Hoe weet je welke algoritmes reeds gebruikt worden in jouw organisatie en waar deze voor worden ingezet? Om de stap naar transparantie en verantwoording zo klein mogelijk te maken, is het hebben van één overzicht hierbij behulpzaam. Randvoorwaardelijk is naast dit overzicht een duidelijke governancestructuur ten aanzien van de actieve algoritmes: wie is verantwoordelijk, voor wat en wanneer? En wie mag besluiten over welke wijzigingen doorgevoerd zullen worden?
Waar kan ik vandaag mee starten?
Klinkt dit herkenbaar voor jou of jouw werkomgeving? Wil je ook in staat zijn om transparant te zijn over de actieve algoritmes en verantwoording kunnen afleggen?
- Betrek de juiste kennis in het hele proces – van totstandkoming tot beheer – in alle lagen van je organisatie.
- Toets je algoritmes op eenzelfde wijze zoals je dat ook bij informatiebeveiliging doet.
- Richt een duidelijke en uitvoerbare governance in.
- Verbeter transparantie en de mogelijkheid tot verantwoording door een centraal algoritmeregister op te zetten.
Leonie Gerding vertelt in een volgende blog meer over hoe organisaties naar één gedegen en structureel overzicht van algoritmes kunnen gaan, namelijk een algoritmeregister. Wil je weten weten hoe VKA jou kan helpen op het gebied van data & algoritmes? Neem dan contact op!