AI in Assessment Tech: tijd voor een gedragscode!

Begin november was ik aanwezig bij het Brave New World festival. Filosofen, techneuten, wetenschappers en kunstenaars lieten vanuit hun vakgebied zien hoe nieuwe technologie, impact heeft op de mensheid. Een mooi format, interessante sprekers en eigenlijk direct te vertalen naar de assessmenttechnologie.

Want daarin het gaat ineens hard! Er ontstaan steeds meer alternatieven voor die gouwe ouwe vragenlijsten. Van Game- en VR-technologie tot analyse door Artificiële Intelligentie (AI) van tekst, social media of video. Ook meer exotische technologieën als micro-expressie en DNA-analyse worden niet geschuwd. Psychologen zijn huiverig, recruiters vinden het geweldig!

Mopperende mannetjes en vrouwtjes

Wat me opviel bij het Brave New World festival, is dat veel sprekers zeiden dat ze enthousiast zijn over nieuwe technologie, maar vervolgens vooral ingingen op de gevaren en ethische kant van deze technologische ontwikkelingen. Worden de technologie-optimisten van weleer, langzaam maar zeker de mopperende mannetjes en vrouwtjes van nu?

En ik herken dit! Eigenlijk vind ik niets mooier dan bezig te zijn met nieuwe technologie voor ons vakgebied. Het biedt zo veel mogelijkheden voor mensen en een betere arbeidsmarkt. Toch heeft het hele verhaal rond Cambridge Analytica me flink door elkaar geschud: door psychologisch profileren en micro-targetting stemgedrag beïnvloeden. Krachtiger assessmenttools zijn dus niet per definitie beter voor de mensheid.

Gevaar van AI in Assessment Tech

Vooral in recruitmentland zie je nu allerlei startups en tools rond nieuwe assessmenttechnologie ontstaan. Organisaties passen deze tools ook gretig toe! Duik je wat dieper in de onderbouwing van deze nieuwe oplossingen, dan blijkt de daadwerkelijke voorspellende waarde, validiteit, betrouwbaarheid toch vaak tegen te vallen. Gek genoeg wordt meestal klakkeloos aangenomen dat dit wel goed zit en wint het enthousiasme voor de vernieuwende en innovatieve uitstraling. Best kwalijk als mensen hierdoor onterecht worden afgewezen of ‘geschikt worden verklaard’.

Ook zie je veel 'domme toepassingen' van AI, waarbij klassieke processen worden geautomatiseerd. In potentie zijn voorspellingen van AI uiteindelijk veel betrouwbaarder dan die van mensen en kan veel ruis worden weggenomen. Het probleem is echter dat vaak een klassiek en/of onbetrouwbaar criterium - de ground truth in AI-jargon- wordt gebruikt. Denk aan de beslissing van recruiters, het profiel uit het functiehuis, of gedrag van huidige toppresteerders. Om het in psychologen-jargon te zeggen: AI wordt zo ingetraind op historische data met ruis om te selecteren op een nauw profiel, met grote kans op false negatives. Je mist zo de doorkijk naar de toekomst,  mogelijke andere succesvolle invullingen van de rol en de kans om het subjectieve van de recruiter uit het oordeel te laten. Verder zijn de variabelen die worden meegenomen in de beslissing vaak een black box. Dit brengt allerlei risico's op discriminatie en uitsluiting met zich mee.

Als we niet oppassen weten we dus dankzij AI op heel efficiënte manier, zeer precies doelgroepen te bereiken en te verleiden met een op maat gesneden boodschap. Het bedrijf en de functie worden goed aan de man gebracht, maar er wordt niet verteld hoe het echt is om op die plek te werken en hoe het werk aansluit bij de waarden van de kandidaat. Het sollicitatieproces wordt door deze technologie echt een stuk gebruiksvriendelijker, dat is mooi! Bij de selectie lopen we het risico alleen kloontjes van bestaande medewerkers aan te nemen en onbedoeld te discrimineren. Het is dan ook niet voor niets dat Amazon gestopt is met zijn discriminerende sollicitatierobot.

Asimov

Over het mogelijke gevaar van robots wordt al lang nagedacht en hier zit allicht een oplossingsrichting: In de jaren '50 beschreef Science Fictionschrijver Isaac Asimov 3 wetten die moeten voorkomen dat robots de wereld overnemen. Dit zijn:

  1. Een robot mag een mens geen letsel toebrengen of door niet te handelen toestaan dat een mens letsel oploopt.
  2. Een robot moet de bevelen uitvoeren die hem door mensen gegeven worden, behalve als die opdrachten in strijd zijn met de Eerste Wet.
  3. Een robot moet zijn eigen bestaan beschermen, voor zover die bescherming niet in strijd is met de Eerste of Tweede Wet.

Het blijkt dat deze wetten nog steeds bijzonder toepasselijk zijn. Het gevaar van overheersing door robots is dus afgewend. Zou het niet mooi zijn als we vergelijkbare ontwerpprincipes zouden vinden voor Assessment Tech? Een gedragscode voor ontwikkelaars om het gevaar van zeer efficiënt georganiseerde mismatches, zoals hierboven beschreven, te voorkomen. Een code die ervoor zorgt dat de arbeidsmarkt juist een stuk beter wordt dankzij de nieuwe assessmenttechnologie! 

Gedragscode

Op het Assessment Tech Event 2018 heb ik de volgende voorzet voor een dergelijke gedragscode gepresenteerd:

  1. Psychometrische kennis en regels moeten we hoog in het vaandel houden.
    Betrouwbaarheid en validiteit blijven van belang. Ook al is de rekenkracht veel groter, de voorspelling is niet automatisch beter.
  2. AI moet zichzelf kunnen uitleggen, zodat we het kunnen corrigeren bij ongewenste ontwikkelingen.
    De ontwikkeling van Explainable AI (XAI) komt steeds meer op. Voor Assessment Tech helpt dit om a. te bepalen welke variabelen worden meegenomen om zo discriminatie te voorkomen; b. uit te leggen wat het gebruikte criterium is, om zo te zorgen dat goede en meer duurzame matches worden gemaakt.
  3. AI Assessment tech moet in handen komen van kandidaten/mensen, in plaats van organisaties.
    Het talent en de ambitie van mensen is veel stabieler dan de kenmerken van werk. Laten we deze krachtige tools in handen te geven van mensen om de match te vinden met werk dat echt bij ze past. Dit maakt niet alleen mensen gelukkiger, maar zorgt ook dat de arbeidsmarkt beter zal functioneren.

De afsluitende keynote op Brave New World werd verzorgd door Andrew Keen, schrijver, ondernemer en criticus van ontwikkelingen op tech-gebied. Hij ziet de oplossing voor de mogelijke gevaren in de term ‘Agency’. Mensen moeten de controle blijven behouden over de beslissingen die technologie neemt. Deze gedragscode draagt daar zeker aan bij!

 

Verder in gesprek?

Heb je opmerkingen, aanvullingen, of ideeën over deze voorzet of hoe we een dergelijke code kunnen implementeren? Ik verneem ze graag!

Neem contact op met Jaap Jan: j.assen@eelloo.nl