Human in the Loop als schijnzekerheid

In dit artikel:

Marijn Rooijmans waarschuwt dat ‘human in the loop’ in de juridische sector vaak als geruststelling voor verantwoord AI-gebruik wordt ingezet, terwijl menselijke eindcontrole fouten niet automatisch voorkomt. Aanleiding zijn recente incidenten bij grote advies- en advocatenkantoren.

Zo stuurde PwC klanten rapporten met verzonnen bronnen. De fouten werden niet door de menselijke reviewers, maar door een AI-detector ontdekt. Eerder signaleerde diezelfde detector vergelijkbare problemen bij Deloitte, EY en KPMG. Ook het prestigieuze advocatenkantoor Sullivan & Cromwell moest zich bij een rechter verantwoorden voor een processtuk met onjuiste en verzonnen citaten; de interne controle had die fouten gemist.

Volgens Rooijmans is dat begrijpelijk: AI-teksten ogen vaak overtuigend en bevatten geen duidelijke signalen van gebrekkig werk, terwijl fouten bovendien steeds zeldzamer worden en daardoor moeilijker te herkennen zijn. Van senior medewerkers verwachten dat zij elk detail handmatig onderscheppen, noemt hij daarom een onrealistische en soms onmenselijke taak.

De oplossing is volgens hem niet minder menselijke betrokkenheid, maar een andere taakverdeling. Machines kunnen het best bronnen, citaten en wetsartikelen automatisch controleren; mensen moeten zich richten op de inhoudelijke beoordeling, zoals de kwaliteit van een redenering en de vraag of een stuk daadwerkelijk klopt. Zonder die aanpak bewijst menselijke controle volgens Rooijmans vooral dat een kantoor verantwoordelijkheid of aansprakelijkheid aanvaardt, niet dat de output foutloos is.