Onderzoek: eerste antwoord juridische AI vaak nog niet bruikbaar

In dit artikel:

Slechts 32,2 procent van 115 juridische professionals krijgt na één prompt meestal een direct bruikbaar antwoord van AI. Dat blijkt uit de Dutch Legal AI Adoption Survey van Legal Benchmarks, uitgevoerd met Zeno als Founding Research Partner. De deelnemers werken bij negentien organisaties in de Nederlandse rechtspraktijk. Het onderzoek maakt deel uit van DELTA, een publieke benchmark waaraan twaalf advocatenkantoren meewerken en die AI toetst aan realistische juridische onderzoekstaken.

Hoewel AI al breed wordt gebruikt voor juridisch onderzoek — 63,5 procent doet dat dagelijks en 98,3 procent minstens wekelijks — is er een duidelijke kloof tussen een eerste antwoord en professioneel bruikbaar werk. In totaal vindt 67,8 procent het eerste AI-resultaat in maximaal de helft van de gevallen bruikbaar. Voor 46,1 procent geldt dat ongeveer de helft van de tijd; 21,7 procent vindt de uitkomsten zelden bruikbaar.

DELTA beoordeelt niet alleen juridische juistheid, maar ook zogenoemde ‘legal taste’: het vermogen om relevante informatie te selecteren en een goed onderbouwd, bruikbaar antwoord te formuleren. De benchmark kijkt naar inhoud, bronverwijzingen en vorm, waaronder structuur, prioritering, proportionaliteit en nuance. Verzonnen of foutieve wetgeving, feiten of bronnen wordt door 82,6 procent als een ernstige fout gezien. Het missen van relevante kwesties, argumenten of bronnen geldt daarvoor bij 53,9 procent als ernstig. De eerste openbare DELTA-opgaven zijn geselecteerd uit ruim tweehonderd juridische onderzoeksopdrachten en mede door Nederlandse advocaten beoordeeld.