The Dutch Legal AI Benchmark (DELTA)

In dit artikel:

DELTA is een openbare benchmark die toetst hoe goed toonaangevende AI-modellen open vragen over het Nederlandse recht beantwoorden. Daarbij wordt niet alleen gekeken naar juridische juistheid, maar ook naar bronvermelding en praktische bruikbaarheid voor Nederlandse advocaten en andere juristen. Geen van de onderzochte grote taalmodellen blijkt zelfstandig geschikt voor Nederlands juridisch onderzoek: Fable 5.1 presteert het best, maar slaagt voor slechts 15 procent van de taken. De benchmark is gebaseerd op realistische, openbaar gemaakte en door juridische professionals beoordeelde onderzoekstaken. Daarnaast brengt het onderzoek in kaart hoe juristen AI momenteel gebruiken en wat zij ervan verwachten, op basis van antwoorden van 115 professionals uit 19 organisaties in de Nederlandse juridische sector.