Klassificeren van referenties in wetteksten - Leibniz Center for Law ...

Klassificeren van referenties in
wetteksten
2 november 2007
Bachelor Afstudeer Project
Opleiding Kunstmatige Intelligentie
Universiteit van Amsterdam
David de Bos (0382930)
dbos@science.uva.nl
Begeleiders
Radboud Winkels
R.G.F.Winkels@uva.nl
Emile de Maat
e.demaat@uva.nl

Introductie
Indien in het geval als bedoeld in artikel 3, eerste lid, onderdeel b, het
karakter van landgoed niet in ernstige mate is aangetast kunnen Onze
Ministers bij gezamenlijke beschikking, in afwijking in zoverre van
het eerste lid, een kortere termijn van ten hoogste 5 jaren vaststellen en
kunnen zij daarbij voorwaarden stellen. Alsdan vinden de artikelen 8
en 9c geen toepassing. Ingeval de in de eerste volzin bedoelde aantasting
van het karakter van landgoed voortvloeit uit omstandigheden die het
gevolg zijn van overmacht, wordt bovendien voor de toepassing van
artikel 5.7, eerste lid, onderdeel c, van de Wet inkomstenbelasting
2001 en van artikel 220d, eerste lid, onderdeel d, van de
Gemeentewet de onroerende zaak of het desbetreffende gedeelte daarvan
gelijkgesteld met een landgoed.
- stuk uit Artikel 4 van de Natuurschoonwet 1928
Dit project was onderdeel van het onderzoek dat gedaan wordt door het Leibniz
Center for Law aan de Universiteit van Amsterdam. Hun hoofddoel is het
zoeken naar manieren om wetteksten te vertalen naar formele talen. Eén van de
onderdelen hierbij gaat over referenties. Wetteksten zijn met elkaar verbonden
door middel van referenties. Bijvoorbeeld definities in een eerder beschreven
artikel kunnen in andere artikelen geïmporteerd worden (‘als bedoeld in artikel 3,
eerste lid, onderdeel b’); of artikelen kunnen niet van toepassing verklaard
worden binnen een bepaalde context (‘Alsdan vinden de artikelen 8 en 9c geen
toepassing.’).
Eerder onderzoek gedaan door Emile de Maat [2] heeft een parser opgeleverd
die referenties in wetteksten kan detecteren. Mijn onderzoek bouwt hierop voort
en heeft als doel de gevonden referenties te klassificeren.
Het detetecteren van referenties gebeurde met behulp van een grammatica: een
stuk tekst wordt als referentie gezien, als het stuk tekst kan worden ontleed
volgens de regels van de grammatica. Deze grammaticaregels zijn met de hand
gemaakt, na het bestuderen van de structuur van referenties. Deze aanpak
leverde een resultaat op van meer dan 95% gedetecteerde referenties.
Eenzelfde aanpak heb ik gebruikt voor het klassificeren van de referenties. Iedere
klasse heeft z’n eigen grammaticaregels. Wanneer een referentie en omliggende
tekst herschreven kunnen worden volgens die regels, wordt de referentie als
zodanig geklassificeerd. Hoewel klassificatie lastiger is dan detectie, is de
verwachting dat eenzelfde resultaat behaald kan worden.

Het verslag is als volgt opgebouwd. In sectie 1 wordt besproken hoe de
patronen, aan de hand waarvan klassificatie gaat plaatsvinden, gevonden zijn.
Daarop volgt een bespreking van de gekozen klasse-indeling. Sectie 3 behandelt
de uiteindelijke grammaticaregels en hoe deze regels geïmplementeerd zijn in een
parser. Daarna worden de resultaten besproken en wordt afgesloten met een
conclusie.
1 Patronen
Klassificatie gebeurt altijd op basis bepaalde eigenschappen en kenmerken.
Kenmerken van referenties zijn: de naam van de wet waarnaar verwezen wordt,
de naam van de wet waarin de referentie voorkomt of de woorden voor en na de
referentie. Dit laatste kenmerk is de meest logische om de klassificatie op te
baseren. Aan de hand van de woorden die voor (prefix) of na (postfix) een
referentie voorkomen (of eventueel beide) lijkt het mogelijk om te bepalen om
wat voor soort referentie het gaat. Eén van de eerste onderdelen in het project
was dus om een grote verzameling patronen te maken.
Voor het verzamelen van de patronen zijn 16 wetteksten gebruikt. Deze
wetteksten zijn door de bestaande parser gehaald om alle referenties te
detecteren. Dit leverde een totaal van 4536 referenties op. Van iedere referentie
moest vervolgens de prefix en postfix bepaald worden. Dit proces moest
handmatig gedaan worden: een computer kan namelijk niet zien waar de prefix
begint en de postfix eindigt. Om deze reden heb ik een willekeurige selectie van
500 referenties gemaakt, die met de hand bestudeerd en de relevante patronen
van prefix / postfix opgeschreven. Bijvoorbeeld de zin “Alsdan vinden de
artikelen 8 en 9c geen toepassing.”, leverde een prefix ‘vinden’, een referentie
‘artikelen 8 en 9c’ en een postfix ‘geen toepassing’ op.
Op deze wijze zijn 119 unieke patronen gevonden. Aardig hierbij te vermelden is
dat in het begin van deze zoektocht vaker een nieuw uniek patroon gevonden
werd, zoals natuurlijk te verwachten is. Echter, ook aan het eind van het
zoekproces bleven regelmatig nieuwe patronen opduiken, vaak kleine
(taalkundige) variaties op reeds gevonden patronen. Daarom is het erg
aannemelijk dat de gevonden 119 patronen niet alle mogelijke patronen zijn.
Als je maar lang genoeg doorzoekt, is het in theorie mogelijk om alle patronen te
vinden. Ik vraag mij alleen sterk af of dit praktisch gezien haalbaar is. Meer
hierover zal ik in de conclusie bespreken.

2 Klasse-indeling
Om de referenties te kunnen klassificeren moet je een klasse-indeling hebben. In
[2] is al een voorstel voor een mogelijke indeling gemaakt. Deze is gebaseerd op
de inhoudelijke verschillen tussen de referenties. Er wordt onderscheid gemaakt
tussen normatieve referenties, meta-normatieve referenties, delegerende
referenties, levensduur referenties en informatieve referenties. Zie [2] voor een
uitgebreide beschrijving van deze klassen.
Een andere manier is om te kijken naar uiteindelijke toepassingen. Als een
wettekst namelijk in een formele taal gepresenteerd wordt aan een gebruiker,
kunnen referenties gebruikt worden voor verschillende doelen. Ze kunnen
bijvoorbeeld gebruikt worden om door te klikken naar een wettekst, of om een
lijst te krijgen van alle wetteksten die op een bepaald artikel van toepassing zijn.
De klasse-indeling die ik voorstel is gebaseerd op zowel de inhoudelijke
verschillen als de verschillende toepassingen.
Klasse Voorbeeld patroon Toepassing
Toepassing als ... van toepassing is Lijst van wetteksten die
van toepassing zijn op
een bepaald artikel
Definitie als bedoeld in ... Hyperlink naar wettekst
of eventueel zonder
hyperlink automatisch de
definitie laten zien
Gevolg ingevolge ... Hyperlink naar wettekst
Levensduur inwerking treden van ... Lijst van wetteksten die
op een bepaald moment
gelden
Uitzondering in afwijking van ... Lijst van wetteksten die
afwijken van een bepaald
artikel
Onverminderd overminderd ... Extra aandacht voor de
lezer (bv dikgedrukt)
Overig waarin ... voorziet Verschillend
Merk op dat ook de ontkenning van bovengenoemde klassen kan voorkomen.
Zo wordt de referentie ‘in overeenstemming met ...’ geklassificeerd als
(negatieve) uitzondering, en ‘... is niet van toepassing’ als (negatieve) toepassing.
De klasse onverminderd is een klasse apart. Het woord ‘onverminderd’ voegt qua
inhoud namelijk niets toe aan een artikel, men kan het net zo goed weglaten. Het

wordt alleen gebruikt om nog eens extra te benadrukken dat een bepaald artikel
nog steeds geldig is.
Een veelvoorkomend patroon is ook ‘het bepaalde in ...’ of variaties daar op.
Deze waren eerst geklassificeerd als definitie. Echter, dit bleek niet juist. ‘het
bepaalde in ...’ is namelijk onderdeel van de referentie zelf, en is niet onderdeel
van het patroon waarop referenties geklassificeerd kunnen worden. Inderdaad
bleek dat wanneer je ‘het bepaalde in ...’ beschouwd als (uitgebreide) referentie,
daaromheen weer de bekende patronen te vinden waren. Bijvoorbeeld: ‘Het
bepaalde onder artikel 2, lid a blijft buiten toepassing’.
Tot slot een vergelijking met de klasse-indeling zoals voorgesteld in [2].
Klasse-indeling in [2] Gebruikte klasse-indeling Toepassingen
Normatief definitie en gevolg Hyperlinks naar wetteksten
toepassing en uitzondering Lijst van wetteksten die een
relatie hebben met een
Meta-normatief
bepaalde wettekst
Delegerend (niet tegengekomen)
levensduur Lijst van wetteksten die op
een bepaald moment geldig
Levensduur
zijn
Informatief (niet tegengekomen)
Onverminderd Extra aandacht voor de
(ontbrekende klasse)
lezer
(ontbrekende klasse) Overig Verschillend
Hieruit blijkt dat de klasse-indelingen met elkaar overeenkomen, wanneer je ze
groepeert op toepassing.
3 Grammaticaregels
De gevonden patronen zijn vervolgens omgezet naar grammaticaregels. De
gewenste non-terminal noemen we citeFull (een volledige referentie), met als
attribuut de klasse. Een citeFull kan worden herschreven:
citeFull(klasse)

citeExtended is een uitgebreide referentie; namelijk de referentie zoals gevonden
door de parser van De Maat inclusief de woorden ‘het bepaalde in...’ en variaties
daarop (zie sectie 2). Als zo’n patroon niet voorkomt, dan is citeExtended gelijk
aan de originele cite (de referentie). Hieronder ter illustratie drie soorten
uitgebreide referenties:
citeExtended

4.2 Uitvoer
De uitvoer is hetzelfde bestand als de invoer, maar dan met extra tags
toegevoegd die aangeven waar een (volledige) referentie begint en tot welke
klasse de referentie behoort. Tevens is er een tag toegevoegd die de originele
referenties uitbouwt naar een uitgebreide referentie, zoals besproken in sectie 3.
Ter verduidelijking zullen nu twee voorbeelden behandeld worden.
Invoer:
Alsdan vinden de artikelen 8 en 9c geen toepassing.
Uitvoer:
Alsdan vinden de artikelen 8 en
9c geen toepassing.
Invoer:
...de schuldsaneringsregeling eindigt op grond van het bepaalde in artikel 312,
tweede lid.
Uitvoer
...de schuldsaneringsregeling eindigt op grond van
het bepaalde in artikel 312, tweede
lid.
Merk op dat de pre- en postfix niet apart getagged zijn. Hun tag volgt namelijk
logisch uit de positie ten opzichte van de (uitgebreide) referentie.
4.3 Werking van de parser
Aangezien de invoer een MetaLex bestand is en daarin zinnen al getagged zijn,
leek het zinvol om de parser alleen zinnen te laten verwerken, en deze zinnen één
voor één aan de parser te geven. Daarnaast treden patronen nooit op buiten één
zin en voorkom je dus op deze manier dat de parser dat per ongeluk wel doet.
Het implementeren van de grammatica in de eigenlijke parser is gedaan met
behulp van JavaCC (Java Compiler Compiler), een programma waarmee parsers
gegenereerd kunnen worden. De parser van De Maat is ook hierin
geprogrammeerd, vandaar dat het een logische stap was om hiermee verder te
gaan. In JavaCC kan je gebruik maken van zowel grammaticaregels, als van
reguliere expressies en pure javacode. Reguliere expressies zijn gebruikt om
tokens te detecteren, grammaticaregels om de referenties te klassificeren, en
vooral om de invoer en uitvoer te regelen.

5 Resultaten
De parser is getest op de Natuurschoonwet 1928, waarin 92 referenties
voorkwamen. De resultaten van klassificatie waren als volgt:
Klasse Frequentie
Definitie 22
Toepassing 8
Gevolg 10
Levensduur 0
Onverminderd 0
Uitzondering 4
Overig 52
Zoals reeds gezegd is er slechts 1 wettekst gebruikt om de parser te testen.
Hierdoor kan er weinig gezegd worden over trends binnen wetteksten in het
algemeen.
Wat wel direct opvalt is dat meer dan de helft van de referenties geklassificeerd
zijn als ‘Overig’. Dat betekent dat meer dan de helft van de referenties eigenlijk
niet geklassificeerd zijn. Om meer inzicht in de onderliggende problemen te heb
ik de categorie ‘overig’ opgesplitst in vijf groepen, zodat een overzicht gekregen
wordt in aantallen waar de problemen nog zitten.
Probleem Frequentie
Technisch probleem 10
Samengestelde referentie 10
Onbekend patroon 14
Onvolledige referentie 13
Werkelijk ‘overig’ 5
Allereerst zijn er dus min of meer triviale problemen van technische aard. De
tokenizer van de parser maakt bijvoorbeeld onderscheid tussen spaties en enters.
Als een patroon over meer dan 1 regel doorloopt, slaagt de parser er niet altijd in
dit op te vangen. In sommige gevallen wel, maar in de meeste gevallen niet.
Waarom dit gebeurt moet nog onderzocht worden, maar dit beïnvloedt de
prestaties van de parser behoorlijk.
Daarnaast zijn er drie inhoudelijke problemen. Ten eerste komen referenties vaak
gecombineerd voor, zoals ‘...dan is artikel 3 van de Natuurschoonwet en artikel
24 van het Burgelijk Wetboek niet van toepassing.’. Alleen in de gevallen waarin
‘artikel 3 van de Natuurschoonwet en artikel 24 van het Burgelijk Wetboek’

volledig als 1 referentie gedetecteerd wordt, zal mijn parser deze referentie juist
klassificeren. Waneer ‘artikel 3 van de Natuurschoonwet en artikel 24 van het
Burgelijk Wetboek’ opgesplitst is in 2 losse referenties, dan zal mijn parser beide
referenties niet kunnen klassificeren. Dit kan opgelost worden door een aantal
extra grammaticaregels op te nemen, die 2 referenties en een voegwoord
herschrijft naar 1 (samengestelde) referentie.
Een tweede inhoudelijk probleem betreft het aantal patronen. Zoals eerder al
gedacht, blijkt nu ook uit de resultaten dat niet alle patronen al gevonden zijn.
Referenties met nieuwe patronen zullen dus als ‘Overig’ geklassificeerd worden.
Het laatste probleem betreft de invoer. Nog niet alle referenties worden juist
gedetecteerd; bijna álle referenties worden wel gedetecteerd, maar niet altijd
volledig. Dus tekst die eigenlijk onderdeel is van de referentie, wordt nu gebruikt
als pre- of postfix, en daardoor faalt de klassificatie. Eigenlijk zou de parser van
De Maat dus nog aangepast moeten worden.
Hier staat tegenover dat de referenties die wél geklassificeerd zijn 100% correct
zijn. Er zijn namelijk geen patronen uit de ene klasse, die overeenkomen met
patronen uit een andere klasse. Hierdoor heb je gegarandeerd de juiste klasse
gekozen wanneer een patroon gevonden wordt.
6 Conclusie
De conclusie zal helaas moeten zijn dat de parser op dit moment nog niet
voldoende presteert. Mijn verwachting is echter dat deze methode wél bruikbaar
is, aangezien wetteksten een redelijk strakke structuur hebben, en er niet een
volledig vrije / natuurlijke taal gebruikt wordt. Hierdoor lijkt het mij dat het
aantal patronen eindig is, en ook daarmate klein dat je ze allemaal op kan
schrijven. Daarnaast zou het gebruik van sparse-datatechnieken nog een
mogelijkheid kunnen zijn om de referenties die als ‘Overig’ geklassificeerd
worden, alsnog aan een andere klasse toe te wijzen.
Verder zijn de problemen die de slechte prestaties veroorzaken niet
onoverkomenlijk. De technische problemen zijn makkelijk op te lossen;
onvolledige referenties behoren tot het probleem van referenties detecteren (en
mijn klassificatie gaat ervan uit dat dat probleem reeds opgelost is); en het
probleem van samengestelde referenties is eigenlijk ook een ander probleem. Wel
problemen die opgelost dienen te worden, maar die in weze niets met het
klassificatie probleem te maken hebben.
Na dit onderzoek zijn er verder nog volop mogelijkheden om door te gaan. Men
kan kijken naar andere juridische bronnen, zoals jurispredentie. Volstaat daar
dezelfde klasse-indeling? Vind je daar dezelfde patronen?

Of men kan proberen het detecteren en klassificeren van referenties eens op een
andere manier aan te pakken. In plaats van handmatig opgeschreven
grammaticaregels, valt te denken aan Machine Learning technieken die
gespecialiseerd zijn in patroon herkenning, zoals Rapier [3].
Al met al een boeiend onderzoeksgebied waar nog volop te ontdekken valt. En ik
heb geprobeerd mijn steentje daar aan bij te dragen.
Referenties
[1] de Maat, E., Winkels, R., van Engers, T.. Hoofdstuk _Using NLP in LKS_ v3.4.pdf
(nog niet gepubliceerd)
[2] de Maat, E., Winkels, R., van Engers, T.. Automated Detection of Reference
Structures in Law.
[3] Califf, M.E., Mooney, R.J.. Bottom-Up Relational Learning of Pattern Matching
Rules for Information Extraction, Journal of Machine Learning Research 4 (2003) 177-
210.

Bijlage A – de grammaticaregels
/***********************************************************
* Grammar for classifying references found in legal texts
* Created by David de Bos
* Version September 14 2007
***********************************************************/
// Rules for extending the ref
... = [de bepalingen|een bepaling van] [ref]
= [het bepaalde|het gestelde] [bij|in|onder] [ref]
= in [ref] bepaalde
= [het]0-1 [in|bij] [en|of] krachtens [ref] [bepaalde]0-1
= het bepaalde [in|bij] [en|of] krachtens [ref]
= hetgeen is bepaald in [ref]
= [ref]
// Toepassingsverklaring
S = ... [is|zijn]0-1 [mede|niet|slechts|hier|ook]0-1 van(toepassing)
[overeenkomstige](toepassing)0-1 [toepassing(toepassing)|toepasselijk]
= [is|zijn]0-1 ... [mede|niet|slechts|hier|ook]0-1 van(toepassing)
[overeenkomstige](toepassing)0-1 [toepassing(toepassing)|toepasselijk]
= [vindt|vinden] ... [overeenkomstige]0-1 toepassing
= ... [geldt|gelden] [niet]0-1
= [geldt|gelden] ... [niet]0-1
= ... [houdt|houden] op van toepassing te zijn
= ... verder geen toepassing [vindt|vinden]
= ... van toepassing verklaren
= ... [niet](optioneel) van toepassing [bleek|bleken]
= ... van toepassing [is|zijn]
= ... geheel of gedeeltelijk buiten toepassing
= ... blijft buiten toepassing
// Als toegepast wordt
S = bij [de]0-1 toepassing van ...
= in [het]0-1 geval [van toepassing]0-1 van ...
= indien toepassing is gegeven aan ...
= indien ... toepassing [vindt|vinden]
= voor de toepassing van ...
= met [inachtneming|toepassing] van ...
// Definitie
S = in ...
[geregelde|opgenomen|vermelde|bedoelde|genoemde|gesteld|gestelde|toegekend|toegekende|voorziene]
= [als]0-1 [bedoeld|geregeld|omschreven|genoemd|gesteld] [in|onder|bij] ...
= als in ... [bedoeld|bepaald|is voorgeschreven]
= onder ... [bedoelde|vallen]
= in de zin van…
= zijn vermeld in...
// Gevolgtrekking
S = [op de voet van|ingevolge|volgens|als gevolg van|gegrond op de bepalingen der] ...
= [op grond van|ingevolge] [het bepaalde in] ...
= gegrond op de bepalingen der ...
= uit ... voortvloeiende
// Levensduur
S = ... [Vervallen per
= [inwerkingtreding|in werking treden] van ...
= tot toepassing van ... over te gaan
// Onverminderd
S = onverminderd ...
// Uitzonderingen
S = in afwijking van ...
= [afwijkt|afwijken] van ...
= behoudens ...
= van ... kan niet worden afgeweken
= ... [is|zijn] ontheven van het verbod van ...
// Overeenstemmingen
S = in [strijd|overeenstemming] met ...
= overtreding van ...
= overeenkomstig ...
// alles wat niet als bovenstaand te classificeren is, classificeren we als Overig