01 | 2021 public

IS IT A MATCH?
Dublettenerkennung in der
öffentlichen Verwaltung
| von NEDISLAV NEDYALKOV und DOMINIK MÜLLER
Manchmal erinnert unsere Arbeit an
die Aufforderung eines etwas ruppigen
Hauptkommissars an seinen Mitarbeiter
in einem Vorabendkrimi: „Hier, gleichen
Sie mal die Daten der Rentenkassen mit
diesen Meldedaten ab!“ Nur landet in
unserem Fall kein Aktenstapel auf dem
Schreibtisch, sondern der Zugang zu einer
äußerst umfangreichen Datenbank – so
wie im Projektbeispiel bei der Bundesagentur
für Arbeit, das wir in diesem Beitrag
vorstellen.
Doch was hat das mit Data Science
zu tun? Könnten wir nicht einfach jedes
mögliche Rentenkassen-Meldedaten-Paar
ansehen und prüfen, ob es sich
hier um dasselbe Objekt handelt? Leider
nicht. Es würde schlichtweg viel zu lange
dauern. Im Beispiel der Arbeitsagentur
geht es um zehn Millionen Datensätze
der Rentenkassen und drei Millionen
Datensätze aus Meldedaten. Bei einem
vollständigen Abgleich kämen wir auf
dreißig Billionen Paarungen. Selbst wenn
jeder automatische Abgleich nur eine
Millisekunde dauern würde, entspräche
das einer Rechenzeit von etwa 950 Jahren
– ohne Pause, ohne Ausfälle. So lange
möchte niemand warten – weder wir
noch die Arbeitsagentur. Gefragt ist also
eine weitaus schnellere Lösung. Und sie
muss (zumindest fast) so gut sein wie ein
vollständiger Abgleich. Damit stehen wir
also vor nicht weniger als der Herausforderung,
sogenannte Dubletten zuverlässig
erkennen zu können.
Herausforderung angenommen: Im
Folgenden stellen wir eine Lösung für
dieses Problem vor, ebenso wie einen
Prototyp für die Implementierung. Keine
Sorge: Auf mathematische Definitionen
und Modellbeschreibungen verzichten
wir. Stattdessen liefern wir eine anschauliche
und praxisnahe Beschreibung.
Für diejenigen Leser, die gerne
mehr erfahren möchten, haben wir
Schlüsselbegriffe kursiv gekennzeichnet
und die wichtigsten in Infoboxen näher
beschrieben.
22 | .public 01-21 | Daten und KI