Mensch vor Maschine

28 29
5. Dokumentation und Rechenschaftspflicht
Resolution
KI-Systeme enthalten eine «ethische Blackbox», welche die
vom System verarbeiteten Daten aufzeichnet. Arbeitgeber,
die KI-Systeme einsetzen, sind zur Analyse und Evaluation
der Systeme verpflichtet und müssen darüber Rechenschaft
ablegen. Zusätzlich gibt es für Behörden und die Wissenschaft
einen rechtlich geregelten Zugang zu Algorithmen und
Daten, die von KI-Systemen verwendet werden.
Begründung
Es müssen Vorkehrungen getroffen werden, welche die Verantwortlichkeit
und Rechenschaftspflicht für KI-Systeme und deren
Ergebnisse vor und nach ihrer Umsetzung gewährleisten.
Nachprüfbarkeit bedeutet, dass Algorithmen, Daten und das
Entwurfsverfahren einer Bewertung unterzogen werden können.
Das heisst nicht unbedingt, dass Informationen über Geschäftsmodelle
und geistiges Eigentum im Zusammenhang mit dem
KI-System immer öffentlich verfügbar sein müssen. Die Bewertung
von KI-Systemen durch interne und externe Prüfungen
und das Vorliegen solcher Bewertungsberichte kann beträchtlich
zur Vertrauenswürdigkeit der Technik beitragen. Die externe
Nachprüfbarkeit sollte insbesondere bei Anwendungen sichergestellt
sein, die sich auf die Grundrechte auswirken, sowie bei
sicherheitskritischen Anwendungen.
Die Möglichkeit der Berichterstattung über Handlungen oder
Entscheidungen, die zu einem bestimmten Systemergebnis
beitragen, und auch die Reaktionsfähigkeit auf die Folgen eines
solchen Ergebnisses müssen gewährleistet sein. Die Ermittlung,
Bewertung, Berichterstattung und Minimierung potenziell
negativer Auswirkungen von KI-Systemen ist für Betroffene
besonders wichtig. Ein angemessener Schutz für Informant*innen
(Whistleblower), Nichtregierungsorganisationen, Gewerkschaften
und andere Stellen, die berechtigte Bedenken hinsichtlich
eines KI-gestützten Systems äussern, muss gewährleistet sein.
Der Einsatz von Folgenabschätzungen (z. B. «Red Teaming»
oder Formen der Algorithmen-Folgenabschätzung) sowohl vor
als auch während der Entwicklung, Einführung und Nutzung
von KI-Systemen kann hilfreich sein, um negative Folgen
möglichst gering zu halten. Diese Bewertungen müssen in
einem angemessenen Verhältnis zu dem Risiko stehen, welches
die KI-Systeme darstellen.