KI-Systeme sind mitunter wenig transparent und nachvollziehbar. Diese Opazität hat verschiedene Ursachen, die vom Schutz geistigen Eigentums über die Komplexität und Nicht-Nachvollziehbarkeit der Verfahren bis hin zur mangelnden Durchsichtigkeit von Entscheidungsstrukturen, in die der Einsatz algorithmischer Systeme eingebettet ist, reichen. Als Reaktion auf diese vielfältigen Herausforderungen gibt es Bemühungen, die Transparenz und Nachvollziehbarkeit durch technische, organisatorische und rechtliche Mittel zu erhöhen.
Fragen von Transparenz, Erklärbarkeit und Nachvollziehbarkeit sind mit Fragen von Kontrolle und Verantwortung verbunden. Zwar besteht zwischen ihnen ein gewisser Zusammenhang, doch ist die Transparenz und Nachvollziehbarkeit algorithmischer Systeme für die Kontrolle und die Verantwortung für ihren Einsatz weder zwingend notwendig noch hinreichend.
Einerseits kann es auch bei prinzipiell transparenten und nachvollziehbaren Methoden wie zum Beispiel Entscheidungsbäumen dazu kommen, dass verantwortliches Handeln und angemessene Kontrolle ausbleiben. Zudem ist in Bezug auf Offenlegungspraktiken auf das Problem strategischer Transparenz hinzuweisen. So könnten insbesondere im Bereich der öffentlichen Kommunikation und Meinungsbildung Plattformbetreibende entweder irrelevante und unzureichende Informationen transparent machen (…)(oder aber relevante Informationen unter einer Fülle irrelevanter Information verbergen. In diesen Fällen würde Transparenz also nicht zwingend zu verantwortlichem Handeln und Kontrolle führen.
Andererseits sind Kontrolle und Verantwortung auch ohne vollständige Transparenz möglich. So können bei der Nutzung von Softwaresystemen, die auf Deep Learning-Ansätzen beruhen, Herstellern oder Anwendern die volle Verantwortung für den Einsatz dieser Systeme zugewiesen werden, selbst wenn ihnen die Details der Verarbeitung unbekannt sind. Sie trügen dann die Verantwortung, derartige Systeme zum Einsatz gebracht zu haben, und müssten begründen, warum diese Intransparenz akzeptabel ist – etwa weil der mögliche Schaden gering oder der zusätzliche Nutzen dieser Systeme (beispielsweise in Bezug auf eine höhere Genauigkeit der Prognosen) die Nachteile der Intransparenz überwiegt. (…)
Anforderungen an Transparenz, Erklärbarkeit und Nachvollziehbarkeit sind dementsprechend in Abhängigkeit von den jeweiligen Zielen, die mit Transparenz und Nachvollziehbarkeit verfolgt werden, nach den Personen, die Informationen erhalten, und nach dem jeweiligen Anwendungskontext zu konkretisieren. Eine Nutzerin, die Auskunft darüber verlangt, warum sie keinen Kredit bekommen hat, bedarf einer anderen Art der Erklärung als eine Aufsichtsbehörde, die prüfen muss, ob eine Software in ihren Prognosen der Kreditwürdigkeit systematisch Frauen diskriminiert. Besonders hohe Anforderungen gelten für Systeme, die in hoch sensiblen Bereichen eingesetzt werden, beispielsweise bei Entscheidungen mit hoher Tragweite für das Leben von Menschen. Auch dort, wo Systeme eine Quasi-Monopolstellung erlangen, sind hohe Anforderungen an Transparenz, Erklärbarkeit und Nachvollziehbarkeit zu stellen, die möglicherweise den Einsatz von besonders intransparenten Systemen (beispielsweise basierend auf Deep Learning) ausschließen und nach nachvollziehbareren Verfahren verlangen (beispielsweise Entscheidungsbäumen). Bei der Entwicklung der Software wiederum müssen technische und organisatorische Voraussetzungen geschaffen und eingefordert werden, beispielsweise durch verpflichtende Dokumentations- und Offenlegungspflichten, damit diese Erklärungen später überhaupt erst geliefert werden können. Die Spezifizierung und ausgewogene Ausgestaltung von Offenlegungspflichten stellt eine besondere Herausforderung dar; muss doch sichergestellt werden, dass einerseits relevante Informationen geteilt werden, aber andererseits weder die Geschäftsinteressen von Anbietern über Gebühr unterminiert werden, noch Flanken für Angriffe und Sicherheitslücken eröffnet werden.
