Critical Design und Speculative Design Teil 2: Anwendung – Diskriminierung durch KI-Algorithmen

Wie der erste Blogbeitrag zum Critical und Speculative Design zeigt, können die Ansätze angewendet werden, um neue, spannende und unkonventionelle Perspektiven einzunehmen und damit das eigene Produkt oder die eigene Dienstleistung zu verbessern. Zudem dienen sie dazu, eventuelle Konsequenzen von digitalen Dienstleistungen und Produkten auf die Gesellschaft, die Umwelt und die Gesundheit der Nutzer:innen zu sensibilisieren [1][2]. In diesem zweiten Teil zum Critical und Speculative Design präsentieren wir Ihnen die Ergebnisse eines Workshops, um Ihnen einen Einblick in die Anwendung der Konzepte zu liefern.

Im Workshop mit dem Thema „Algorithmen als Wiederholung von Stereotypen“ geht es um eine mögliche Diskriminierung von Personen oder Personengruppen durch Algorithmen der künstlichen Intelligenz (KI).

Die Teilnehmenden des Workshops waren Studierende der TU-Berlin, die Methoden für eine werteorientiere und diskriminierungsfreie Entwicklung von Algorithmen kennengelernt haben. Als Fallbeispiel diente das vom österreichischen Arbeitsamt genutzte Arbeitsmarkt-Chancen-Assistenzsystem und dem darin enthaltenen Algorithmus, kurz der AMS-Algorithmus. Der stark umstrittene Algorithmus des AMS kategorisiert Arbeitsuchende in drei Gruppen. Bei der Entwicklung dieses Algorithmus wurden ihm historische Daten zugeführt, darunter Informationen wie Alter, Geschlecht, Wohnort, beruflicher Hintergrund, Betreuungsverpflichtungen und Staatsangehörigkeit. Basierend auf diesen Daten prognostiziert das System die Wahrscheinlichkeit, mit der eine Person erfolgreich in den Arbeitsmarkt zurückkehren könnte, und ordnet sie entsprechend in die Gruppen "hoch", "mittel" oder "niedrig" ein. Es wandelt somit individuelle Merkmale in statistische Vorhersagen um [3] Aufgrund der Daten, auf denen der Algorithmus basiert, und die Art und Weise, wie sie verarbeitet werden, kann von einer Chancenungleichheit auf dem Arbeitsmarkt für verschiedene Gruppen ausgegangen werden [4][5][6].

Mithilfe der Ansätze Critical und Speculative Design und der Methode „Four Corners of Possibility Space“ [6] wurden die Teilnehmenden gebeten, verschiedene Zukunftsszenarien zu entwickeln, die sich auf den AMS-Algorithmus beziehen. Die Four Corners of Possibility Space- Methode beinhaltet die vier Zukunftsszenarien (Abb. 1):

1. Fortsetzung: Welche Auswirkungen hätte eine Fortsetzung des bestehenden Systems?
2. Kollaps: Wie würde ein Zusammenbruch des Systems aussehen?
3. Ordnung: Wie könnte es gelenkt werden, um Ordnung im System zu schaffen?
4. Transformation: Was benötigt es, damit sich das System grundlegend verändert?

Abb. 1: Four Corners of Possibility Space, eigene Darstellung, Inhalte nach Candy (2010)

Teilnehmenden wurden angeleitet, vier verschiedenen Zukunftsszenarien zu generieren, die beschreiben, welchen Einfluss der AMS Algorithmus in die Entwicklung unserer Gesellschaft, unserer Technologien und unserem Wertesystem haben könnte.

• Wie kann sie/es aussehen?
• Welche resultierenden Auswirkungen ergeben sich für das System, das den AMS-Algorithmus anwendet?
• Was für Konsequenzen gibt es für den Arbeitsmarkt und letztlich unsere Gesellschaft?

Für die Ergebnisfindung der vier Szenarien, wurden die Teilnehmenden des Workshops in vier Gruppen aufgeteilt, die jeweils vier Szenarien erstellen sollten, um über die Folgewirkungen des AMS Algorithmus zu diskutieren. Daraus ergaben sich einige Übereinstimmungen in den Ergebnisse., wie zum Beispiel in der „Ecke der Vorsetzung“. Es einigten sich drei von vier Gruppen, dass der Algorithmus zur Spaltung der Gesellschaft und zur Stärkung der konservativen Werte führen würde.

Durch die Reflexion in der „Ecke der Transformation“  entwickelten die Teilnehmenden positiven Zukunft Szenarien, in denen sie neue technologische Lösungen für eine fairere und soziale Arbeitsmarkt überlegten, in denen Motivation, Inklusion  und gegenseitige Unterstützung im Vordergrund stehen.  

Wie die Ergebnisse und die Erfahrungen unserer Workshopleiter:innen zeigen, sind die Ansätze des Critical und Speculative Designs sehr gut geeignet, um auf aktuelle Probleme, hier der Diskriminierung bestimmter Personengruppen durch KI-Algorithmen, einzugehen, aber auch zukünftige Probleme zu identifizieren. Die Anwendung der Ansätze bietet Unternehmen die Möglichkeit, aktuelle Probleme bei der Entwicklung ihrer Produkte und Dienstleistungen frühzeitig zu erkennen und zu verhindern. 

Wenn auch Sie Interesse haben, an einem Workshop teilzunehmen, in dem Sie lernen, Ihren Algorithmus, Ihr Produkt oder Ihre technologische Dienstleistung kritisch zu untersuchen, um dadurch Konsequenzen und Problemen zu beseitigen, bevor sie auftreten, kontaktieren Sie uns gerne.

Referenzen

[1] Malpass, M. (2013). Between Wit and Reason: Defining Associative, Speculative, and Critical Design in Practice. Design and Culture, 5(3), 333–356. https://doi.org/10.2752/175470813X13705953612200

[2] Dunne, A. & Raby, F. (2013). Speculative everything: Design, fiction, and social dreaming. MIT Press.

[3] Fanta, A. (2021). Jobcenter-Algorithmus landet vor Höchstgericht. https://netzpolitik.org/2021/oesterreich-jobcenter-algorithmus-landet-vor-hoechstgericht/ Abgerufen am 31.01.2024)

[4] Wagner, B, Lopez, P., Cech, F., Grill, G. & Sekwenz, M.‑T. (2020). Der AMS-Algorithmus. Zeitschrift für kritik - recht – gesellschaft (2), 191. https://doi.org/10.33196/juridikum202002019101

[5] Holl, J., Kernbeiß, G., & Wagner-Pinter, M. (2018). Das AMS-Arbeitsmarktchancen-Modell. Arbeitsmarktservice Österreich, Wien.

[6] ACM Ethics - The Official Site of the Association for Computing Machinery's Committee on Professional Ethics. (2024, 22. Januar). ACM Code of Ethics and Professional Conduct. https://ethics.acm.org/

[7] Candy, S. (2010). The Futures of Everyday Life: Politics and the Design of Experiential Scenarios. DataCite.