Computer Says No – Künstliche Intelligenz & Herrschaft

A presentation at Computer says no in October 2022 in Stuttgart, Germany by Oscar

Slide 1

Slide 1

Computer says no. f Künstliche Intelligenz & Herrscha

Slide 2

Slide 2

h ps://r.ovl.design/csn2 Twi er: @_ovlb Slides Sources & Resources Recording tt tt Transcript

Slide 3

Slide 3

Künstli e Intelligenz ch Oder nicht?

Slide 4

Slide 4

Künstliche Intelligenz ist eine grobe Kategorie

Slide 5

Slide 5

Künstliche Intelligenz ist eine Nebelkerze der Begriff will mehr als technisch ist

Slide 6

Slide 6

Technisch wird es vor allem um Machine Learning gehen

  • Unterscheidung wichtig in einem technischen Diskurs

Slide 7

Slide 7

«For my purposes, I use AI to talk about the massive industrial formation that includes politics, labor, culture and capital.» ☞ Kate Crawford Atlas of AI, p. 9 ML, Algorithmen -> Technik KI -> soziale Zusammenhänge

Slide 8

Slide 8

In diesem Sinne ist es kein technischer Vortrag.

Slide 9

Slide 9

ImageNet Algorithmen & Arbeit Künstliche Ideologie Was tun? ich spreche über eine Reihe an Dingen nicht: z.B. DALL-E und Stable Diffusion, AI Hype

Slide 10

Slide 10

ImageNet Wie Machine Learning sich für immer veränderte

Slide 11

Slide 11

Was ist ImageNet eigentlich?

Slide 12

Slide 12

fl Der vielleicht ein ussreichste Datensatz.

Slide 13

Slide 13

Der vielleicht ein ussreichste Algorithmus. fl aber eins nach dem anderen

Slide 14

Slide 14

Die Idee: Den Goldstandard für Bilder sammeln. Fei-Fei Li, 2006

Slide 15

Slide 15

Die Umsetzung: Bilder sammeln. Leichter gesagt, als getan.

Slide 16

Slide 16

Es dauerte drei Jahre bis genug Bilder gesammelt waren. Genug heißt: Vierzehn Millionen.

Slide 17

Slide 17

PASCAL VOC 19.737 Bilder in zwanzig Kategorien PASCAL Visual Object Classes

Slide 18

Slide 18

fi Wie klassi ziert man 14 Millionen Bilder?

Slide 19

Slide 19

Ein Job für Studienanfänger*innen Dauer: 19 Jahre Jia Deng

Slide 20

Slide 20

Ein Job für einen Algorithmus? Algorithmische Ergebnisse müssen kontrolliert werde

Slide 21

Slide 21

Enter Amazon Mechanical Turk.

Slide 22

Slide 22

«On this new platform, anyone could construct a ‹Human Intelligence Task› to be completed by the workers on the platform.» ☞ Denton, E. et al. (2021) On the genealogy of machine learning datasets

tt h ps://journals.sagepub.com/doi/full/10.1177/20539517211035955

Slide 23

Slide 23

☞ Denton, E. et al. (2021) On the genealogy of machine learning datasets

h ps://journals.sagepub.com/doi/full/10.1177/20539517211035955 tt Th « is solution quickly solved [the] problem by allowing the problem to be broken down and distributed across 49 thousand workers from 167 countries.»

Slide 24

Slide 24

Das menschliche Sehen als rein mechanischer Prozess. Visuelle Intelligenz als Mustererkennung kein Kontext problem, das in ML bis heute besteht

Slide 25

Slide 25

☞ Uni Tübingen Gatys, Ecker, Bethge – Texture and art with deep neural networks, 2017

Slide 26

Slide 26

Und nun? Von 201o–2017 ImageNet Large Scale Visual Recognition Challenge

Slide 27

Slide 27

In 2012 wurde AlexNet vorgestellt. Die Einführung der Neuronalen Netze Alex Krizhevsky und sein Team der Universität Toronto diese Netze in den folgenden Jahren und bis heute einer der tonangebenden Paradigmen im Machine Learning.

Slide 28

Slide 28

Mehr und mehr Daten Fehlender Consent Mechanisches Verständnis menschlicher Wahrnehmung Deep Learning

Slide 29

Slide 29

Arbeit & Algorithmen

Slide 30

Slide 30

Worüber reden wir, wenn wir über Arbeit reden?

Slide 31

Slide 31

Worüber reden wir, wenn wir über Arbeit reden? Unbezahlte Arbeit Unsichtbare Arbeit Durch Algorithmen kontrollierte Arbeit Unbezahlte Arbeit -> Recaptcha

Slide 32

Slide 32

ch Unsi tbare Arbeit

Slide 33

Slide 33

KI tut dies, KI tut jenes. In Go gewonnen, Texte geschrieben, protein folding.

Slide 34

Slide 34

«Headlines like ‹AI discovered how to cure a type of cancer›. Of course it’s never AI that did this. It’s researchers […] who use AI machine learning tools like any other tool. ☞ Arvind Narayanan Fake AI, S. 24

Slide 35

Slide 35

☞ 80% menschliche Arbeit The Economist – For AI, data are harder to come by than you think

Slide 36

Slide 36

«Training a machine-learning system requires large numbers of carefully labelled examples, and those labels usually have to be applied by humans.» ☞ For AI, data are harder to come by than you think tt h ps://www.economist.com/technology-quarterly/2020/06/11/for-ai-data-are-harder-to-come-by-than-you-think

Slide 37

Slide 37

Slide 38

Slide 38

Slide 39

Slide 39

«We could think of this as a kind of Potemkin AI – li le more than facades, designed to demonstrate […] what an automated system would look like.» ☞ Kate Crawford tt Atlas of AI, S. 65

Slide 40

Slide 40

Der schöne Schein der Automatisierung.

Slide 41

Slide 41

☞ New York Daily News $5 für Gesichts-Scans 2021 macht Google Werbung damit wie gut Android Schwarze Gesichter erkennen kann

Slide 42

Slide 42

☞ Thermometer April 2020 Algorithm Watch

Slide 43

Slide 43

Google tut es leid. 😢

Slide 44

Slide 44

Geisterarbeit ist überall. Mary L. Gray und Siddharth Suri Die Verifizierung neuer Bankaccounts, die [Moderation von Inhalten bei Facebook oder Twitter] Plattformen wie Fiverr

Slide 45

Slide 45

«Wir sollten uns nicht davor fürchten, dass Menschen durch Technologie ersetzt, sondern dass sie entwertet werden.» ☞ Mary L. Gray h ps://www.derstandard.at/story/2000124843896/klick-fuer-klick-zum-hungerlohn-das-digitale-prekariat-waechst tt in Finnland im Knast, im globalen Süden

Slide 46

Slide 46

Frühkapitalismus im digitalen Gewand

Slide 47

Slide 47

☞ Wikimedia Triangle Shirtwaist Factory, 25. März 1911 146 Tote Ausgänge der Fabrik verschlossen

Slide 48

Slide 48

☞ 10.12.2021 tt sechs Tote Tim Vizer/AFP via Ge y Images

Slide 49

Slide 49

More Perfect Union; h ps://twi er.com/MorePerfectUS/status/1470513075489054720 tt tt ☞

Slide 50

Slide 50

tt ☞ Soo Oh/Reveal; h ps://revealnews.org/article/how-amazon-hid-its-safety-crisis/

Slide 51

Slide 51

Kybernetische Verdichtung Simon Schaupp

Slide 52

Slide 52

«A swing of a second or two in the average time to complete a task can make the di erence between ge ing kudos from a manager or a warning about job performance.» ☞ In Amazon’s Flagship Ful llment Center, the Machines Run the Show Bloomberg Businessweek tt fi ff Amazon in Bad Hersfeld Abmahnung wg 16 Sek zu früh in Pause

Slide 53

Slide 53

«You have to do unsafe things to make your numbers.» ☞ In Amazon’s Flagship Ful llment Center, the Machines Run the Show fi Bloomberg Businessweek

Slide 54

Slide 54

Die Verdichtung der Arbeit ist auch eine Verdichtung der Zeit. Unternehmen schlucken alle Lebenssekunden hinter den Fabriktoren.

Slide 55

Slide 55

Bestrebungen zur Automatisierung sind so alt wie der Kapitalismus.

Slide 56

Slide 56

«In wenig Monaten schon war eine Maschine fertig, die dem Anscheine nach mit dem Denkvermögen, Gefühl und Takt des erfahrnen Arbeiters begabt war.» ☞ Andrew Ure – Philosophy of Manufactures zit nach Engels, 1844

Slide 57

Slide 57

«Doch was als radikal neue Form der Arbeit daher kommt, ist im Licht der historischen Entwicklung o mals mehr eine Wiederkehr früherer Arbeitsverhältnisse.» ☞ Heiner Heiland – Zurück in die Zukun ft f ft tt h ps://www.rosalux.de/publikation/id/39921/zurueck-in-die-zukun -1

Slide 58

Slide 58

Und ewig grüßt das Kapitalverhältnistier. Union Busting, Vereinzelung durch algorithmisches Management

Slide 59

Slide 59

«Die Arbeiter müssen sich also bestreben, aus dieser vertierenden Lage herauszukommen […] und dies können sie nicht tun, ohne gegen das Interesse der Bourgeoisie als solcher […] anzukämpfen. ☞ Friedrich Engels – Die Lage der arbeitenden Klasse in England

Slide 60

Slide 60

Gig-Work und algorithmis e Undur si tigkeit ch ch letzter Teil zur Arbeit

Slide 61

Slide 61

Welchen Ein uss haben Algorithmen? ff fl Es ist nicht überall so o ensichtlich wie im Lagerhaus.

Slide 62

Slide 62

Unklarheit führt zu Wissenshierarchien. Verschleierung der Auswirkungen, aber auch der sozialen Beziehungen

Slide 63

Slide 63

Traut man der PR-Abteilung der Unternehmen? Heiland -> Algorithmus dumm Deliveroo Italien -> Produktivität als Bewertungskriterium

Slide 64

Slide 64

«Data, as it is conceived of now, simply ows away from workers and to the platform, where it becomes proprietary, valuable, and ‹big.›» ☞ ‘Worker Data Science’ Can Teach Us How to Fix the Gig Economy tt h ps://www.wired.com/story/labor-organizing-unions-worker-algorithms/

Slide 65

Slide 65

Wie soll man verstehen, was nicht fassbar ist? Wie soll man fassen, was sich verändert?

Slide 66

Slide 66

Diese Hierarchien können nur aufgelöst werden, wenn die Algorithmen o engelegt ff werden.

Slide 67

Slide 67

Faulenzen gegen die Überwachung? Die Verlangsamung der Arbeit ist ein Mi el des Arbeitskampfes. -> Bummelstreik -> Auch Fabrikalgo lernen aus Vergangenheit

Slide 68

Slide 68

«[Es] ergab sich, dass an mehreren Stellen von Paris unabhängig voneinander und gleichzeitig nach den Turmuhren geschossen wurde.» ☞ Walter Benjamin — Geschichtsphilosophische Thesen Zur Kritik der Gewalt und andere Aufsätze, Suhrkamp 1965, S. 91 Juni Revolution 1830

Slide 69

Slide 69

Der Widerstand braucht Organisierung. Algorithmen sind ein Mittel der Herrschaft

Slide 70

Slide 70

ft Sozialstandards wurden erkämp .

Slide 71

Slide 71

☞ Nadine Maaz

Slide 72

Slide 72

☞ Giornate di Marzo

Slide 73

Slide 73

tt ☞ Ge y Images

Slide 74

Slide 74

☞ Simon Zamora Martin

Slide 75

Slide 75

«Es gibt keine kurzen Wege zu einem internationalen Streik ohne stabile Organisierung in den Betrieben.» ☞ Nina Scholz Die wunden Punkte von Amazon, Google, Deutsche Wohnen & Co., S. 35f.

Slide 76

Slide 76

ch Künstli e Ideologie

Slide 77

Slide 77

ch Öffentli e Daten, privates Geld

Slide 78

Slide 78

Eine neue ursprüngliche Akkumulation

Slide 79

Slide 79

Der Rohsto sind unsere Geschichten. Die Märkte Kontrolle und Hokuspokus. ff Die Innovation ist alt und gammlig.

Slide 80

Slide 80

Wir sehen eine Konzentration der Daten in den Rechenzentren.

Slide 81

Slide 81

«Der Übersetzungsassistent ist (derzeit) für alle ‹frei nutzbar› und dennoch machen wir uns mit seiner Nutzung von Google abhängig.» ☞ çapulcu redaktionskollektiv De_lete!, S. 47

Slide 82

Slide 82

Too big to fail? Facebooks Aktienpreis um 60% eingebrochen Twitter und Musk in einem ewigen Tango des Untergangs

Slide 83

Slide 83

ch Ökonomis e Abhängigkeiten

Slide 84

Slide 84

☞ Meredith Whi aker – The Steep Cost of Capture fi tt Interactions, November/December 2021 ft Th « ese companies control the tooling, development environments, languages, and so ware that de ne the AI research process —they make the water in which AI research swims.»

Slide 85

Slide 85

☞ Cody O’Loughlin for The New York Times

Slide 86

Slide 86

tt tt ☞ h ps://twi er.com/timnitGebru/status/1334352694664957952

Slide 87

Slide 87

Stochastische Papageien

Slide 88

Slide 88

«We have identi ed a wide variety of costs […] and the risk of substantial harms.» ☞ Bender, Gebru, McMillan-Major, Mitchell fi On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜

Slide 89

Slide 89

Google tut es leid. 😢

Slide 90

Slide 90

tt tt ☞ h ps://twi er.com/mmitchell_ai/status/1362885356127801345

Slide 91

Slide 91

Benehmt euch, oder ihr seid raus.

Slide 92

Slide 92

ch Te nologie & Militär

Slide 93

Slide 93

Ziemlich beste Freund*innen.

Slide 94

Slide 94

fi Das Internet ist eine Er ndung des Militärs.

Slide 95

Slide 95

Geschä e mit dem Militär sind Teil des ft ft Kerngeschä s.

Slide 96

Slide 96

Teletubbies auf XTC

Slide 97

Slide 97

«As the Pentagon would have it, Project Maven will open the door to a new era of arti cially intelligent spycra . Nothing will go unseen.» ☞ How Big Tech is helping build the Pentagon’s all-seeing eye-in-the-sky ft fi Fast Company, 18.6.2019

Slide 98

Slide 98

Technologie zwischen zivil und militärisch.

Slide 99

Slide 99

«It uses a predictive technique known as cluster analysis that can similarly be used to predict that a man walking around aimlessly may be preparing an a ack.» ☞ How Big Tech is helping build the Pentagon’s all-seeing eye-in-the-sky tt Fast Company, 18.6.2019

Slide 100

Slide 100

Nach Protesten durch Mitarbeiter*innen zog Google sich zurück.

Slide 101

Slide 101

Google tut es leid. naja nicht soooooooo sehr Pentagon und andere militärische Institutionen bleiben wichtige Kundinnen Googles

Slide 102

Slide 102

tt ☞ h ps://ra.co/news/76439

Slide 103

Slide 103

☞ Der Cyberraum; Screenshot Kommando Cyber- und Informationsraum

Slide 104

Slide 104

Die Anscha ung bewa neter Drohnen ist Teil des Koalitionsvertrags. ff ff Sie sollen aber nur ethisch töten.

Slide 105

Slide 105

«Bereits der Einsatz von vom Menschen gesteuerten bewa neten Drohnen hat die Schwelle zum Einsatz militärischer Gewalt gesenkt und den Krieg weiter entgrenzt […]. ☞ AI Scientists for Peace ff tt h ps://aiscientists4peace.org/

Slide 106

Slide 106

Slide 107

Slide 107

«It was con dent that it was right 90 percent of the time, so it was con dently wrong. And that’s not the algorithm’s fault. It’s because we fed it the wrong training data.» ☞ This Air Force Targeting AI Thought It Had a 90% Success Rate. It Was More Like 25% fi fi Defense One, 9.12.2021

Slide 108

Slide 108

Die Algorithmen werden besser werden. Es braucht deswegen eine grundlegende Kritik an staatlichem Töten.

Slide 109

Slide 109

«Herrscha durch Gewalt ist sowohl in die autonome Wa entechnologie als auch in den Rahmen des Denkens und der Politik eingemeißelt, welcher zu ihrer Entwicklung und ihrem potentiellen Einsatz führt.» ☞ Ray Acheson – Feminismus und automatisierte Wa ensysteme ff ff ft Wenn KI, dann feministisch, S. 91

Slide 110

Slide 110

Panoptikum in Digitalien

Slide 111

Slide 111

Die deutsche Polizei sammelt eißig Gesichter. Wenn du im Juli 2017 in Hamburg warst, vermutlich auch deins. Videmo 360 hunderttausende Gesichter fl 100 Terrabyte Bildmaterial

Slide 112

Slide 112

Was macht eine zur Stra äterin? ft Manchmal reicht es schon von einem Bullen verkloppt zu werden.

Slide 113

Slide 113

In Hamburg sind fünf Jugendliche angeklagt. Ihnen wird nichts vorgeworfen. Rondenbarg Verfahren

Slide 114

Slide 114

«Polizeigewalt hat es nicht gegeben.» ☞ Olaf Scholz NDR Interview

Slide 115

Slide 115

☞ kein einziger Polizist verurteilt Hessische Polizisten bei keiner Polizeigewalt

Slide 116

Slide 116

#polizeiproblem 🚓🔥

Slide 117

Slide 117

Der Einsatz von Videmo wurde für rechtens erklärt. tt ft Die Befugnisse des Datenschutzbeau ragten beschni en.

Slide 118

Slide 118

Im Mai 2020 wurde die umstri ene Datenbank gelöscht. tt Es gab keine strafrechtliche Erforderlichkeit mehr.

Slide 119

Slide 119

Im Rahmen des Programms Polizei 20/20 wird an bundeseinheitlichen Pla formen tt gearbeitet.

Slide 120

Slide 120

Dabei zeigt sich immer wieder, dass ft Gesichtserkennung fehlerha ist.

Slide 121

Slide 121

☞ Gender Shades, 2018

Slide 122

Slide 122

tt ☞ h ps://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28

Slide 123

Slide 123

Gesichtserkennung hat im ö entlichen ff Raum nichts zu suchen.

Slide 124

Slide 124

Gesichtserkennung hat in den Tools der Polizei nichts zu suchen.

Slide 125

Slide 125

Selbst Facebook wendet Gesichtserkennung fl nicht mehr ächendeckend an.

Slide 126

Slide 126

tt ☞ h ps://reclaimyourface.eu/

Slide 127

Slide 127

«[T]wo European Parliament o cials told EURACTIV that there appeared to be a clear majority in favour of the ban.» ☞ AI Act: EU Parliament’s discussions heat up over facial recognition, scope ffi tt h ps://www.euractiv.com/section/digital/news/ai-act-eu-parliaments-discussions-heat-up-over-facial-recognition-scope/

Slide 128

Slide 128

Predictive Policing Voraus in die Vergangenheit

Slide 129

Slide 129

☞ Crime Prediction So The Markup, 2.12.2021 ft Th «Overall, we found that the fewer White residents who lived in an area […] the more likely PredPol would predict a crime there. e same disparity existed between richer and poorer communities. ware Promised to Be Free of Biases. New Data Shows It Perpetuates Them

Slide 130

Slide 130

Warum – und wie – sollte das in Deutschland nicht passieren?

Slide 131

Slide 131

☞ U.N. Panel: Technology in Policing Can Reinforce Racial Bias The New York Times, 26.11.2020 fi Th « e panel’s warnings add to deepening alarm among human rights bodies over the largely unregulated use of arti cial intelligence across a widening spectrum of government.»

Slide 132

Slide 132

Eine Infrastruktur des ständigen ff staatlichen Zugri s.

Slide 133

Slide 133

Th « e AI and algorithmic systems used by the state, from the military to the municipal level, reveal a covert philosophy of en masse infrastructural command and control […].» ☞ Kate Crawford Atlas of AI, S. 208

Slide 134

Slide 134

Firmen wie Palantir versinnbildlichen diese Gemengelage. Außen und innen, Polizei, Militär und Geheimdienst verschmelzen.

Slide 135

Slide 135

Palantir hat Angst.

Slide 136

Slide 136

tt ☞ h ps://markets.businessinsider.com/stocks/pltr-stock (11.10.2022)

Slide 137

Slide 137

Daten & Privatsphäre

Slide 138

Slide 138

«Wenn wir von staatlichen Eingri en in die Privatsphäre sprechen, sehen wir, dass die Intensität dieser Eingri e mit dem Grad der Abhängigkeit vom Staat zunimmt.» ☞ Francesca Schmidt & Johanna Luise Mellentin – Überwachung und KI ff ff in netzforma*e.V. (Hrsg.) – Wenn KI, dann feministisch, Berlin 2021, S. 18

Slide 139

Slide 139

Hartz IV Ge üchtete fl Migrantische Communities

Slide 140

Slide 140

Überwachung ist ein Problem der betro enen Individuen. Aber kein individuelles. aus der Perspektive des «Ich habe nichts zu verbergen» zu argumentieren hilft deswegen nicht ff Normalisierung der Überwachung

Slide 141

Slide 141

☞ Salomé Viljoen — Data Relations fi fi fi h ps://logicmag.io/distribution/data-relations/ tt Th « e point is not to de ne the terms of our individual data cation […] but to de ne the terms of our collective data cation.»

Slide 142

Slide 142

Es muss allen möglich sein ohne Angst vor dem digitalen Panoptikum durch die Straßen zu laufen.

Slide 143

Slide 143

☞ tt tt Facebooks Casual Conversations Dataset h ps://twi er.com/SashaMTL/status/1469318894208880653

Slide 144

Slide 144

☞ Chloe Xiang – AI Is Probably Using Your Images and It’s Not Easy to Opt Out h ps://www.vice.com/en/article/3ad58k/ai-is-probably-using-your-images-and-its-not-easy-to-opt-out vielleicht egaler bei einem Twitter Profil Bild aber medizinische Bilder, Hacks? tt Th « ere is currently not a good way to opt out of being included in these datasets, and in [some cases], there is no way to know what images have been used to train the tools because they are not open-source.»

Slide 145

Slide 145

tt ☞ h ps://haveibeentrained.com/

Slide 146

Slide 146

Was tun? I want you tech for good

Slide 147

Slide 147

«Gespentisch ist der digitale Wind, der durch unser Haus bläst.» ☞ Byung-Chul Han — Im Schwarm, Ansichten des Digitalen tt Ma hes & Seitz 2017, S. 75

Slide 148

Slide 148

h ps:// ytwo.in/paradigm-shi /found-in-translation/ ft ft fi tt ☞

Slide 149

Slide 149

☞ Paolo Cirio – Capture

Slide 150

Slide 150

KI codi ziert das menschliche fi Zusammenleben.

Slide 151

Slide 151

«Our technology is accelerating at a frightening rate, a rate faster than our re ective understanding of its impact.» ☞ Tatiana Mac – Canary in a Coal Mine fl tt h ps://alistapart.com/article/canary-in-a-coal-mine-how-tech-provides-platforms-for-hate/

Slide 152

Slide 152

Solange wir die Herrscha der Menschen über die Menschen nicht in den Fokus unserer Kritik rücken, werden wir uns wieder und wieder nur an den Symptomen dieser Herrscha abarbeiten. ft ft Solange wir die Herrschaft der Menschen über die Menschen nicht in den Fokus unserer Kritik rücken, werden wir uns wieder und wieder nur an den Symptomen dieser Herrschaft abarbeiten.

Slide 153

Slide 153

«Others constantly work to prevent harm, unable to nd the time, space or resources to implement their own vision of the future.» ☞ Timnit Gebru fi The Guardian, 6.12.2021

Slide 154

Slide 154

«Wir brauchen solche freien Orte, an denen wir o en sprechen – auch über revolutionäre Ideen, wie wir in Zukun anders leben können.» ☞ Meredith Whi aker tt ff tt h ps://www.heise.de/hintergrund/Sogenannte-KI-basiert-von-Natur-aus-auf-einer-Machtbeziehung-7219321.html?seite=all

Slide 155

Slide 155

Denn erst, wenn wir gut zu uns sind, können die Maschinen es auch sein.

Slide 156

Slide 156

www Around the Web A digest of interesting links. .ovl.design/atw

Slide 157

Slide 157

h ps://r.ovl.design/csn2 Twi er: @_ovlb Slides Sources & Resources Recording tt tt Transcript

Slide 158

Slide 158

Th Danke. ank you. Oscar Braunert code & design www.ovl.design o@ovl.design Merci. спасибо. ♡