Computer Says No – Künstliche Intelligenz & Herrschaft

A presentation at Computer says no in October 2022 in Stuttgart, Germany by Oscar

Computer says no. f Künstliche Intelligenz & Herrscha

h ps://r.ovl.design/csn2 Twi er: @_ovlb Slides Sources & Resources Recording tt tt Transcript

Künstliche Intelligenz ist eine grobe Kategorie

Künstliche Intelligenz ist eine Nebelkerze der Begriff will mehr als technisch ist

Technisch wird es vor allem um Machine Learning gehen
Unterscheidung wichtig in einem technischen Diskurs

«For my purposes, I use AI to talk about the massive industrial formation that includes politics, labor, culture and capital.» ☞ Kate Crawford Atlas of AI, p. 9 ML, Algorithmen -> Technik KI -> soziale Zusammenhänge

In diesem Sinne ist es kein technischer Vortrag.

ImageNet Algorithmen & Arbeit Künstliche Ideologie Was tun? ich spreche über eine Reihe an Dingen nicht: z.B. DALL-E und Stable Diffusion, AI Hype

ImageNet Wie Machine Learning sich für immer veränderte

fl Der vielleicht ein ussreichste Datensatz.

Der vielleicht ein ussreichste Algorithmus. fl aber eins nach dem anderen

Die Idee: Den Goldstandard für Bilder sammeln. Fei-Fei Li, 2006

Die Umsetzung: Bilder sammeln. Leichter gesagt, als getan.

Es dauerte drei Jahre bis genug Bilder gesammelt waren. Genug heißt: Vierzehn Millionen.

PASCAL VOC 19.737 Bilder in zwanzig Kategorien PASCAL Visual Object Classes

fi Wie klassi ziert man 14 Millionen Bilder?

Ein Job für Studienanfänger*innen Dauer: 19 Jahre Jia Deng

Ein Job für einen Algorithmus? Algorithmische Ergebnisse müssen kontrolliert werde

«On this new platform, anyone could construct a ‹Human Intelligence Task› to be completed by the workers on the platform.» ☞ Denton, E. et al. (2021) On the genealogy of machine learning datasets
tt h ps://journals.sagepub.com/doi/full/10.1177/20539517211035955

☞ Denton, E. et al. (2021) On the genealogy of machine learning datasets
h ps://journals.sagepub.com/doi/full/10.1177/20539517211035955 tt Th « is solution quickly solved [the] problem by allowing the problem to be broken down and distributed across 49 thousand workers from 167 countries.»

Das menschliche Sehen als rein mechanischer Prozess. Visuelle Intelligenz als Mustererkennung kein Kontext problem, das in ML bis heute besteht

☞ Uni Tübingen Gatys, Ecker, Bethge – Texture and art with deep neural networks, 2017

Und nun? Von 201o–2017 ImageNet Large Scale Visual Recognition Challenge

In 2012 wurde AlexNet vorgestellt. Die Einführung der Neuronalen Netze Alex Krizhevsky und sein Team der Universität Toronto diese Netze in den folgenden Jahren und bis heute einer der tonangebenden Paradigmen im Machine Learning.

Mehr und mehr Daten Fehlender Consent Mechanisches Verständnis menschlicher Wahrnehmung Deep Learning

Worüber reden wir, wenn wir über Arbeit reden?

Worüber reden wir, wenn wir über Arbeit reden? Unbezahlte Arbeit Unsichtbare Arbeit Durch Algorithmen kontrollierte Arbeit Unbezahlte Arbeit -> Recaptcha

KI tut dies, KI tut jenes. In Go gewonnen, Texte geschrieben, protein folding.

«Headlines like ‹AI discovered how to cure a type of cancer›. Of course it’s never AI that did this. It’s researchers […] who use AI machine learning tools like any other tool. ☞ Arvind Narayanan Fake AI, S. 24

☞ 80% menschliche Arbeit The Economist – For AI, data are harder to come by than you think

«Training a machine-learning system requires large numbers of carefully labelled examples, and those labels usually have to be applied by humans.» ☞ For AI, data are harder to come by than you think tt h ps://www.economist.com/technology-quarterly/2020/06/11/for-ai-data-are-harder-to-come-by-than-you-think

«We could think of this as a kind of Potemkin AI – li le more than facades, designed to demonstrate […] what an automated system would look like.» ☞ Kate Crawford tt Atlas of AI, S. 65

☞ New York Daily News $5 für Gesichts-Scans 2021 macht Google Werbung damit wie gut Android Schwarze Gesichter erkennen kann

☞ Thermometer April 2020 Algorithm Watch

Geisterarbeit ist überall. Mary L. Gray und Siddharth Suri Die Verifizierung neuer Bankaccounts, die [Moderation von Inhalten bei Facebook oder Twitter] Plattformen wie Fiverr

«Wir sollten uns nicht davor fürchten, dass Menschen durch Technologie ersetzt, sondern dass sie entwertet werden.» ☞ Mary L. Gray h ps://www.derstandard.at/story/2000124843896/klick-fuer-klick-zum-hungerlohn-das-digitale-prekariat-waechst tt in Finnland im Knast, im globalen Süden

☞ Wikimedia Triangle Shirtwaist Factory, 25. März 1911 146 Tote Ausgänge der Fabrik verschlossen

☞ 10.12.2021 tt sechs Tote Tim Vizer/AFP via Ge y Images

More Perfect Union; h ps://twi er.com/MorePerfectUS/status/1470513075489054720 tt tt ☞

tt ☞ Soo Oh/Reveal; h ps://revealnews.org/article/how-amazon-hid-its-safety-crisis/

«A swing of a second or two in the average time to complete a task can make the di erence between ge ing kudos from a manager or a warning about job performance.» ☞ In Amazon’s Flagship Ful llment Center, the Machines Run the Show Bloomberg Businessweek tt fi ff Amazon in Bad Hersfeld Abmahnung wg 16 Sek zu früh in Pause

«You have to do unsafe things to make your numbers.» ☞ In Amazon’s Flagship Ful llment Center, the Machines Run the Show fi Bloomberg Businessweek

Die Verdichtung der Arbeit ist auch eine Verdichtung der Zeit. Unternehmen schlucken alle Lebenssekunden hinter den Fabriktoren.

Bestrebungen zur Automatisierung sind so alt wie der Kapitalismus.

«In wenig Monaten schon war eine Maschine fertig, die dem Anscheine nach mit dem Denkvermögen, Gefühl und Takt des erfahrnen Arbeiters begabt war.» ☞ Andrew Ure – Philosophy of Manufactures zit nach Engels, 1844

«Doch was als radikal neue Form der Arbeit daher kommt, ist im Licht der historischen Entwicklung o mals mehr eine Wiederkehr früherer Arbeitsverhältnisse.» ☞ Heiner Heiland – Zurück in die Zukun ft f ft tt h ps://www.rosalux.de/publikation/id/39921/zurueck-in-die-zukun -1

Und ewig grüßt das Kapitalverhältnistier. Union Busting, Vereinzelung durch algorithmisches Management

«Die Arbeiter müssen sich also bestreben, aus dieser vertierenden Lage herauszukommen […] und dies können sie nicht tun, ohne gegen das Interesse der Bourgeoisie als solcher […] anzukämpfen. ☞ Friedrich Engels – Die Lage der arbeitenden Klasse in England

Gig-Work und algorithmis e Undur si tigkeit ch ch letzter Teil zur Arbeit

Welchen Ein uss haben Algorithmen? ff fl Es ist nicht überall so o ensichtlich wie im Lagerhaus.

Unklarheit führt zu Wissenshierarchien. Verschleierung der Auswirkungen, aber auch der sozialen Beziehungen

Traut man der PR-Abteilung der Unternehmen? Heiland -> Algorithmus dumm Deliveroo Italien -> Produktivität als Bewertungskriterium

«Data, as it is conceived of now, simply ows away from workers and to the platform, where it becomes proprietary, valuable, and ‹big.›» ☞ ‘Worker Data Science’ Can Teach Us How to Fix the Gig Economy tt h ps://www.wired.com/story/labor-organizing-unions-worker-algorithms/

Wie soll man verstehen, was nicht fassbar ist? Wie soll man fassen, was sich verändert?

Diese Hierarchien können nur aufgelöst werden, wenn die Algorithmen o engelegt ff werden.

Faulenzen gegen die Überwachung? Die Verlangsamung der Arbeit ist ein Mi el des Arbeitskampfes. -> Bummelstreik -> Auch Fabrikalgo lernen aus Vergangenheit

«[Es] ergab sich, dass an mehreren Stellen von Paris unabhängig voneinander und gleichzeitig nach den Turmuhren geschossen wurde.» ☞ Walter Benjamin — Geschichtsphilosophische Thesen Zur Kritik der Gewalt und andere Aufsätze, Suhrkamp 1965, S. 91 Juni Revolution 1830

Der Widerstand braucht Organisierung. Algorithmen sind ein Mittel der Herrschaft

«Es gibt keine kurzen Wege zu einem internationalen Streik ohne stabile Organisierung in den Betrieben.» ☞ Nina Scholz Die wunden Punkte von Amazon, Google, Deutsche Wohnen & Co., S. 35f.

Der Rohsto sind unsere Geschichten. Die Märkte Kontrolle und Hokuspokus. ff Die Innovation ist alt und gammlig.

Wir sehen eine Konzentration der Daten in den Rechenzentren.

«Der Übersetzungsassistent ist (derzeit) für alle ‹frei nutzbar› und dennoch machen wir uns mit seiner Nutzung von Google abhängig.» ☞ çapulcu redaktionskollektiv De_lete!, S. 47

Too big to fail? Facebooks Aktienpreis um 60% eingebrochen Twitter und Musk in einem ewigen Tango des Untergangs

☞ Meredith Whi aker – The Steep Cost of Capture fi tt Interactions, November/December 2021 ft Th « ese companies control the tooling, development environments, languages, and so ware that de ne the AI research process —they make the water in which AI research swims.»

☞ Cody O’Loughlin for The New York Times

tt tt ☞ h ps://twi er.com/timnitGebru/status/1334352694664957952

«We have identi ed a wide variety of costs […] and the risk of substantial harms.» ☞ Bender, Gebru, McMillan-Major, Mitchell fi On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜

tt tt ☞ h ps://twi er.com/mmitchell_ai/status/1362885356127801345

fi Das Internet ist eine Er ndung des Militärs.

Geschä e mit dem Militär sind Teil des ft ft Kerngeschä s.

«As the Pentagon would have it, Project Maven will open the door to a new era of arti cially intelligent spycra . Nothing will go unseen.» ☞ How Big Tech is helping build the Pentagon’s all-seeing eye-in-the-sky ft fi Fast Company, 18.6.2019

Technologie zwischen zivil und militärisch.

«It uses a predictive technique known as cluster analysis that can similarly be used to predict that a man walking around aimlessly may be preparing an a ack.» ☞ How Big Tech is helping build the Pentagon’s all-seeing eye-in-the-sky tt Fast Company, 18.6.2019

Nach Protesten durch Mitarbeiter*innen zog Google sich zurück.

Google tut es leid. naja nicht soooooooo sehr Pentagon und andere militärische Institutionen bleiben wichtige Kundinnen Googles

☞ Der Cyberraum; Screenshot Kommando Cyber- und Informationsraum

Die Anscha ung bewa neter Drohnen ist Teil des Koalitionsvertrags. ff ff Sie sollen aber nur ethisch töten.

«Bereits der Einsatz von vom Menschen gesteuerten bewa neten Drohnen hat die Schwelle zum Einsatz militärischer Gewalt gesenkt und den Krieg weiter entgrenzt […]. ☞ AI Scientists for Peace ff tt h ps://aiscientists4peace.org/

«It was con dent that it was right 90 percent of the time, so it was con dently wrong. And that’s not the algorithm’s fault. It’s because we fed it the wrong training data.» ☞ This Air Force Targeting AI Thought It Had a 90% Success Rate. It Was More Like 25% fi fi Defense One, 9.12.2021

Die Algorithmen werden besser werden. Es braucht deswegen eine grundlegende Kritik an staatlichem Töten.

«Herrscha durch Gewalt ist sowohl in die autonome Wa entechnologie als auch in den Rahmen des Denkens und der Politik eingemeißelt, welcher zu ihrer Entwicklung und ihrem potentiellen Einsatz führt.» ☞ Ray Acheson – Feminismus und automatisierte Wa ensysteme ff ff ft Wenn KI, dann feministisch, S. 91

Die deutsche Polizei sammelt eißig Gesichter. Wenn du im Juli 2017 in Hamburg warst, vermutlich auch deins. Videmo 360 hunderttausende Gesichter fl 100 Terrabyte Bildmaterial

Was macht eine zur Stra äterin? ft Manchmal reicht es schon von einem Bullen verkloppt zu werden.

In Hamburg sind fünf Jugendliche angeklagt. Ihnen wird nichts vorgeworfen. Rondenbarg Verfahren

«Polizeigewalt hat es nicht gegeben.» ☞ Olaf Scholz NDR Interview

☞ kein einziger Polizist verurteilt Hessische Polizisten bei keiner Polizeigewalt

Der Einsatz von Videmo wurde für rechtens erklärt. tt ft Die Befugnisse des Datenschutzbeau ragten beschni en.

Im Mai 2020 wurde die umstri ene Datenbank gelöscht. tt Es gab keine strafrechtliche Erforderlichkeit mehr.

Im Rahmen des Programms Polizei 20/20 wird an bundeseinheitlichen Pla formen tt gearbeitet.

Dabei zeigt sich immer wieder, dass ft Gesichtserkennung fehlerha ist.

tt ☞ h ps://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28

Gesichtserkennung hat im ö entlichen ff Raum nichts zu suchen.

Gesichtserkennung hat in den Tools der Polizei nichts zu suchen.

Selbst Facebook wendet Gesichtserkennung fl nicht mehr ächendeckend an.

«[T]wo European Parliament o cials told EURACTIV that there appeared to be a clear majority in favour of the ban.» ☞ AI Act: EU Parliament’s discussions heat up over facial recognition, scope ffi tt h ps://www.euractiv.com/section/digital/news/ai-act-eu-parliaments-discussions-heat-up-over-facial-recognition-scope/

Predictive Policing Voraus in die Vergangenheit

☞ Crime Prediction So The Markup, 2.12.2021 ft Th «Overall, we found that the fewer White residents who lived in an area […] the more likely PredPol would predict a crime there. e same disparity existed between richer and poorer communities. ware Promised to Be Free of Biases. New Data Shows It Perpetuates Them

Warum – und wie – sollte das in Deutschland nicht passieren?

☞ U.N. Panel: Technology in Policing Can Reinforce Racial Bias The New York Times, 26.11.2020 fi Th « e panel’s warnings add to deepening alarm among human rights bodies over the largely unregulated use of arti cial intelligence across a widening spectrum of government.»

Eine Infrastruktur des ständigen ff staatlichen Zugri s.

Th « e AI and algorithmic systems used by the state, from the military to the municipal level, reveal a covert philosophy of en masse infrastructural command and control […].» ☞ Kate Crawford Atlas of AI, S. 208

Firmen wie Palantir versinnbildlichen diese Gemengelage. Außen und innen, Polizei, Militär und Geheimdienst verschmelzen.

tt ☞ h ps://markets.businessinsider.com/stocks/pltr-stock (11.10.2022)

«Wenn wir von staatlichen Eingri en in die Privatsphäre sprechen, sehen wir, dass die Intensität dieser Eingri e mit dem Grad der Abhängigkeit vom Staat zunimmt.» ☞ Francesca Schmidt & Johanna Luise Mellentin – Überwachung und KI ff ff in netzforma*e.V. (Hrsg.) – Wenn KI, dann feministisch, Berlin 2021, S. 18

Hartz IV Ge üchtete fl Migrantische Communities

Überwachung ist ein Problem der betro enen Individuen. Aber kein individuelles. aus der Perspektive des «Ich habe nichts zu verbergen» zu argumentieren hilft deswegen nicht ff Normalisierung der Überwachung

☞ Salomé Viljoen — Data Relations fi fi fi h ps://logicmag.io/distribution/data-relations/ tt Th « e point is not to de ne the terms of our individual data cation […] but to de ne the terms of our collective data cation.»

Es muss allen möglich sein ohne Angst vor dem digitalen Panoptikum durch die Straßen zu laufen.

☞ tt tt Facebooks Casual Conversations Dataset h ps://twi er.com/SashaMTL/status/1469318894208880653

☞ Chloe Xiang – AI Is Probably Using Your Images and It’s Not Easy to Opt Out h ps://www.vice.com/en/article/3ad58k/ai-is-probably-using-your-images-and-its-not-easy-to-opt-out vielleicht egaler bei einem Twitter Profil Bild aber medizinische Bilder, Hacks? tt Th « ere is currently not a good way to opt out of being included in these datasets, and in [some cases], there is no way to know what images have been used to train the tools because they are not open-source.»

«Gespentisch ist der digitale Wind, der durch unser Haus bläst.» ☞ Byung-Chul Han — Im Schwarm, Ansichten des Digitalen tt Ma hes & Seitz 2017, S. 75

h ps:// ytwo.in/paradigm-shi /found-in-translation/ ft ft fi tt ☞

KI codi ziert das menschliche fi Zusammenleben.

«Our technology is accelerating at a frightening rate, a rate faster than our re ective understanding of its impact.» ☞ Tatiana Mac – Canary in a Coal Mine fl tt h ps://alistapart.com/article/canary-in-a-coal-mine-how-tech-provides-platforms-for-hate/

Solange wir die Herrscha der Menschen über die Menschen nicht in den Fokus unserer Kritik rücken, werden wir uns wieder und wieder nur an den Symptomen dieser Herrscha abarbeiten. ft ft Solange wir die Herrschaft der Menschen über die Menschen nicht in den Fokus unserer Kritik rücken, werden wir uns wieder und wieder nur an den Symptomen dieser Herrschaft abarbeiten.

«Others constantly work to prevent harm, unable to nd the time, space or resources to implement their own vision of the future.» ☞ Timnit Gebru fi The Guardian, 6.12.2021

«Wir brauchen solche freien Orte, an denen wir o en sprechen – auch über revolutionäre Ideen, wie wir in Zukun anders leben können.» ☞ Meredith Whi aker tt ff tt h ps://www.heise.de/hintergrund/Sogenannte-KI-basiert-von-Natur-aus-auf-einer-Machtbeziehung-7219321.html?seite=all

Denn erst, wenn wir gut zu uns sind, können die Maschinen es auch sein.

www Around the Web A digest of interesting links. .ovl.design/atw

Th Danke. ank you. Oscar Braunert code & design www.ovl.design o@ovl.design Merci. спасибо. ♡

Oscar
@ovl

1 / 158

Gesichtserkennung, Proteine, Go, tanzende Roboter. Künstliche Intelligenz hangelt sich von Höhepunkt zu Höhepunkt. Im Narrativ der Fortschrittsgläubigen und Hurra-Optimistischen hat die mathematische Beschreibung der Welt nur eine Richtung: nach vorne, aber mit Gewalt.

Gewalt hingegen ist es, was durch diese Beschreibungen ausgeführt, in ihnen festgeschrieben und unter dem Deckmantel der vermeintlichen Neutralität legitimiert wird. Jenseits von lustig werden die Roboter von Boston Dynamics mittlerweile stolz als Waffensysteme präsentiert, lehnen Algorithmen scheinbar willkürlich Kreditanträge ab und helfen Verdächtige in den Knast zu bringen. Ob die was getan haben, nebensächlich.

Was also ist ist ein Algorithmus wert, der die Herrschaft beschreibt? Was eine Intelligenz, die nur das Gestern reproduzieren kann? Und was eine Gesellschaft, die das Gestern zum Morgen machen möchte?

Willkommen in der kleinen Ernüchterungsshow.

Resources

The following resources were mentioned during the presentation or are useful additional information.

«On this new platform, anyone could construct a ‹Human Intelligence Task› to be completed by the workers on the platform.» ☞ Denton, E. et al. (2021) On the genealogy of machine learning datasets

☞ Denton, E. et al. (2021) On the genealogy of machine learning datasets

Link for this presentation:

HTML code for embedding:

Share on social media: