NEUE TECHNOLOGIEN AM ARBEITSPL ATZ KI UND ALGORITHMISCHES MANAGEMENT IM EUROPÄISCHEN DIENSTLEISTUNGSSEKTOR Verbreitung, Funktionen und ein Leitfaden für Verhandlungen Steven Rolf Diese Studie wurde in Zusammenarbeit zwischen dem FES-Kompetenzzentrum Zukunft der Arbeit und UNI Europa erstellt.

Inhalt GLOSSAR 2 ZUSAMMENFASSUNG 3 1 EINLEITUNG 4 2 KI UND ALGORITHMISCHE MANAGEMENTSYSTEME IN EUROPÄISCHEN DIENSTLEISTUNGSBRANCHEN: VERBREITUNG, ÜBERSICHT UND FUNKTIONEN 6 3 KI UND ALGORITHMISCHES MANAGEMENT FÜR DEN VERTRIEB: SALESFORCE UND ACTIVTRAK 11 4 KI UND ALGORITHMISCHE MANAGEMENTTOOLS FÜR VOR-ORT-TÄTIGKEITEN: DIE LAGERVERWAL­ TUNGSSYSTEME INFOR UND BLUE YONDER. 16 5 TARIFVERHANDLUNGEN UND VERHANDLUNGEN IN BEZUG AUF KI UND ALGORITHMISCHE TOOLS 20 6 SCHLUSSFOLGERUNGEN UND EMPFEHLUNGEN 22 LITERATURVERZEICHNIS 24 1

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor Glossar AAMS(KI und algorithmisches Managementsystem) Breite Palette von Softwaresystemen, die von Führungskräften zum Einstellen, Schulen, Verwalten, Evaluieren und/oder Belohnen oder Disziplinieren von Mitarbeitenden verwendet werden. AAMS enthalten einige Elemente der Management-Automatisierung, von einfachen Automatisierungen bestimmter Prozesse bis hin zum Einsatz von KI, die viele Managementfunktionen anpasst und integriert. ATS(Applicant Tracking System, also Bewerber_ innen-­Tracking-Systeme) Software zur Unterstützung von Manager_innen beim Einstellungsprozess, geht von Lebenslauf-Screenings bis hin zur Analyse von Bewerbungsschreiben. Bossware Software zur Verwaltung von Mitarbeitenden. Siehe AAMS. ChatGPT Ein großes Sprachmodell(siehe LLM), das Text mithilfe von KI generiert. CRM-Software(Customer Relationship Management) Eine Unterart von ERP-Software für Unternehmen, die von den Beziehungen zu ihren Kunden abhängig sind. Misst Verkäufe, Leads und eine Reihe anderer Metriken. genutzt wird(z. B. Computer, Smartphones/Tablets, aber auch Netzwerke). KI(künstliche Intelligenz) Breite Palette von Softwarefunktionen. Am weitesten verbreitet sind Technologien des maschinellen Lernens(siehe ML). KPI(Key Performance Indicator) Metriken, die üblicherweise am Arbeitsplatz verwendet werden, um die Leistung von Mitarbeitenden zu messen. LLM(Large Language Model, d. h. großes Sprach­ modell) Ein Algorithmus, der Big Data und natürliche Sprachverarbeitung nutzt, um menschliche Interaktionen zu imitieren und auf Anfragen zu reagieren. LMS(Lernmanagementsystem) Empfiehlt Schulungsressourcen je nach Leistung, Qualifikation und Kompetenzen. ML(maschinelles Lernen) Verwendung von Algorithmen, um Muster in Daten zu erkennen und daraus umfassende Schlussfolgerungen zu ziehen, die auf andere Kontexte angewendet werden können. Datafizierung Aufteilung von Aufgaben in kleinere Einheiten, die dann digital gemessen und evaluiert werden können. ERP-Software(Enterprise Resource Planning, d. h. Waren­wirtschaftssoftware) In der Regel die wichtigste Softwareplattform für mittlere und große Unternehmen, umfasst Prozesse wie Management, HR, Buchhaltung und mehr. Gamification Schafft Anreize für Mitarbeitende, durch spieleähnliche Verwendung von Metriken und Punkten Leistung zu erbringen. IKT(Informations- und Kommunikationstechnologie) Bezeichnet Technik, die zum Erheben, Speichern, Übertragen und Weiterverarbeiten von Daten und Informationen Taskifizierung Aufteilung von Aufgaben in kleinere Einheiten, die dann digital gemessen, evaluiert und kontrolliert werden können.(Siehe Datafizierung). Wearables Kleine Computersysteme, die direkt am Körper getragen werden. Es existieren verschiedene Arten von Wearables. Am weitesten verbreitet sind Fitness- oder Activity-Tracker sowie Smartwatches. WMS(Warehouse Management System, d. h. Lager­ verwaltungssystem) Software, die von Lagerverwalter_innen verwendet wird, um Warenströme, Arbeitsprozesse und Lagerplatz zu rationalisieren und zu integrieren. 2

Zusammenfassung Zusammenfassung In diesem Bericht wird der zunehmende Einsatz von KI und algorithmischen Managementsystemen(AAMS) in den europäischen Dienstleistungsbranchen thematisiert. – AAMS vermehren sich rasant im gesamten europäischen Dienstleistungssektor. Sie breiten sich über die Plattformökonomie aus und werden an»gewöhnlichen« Arbeitsplätzen wie Büros, Restaurants und Callcentern immer häufiger. Dies liegt zum großen Teil daran, dass sie in bereits bestehende Unternehmenssoftware eingebettet sind. – Während AAMS-Anbieter die Vorteile und Erleichterungen ihrer Produkte groß anpreisen, stellen diese doch eine große Bedrohung für Arbeitnehmende dar. Sie bergen das Risiko einer unrechtmäßigen Überwachung der Arbeitnehmenden, einer Intensivierung des Arbeitstempos, der Schaffung von Wissensungleichgewichten zwischen Arbeitnehmenden und Führungskräften sowie von(oft schlechten) Entscheidungen, die ohne ausreichende Aufsicht getroffen werden. – Der Bericht bietet einen Überblick über AAMS-Funktionen. Dazu zählen extrem weitreichende und wichtige Managementfunktionen wie die Koordinierung, Leitung, Evaluierung und Disziplinierung von Arbeitnehmenden. AAMS werden in jeder Phase des Mitarbeiterlebenszyklus eingesetzt, so auch zur Rekrutierung und Einstellung, zur Schulung und Weiterbildung, zur Zuweisung und Planung von Aufgaben sowie für das Leistungsmanagement und die Produktivitätsverfolgung. – In diesem Bericht werden vier spezifische Beispiele für AAMS untersucht: zwei für den Vertrieb(Salesforce und ActivTrak) sowie zwei für die Lagerverwaltung(Infor und Blue Yonder). Sie zeigen, wie AAMS Führungskräften hilft, granulare Kontrolle über Personen und Teams zu haben, indem der Algorithmus Leistungsmetriken und Empfehlungen für Managementmaßnahmen(einschließlich einer Entlassung) erstellt. Außerdem verdeutlichen sie das außergewöhnliche Informationsungleichgewicht, das AAMS schaffen. – Als Nächstes geht der Bericht auf eine Reihe von Berichten ein, die Vorschläge für Gewerkschaften zu Tarifverhandlungen im Bereich AAMS im europäischen Dienstleistungssektor enthalten. Dabei wird betont, wie dringend nötig effektive Verhandlungen und Vorschriften sind, um potenzielle Bedrohungen abzuschwächen, denen sowohl die Mitarbeitenden als auch die Unternehmen ausgesetzt sind, die von unseriösen AAMS-­Anbietern mit an sich nutzlosen Produkten in die Irre geführt werden. 3

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor 1 EINLEITUNG Die Studie ist Teil eines umfassenden Forschungsprojektes von Friedrich-Ebert-Stiftung(FES) und UNI Europa, um die zunehmende Bedeutung von AAMS für europäische Arbeitnehmende hinsichtlich der Tarifverhandlungen zu untersuchen und sicherzustellen, dass die Arbeitnehmer_innenseite Kontrolle über diese neuen, sich ausbreitenden Tools bekommen. Ein Begleitbericht präsentiert eine Umfrage zur Katalogisierung von Tarifverhandlungen über KI in den europäischen Dienstleistungsbranchen. KI und algorithmische Managementsysteme(»AAMS«) werden in den letzten Jahren im Dienstleistungssektor in Europa vermehrt eingesetzt. Diese Softwarepakete versprechen, die Produktivität zu steigern, mehr Einblicke und Kontrolle über Arbeitsprozesse zu erhalten, die Entscheidungsfindung zu verbessern und zu beschleunigen und unnötige Kosten durch die Optimierung von Arbeitsabläufen zu senken. Diese Tools sammeln erhebliche Datenmengen über Arbeitnehmende und Arbeitsabläufe aus verschiedenen Quellen und analysieren diese dann mit statistischen Techniken(unter anderem mit maschinellem Lernen). Sie sprechen dann entweder Empfehlungen für Führungskräfte aus, um diese bei ihren Entscheidungsprozessen zu unterstützen, oder geben direkt umzusetzende Anweisungen an die Arbeitnehmenden. AAMS werden für eine Vielzahl an Funktionen in den Bereichen Rekrutierung, Schulung, Planung und Leistungsmanagement eingesetzt. Unternehmen liefern sich ein Wettrennen bei der Einführung solcher digitalen Technologien(Stuart et al. 2023). AAMS sind in den Dienstleistungsbereichen stark im Kommen – von Logistik über Catering und Gesundheitswesen bis hin zu Angestellten(sowohl vor Ort als auch Remote) in den Bereichen Finanzen, Recht und Informations- und Kommunikationstechnologie(Eurostat 2022). Sie wirken sich auf Arbeitnehmende aller Qualifikationsstufen aus. Da solche Lösungen nun nicht mehr den Fortune-500-Unternehmen vorbehalten sind, ist der Preis für die Tools durch signifikante Innovationen und Wettbewerb gesunken, sodass auch kleinere und mittelgroße Unternehmen beginnen, sie einzusetzen(OECD 2021). obwohl solche Behauptungen immer wieder auftauchen. 1 Tatsächlich können AAMS als Alternative zur Automatisierung gesehen werden, für die die Unternehmen in der Regel viel und risikoreich in neue Ausrüstung investieren müssen, um menschliche Arbeitskräfte zu ersetzen(Schaupp 2023). Es besteht dagegen die Gefahr, dass AAMS Arbeitnehmende und ihre personenbezogenen Daten unrechtmäßig überwachen, eine Kluft zwischen Führungskräften und Arbeitnehmenden beim Zugang zu Wissen schaffen, die Arbeit bis zum Bruchpunkt(oder darüber hinaus) beschleunigen und operative Entscheidungen zu Produktivitätsmessung, Vergütung von Arbeitnehmenden oder sogar zu Einstellungen und Entlassungen ohne ausreichende menschliche Aufsicht treffen. Darüber hinaus sind KI- und algorithmische ManagementTools oft sogenannte»Black-Box-Technologien«, die Techniken des maschinellen Lernens verwenden, um Daten zu evaluieren, Empfehlungen auszusprechen und Entscheidungen zu treffen. Sie sind daher von Natur aus undurchsichtig und werden oft von den Führungskräften, die sie einsetzen, nicht gut verstanden. Obwohl sie häufig mit Plattformökonomie oder Gig Economy in Verbindung gebracht werden, ist die Nachfrage nach KI- oder algorithmischen Managementsystemen unter Führungskräften auch in»konventionellen« Unternehmen hoch. Vielen Arbeitnehmenden ist möglicherweise nicht bewusst, dass Führungskräfte automatisierte Managementsysteme verwenden(Brunnerová, 2022). Tatsächlich ist vielen Führungskräften auf unteren Ebenen vielleicht nicht bewusst, wie die Leistungskennzahlen, die sie beim Management und bei Einstellungen und Entlassungen verwenden, von algorithmischen oder KI-basierten Softwarefunktionen erstellt werden. Schließlich zögern Unternehmen verständlicherweise, offenzulegen, in welchem Ausmaß sie KI und algorithmische Managementtools verwenden – wobei mache die Nutzung gern übertreiben, während andere sie wiederum herunterspielen. Folglich ist es schwierig, genau abzuschätzen, wie verbreitet solche Systeme sind, und es ist noch schwieriger zu postulieren, wie wichtig sie für die Unternehmen sind, die sie einsetzen. Es wächst jedoch die Sorge, dass AAMS sowohl Mitarbeitenden als auch den Unternehmen im Allgemeinen schaden könnten. Dies ist jedoch nicht darauf zurückzuführen, dass sie eine beträchtliche Anzahl an Arbeitsplätzen gefährden, 1 Siehe zum Beispiel Frey& Osbourne(2017) und Eloundou et al. (2023). Zur Kritik: Benanav(2020). 4

Dieser Kurzbericht hat drei Ziele. Das erste Ziel ist es, einen breit gefassten Überblick über die Hauptfunktionen von KI und algorithmischen Softwaretools zu geben und Schätzungen ihrer Verbreitung zu überprüfen(Teil 2). Ich untersuche, warum Führungskräfte solche Systeme einführen möchten, wie dies in der Praxis erfolgt und was sie von der Einführung erwarten(darunter Schwierigkeiten bei der Implementierung, unbeabsichtigte Konsequenzen und Fehlschläge). Zweitens untersuche ich zwei bekannte Beispiele für sogenannte»Bossware«, die KI und algorithmische Managementtools verwenden, wobei ein Beispiel im Kontext von Remote-Arbeit angesiedelt ist, während das andere für Lagerarbeiten vor Ort verwendet wird(Teile 3 und 4). Drittens gebe ich Vorschläge für Ansätze zu Tarifverhandlungen über KI und algorithmische Managementtools im europäischen Kontext. In der Schlussfolgerung wird auf Verschiebungen im aktuellen regulatorischen Umfeld eingegangen sowie darauf, wie Arbeitnehmende bestmöglich von politischen Entscheidungsträger_innen im Zuge der Einführung von AAMS unterstützt werden können. Einleitung 5

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor 2 KI UND ALGORITHMISCHE MANAGEMENTSYSTEME IN EUROPÄISCHEN DIENSTLEISTUNGSBRANCHEN: VERBREITUNG, ÜBERSICHT UND FUNKTIONEN KI und algorithmische Managementsysteme(AAMS) sind im europäischen Dienstleistungssektor auf dem Vormarsch. Die Kernfunktionen des Managements sind die»Koordination, Leitung, Bewertung und Disziplinierung« von Arbeitnehmenden(Crowley et al. 2020). In jedem dieser Bereiche können AAMS oder Bossware ein wachsendes Spektrum an Managementaufgaben unterstützen oder diese sogar übernehmen. Die meisten Untersuchungen zu AAMS werden in der Plattformökonomie oder der Gig Economy durchgeführt, wo hochgradig prekäre und in der Regel nicht in Arbeitnehmerverhältnissen stehende Arbeitskräfte von Algorithmen für aufgabenbasierte Arbeiten(wie Lieferfahrten oder Personenbeförderung) zugewiesen werden. Die Nachfrage nach solchen Systemen steigt aber auch unter Führungskräften in»konventionellen« Unternehmen(Jarrahi et al. 2021). Hier haben Arbeitnehmende öfter Arbeitsverträge und interagieren regelmäßig mit Vorgesetzten. Während die meisten dieser Arbeitnehmenden weiterhin direkt und persönlich einem menschlichen Vorgesetzten unterstehen, steigt die Wahrscheinlichkeit, dass diese Führungskraft algorithmische und KI-basierte Tools nutzt, um Entscheidungen zu treffen, die Auswirkungen auf die Mitarbeitenden haben. wie IBM und Oracle erhältlich(Stohr& Zhao 2001). Managementalgorithmen werden jedoch zunehmend durch Big-Data-Analysen und leistungsstarke Technologien für maschinelles Lernen(ML) ergänzt. ML ist die mit Abstand am weitesten verbreitete Form von künstlicher Intelligenz (KI). Mehr und leistungsstärkere Rechenleistung ermöglicht es, dass ML-Algorithmen riesige Datenmengen aus verschiedenen Quellen dursuchen können – weit mehr, als ein Mensch je könnte. Durch Trial-and-Error-Computing mit Brute Force sollen ML-Technologien Korrelationen zwischen Datenpunkten identifizieren, die Menschen möglicherweise nicht testen würden(z. B. zwischen den Leistungsscores bei Onboarding-Schulungen und der Wahrscheinlichkeit, länger als 6 Monate im Job zu bleiben)(Choudhury et al. 2021). Aufgrund der enormen Rechenressourcen, die benötigt werden, um Daten in großem Maßstab abzugleichen, werden ML-Kapazitäten nur von einer kleinen Anzahl leistungsstarker Unternehmen wie Microsoft, Amazon Web Services und Google angeboten. Kleinere Anbieter von KI- und algorithmischer Software bauen ihre Modelle im Normalfall auf die Ressourcen dieser KI-Giganten auf(Widder et al. 2023). Da die Definitionen von KI und algorithmischem Management weit auseinandergehen, ist es hilfreich, zu Beginn dieses Berichts die Nutzung der Begriffe kurz zu klären. Algorithmen sind einfach gesagt mathematische Regeln, die vordefinierte Ausgaben erzeugen(»wenn x = 1, dann y = 2«). Einfache algorithmische Systeme können von Führungskräften beispielsweise verwendet werden, um Krankheitstage von Mitarbeitenden zu überwachen und ein Gespräch zu vereinbaren, wenn ein bestimmter Grenzwert überschritten wird – oder um automatisch Boni für eine gute Vertriebsleistung zu vergeben. Dadurch sparen Führungskräfte Zeit bei Aufgaben, die sie im Prinzip selbst erledigen könnten. Die Regeln, die angewendet werden, werden von Menschen festgelegt und sind daher im Prinzip für die Arbeitnehmenden transparent. Algorithmen werden seit mindestens zwei Jahrzehnten eingesetzt, um Arbeitsabläufe teilweise zu automatisieren, Aufgaben an Arbeitnehmende zuzuweisen, Leistung zu beurteilen und Fristen durchzusetzen. Unternehmenssysteme mit solchen grundlegenden algorithmischen Managementfunktionen sind von großen Softwareanbietern 2.1 WAS SIND KI UND ALGORITH­ MISCHES MANAGEMENT UND WO WERDEN SIE EINGESETZT In diesem Abschnitt werden die Einsatzbereiche von Algorithmen und KI in vier große Kategorien unterteilt: Rekrutierung und Einstellung, Schulung und Weiterbildung, Planung und Zuweisung von Aufgaben sowie Leistungsmanagement und Produktivitätsverfolgung. Innerhalb dieser breit gefassten Bereiche werden Unterkategorien identifiziert, in denen Bossware eingesetzt wird. Zudem werden Beispiele für Softwarepakete genannt, die diese Dienste anbieten. Gewerkschaften können jeden Arbeitsbereich in ihrem Arbeitsumfeld untersuchen, um die Nutzung von AAMS zu identifizieren. Wie Tabelle 1 zeigt, gibt es für Führungskräfte, die KI und algorithmische Managementsysteme einführen möchten, zahlreiche Softwarepakete und-anbieter. Bewerber-Tracking-­ Systeme werden zunehmend eingesetzt, um Lebensläufe von Arbeitnehmenden zu durchsuchen und anhand von Erfahrungen und Qualifikationen die besten Kandidat_innen 6

KI und algorithmische Managementsysteme in europäischen Dienstleistungsbranchen: Verbreitung, Übersicht und Funktionen Tabelle 1 Überblick über AAMS-Funktionen Management-Gebiet Rekrutierung und Einstellung Schulung und Weiterbildung Aufgabenzuweisung und-planung Leistungsmanagement und Produkti­ vitätsverfolgung Tool Bewerber-Tracking-Systeme (ATS) Kompetenzbewertungsplattformen Personalisierte Lernmanage­ mentsysteme(LMS) Engagement von Mitarbeitenden und FeedbackAnalyse Aufgabenpriorisierung Ressourcenmanagement und-optimierung Meeting-Planung Tools zur Produktivitätsverfolgung Leistungsmanagementtools Automatisierte Zeit­ erfassung Prädiktive Analyse/ Fluktuation Chatbots und virtuelle Assistenten Stimmungsanalyse Überwachung und Kontrolle Beschreibung Automatisiertes Lebenslauf-Screening; filtert Bewerber_innen, um vielversprechende Kandidat_innen zu identifizieren. Evaluiert die Kompetenzen von Kandidat_ innen und überprüft, wie diese zum Unternehmen passen, unter anderem bei Video-­ Bewerbungsgesprächen, Tests vor Bewerbungsgesprächen usw. Empfiehlt maßgeschneiderte Schulungsressourcen, basierend auf Leistung und Fähigkeiten. Sammelt Feedback von Mitarbeitenden und Kund_innen und hebt Muster hervor. Empfiehlt Aufgaben, die priorisiert werden sollten. Empfiehlt Aufgabenzuweisungen durch Optimierung von Arbeitsabläufen. Findet die besten Zeiten für Teambesprechungen. Sammelt Daten aus verschiedenen Quellen, um die Produktivität von Arbeitnehmenden zu messen(auf Teamebene und individuell) und Schwächen zu erkennen. Teilt Ziele für Teams und einzelne Mitarbeitende mit, überwacht die Leistung kontinuierlich, erstellt Leistungsanalysen. Überwacht die Zeit, die für Aufgaben aufgewendet wird. Erkennt Mitarbeitende, bei denen das Risiko besteht, dass sie unterdurchschnittliche Leistungen erbringen oder kündigen könnten. Behandelt routinemäßige öffentliche Anfragen und Anfragen von Mitarbeitenden. Nutzt natürliche Sprachverarbeitung, um die Stimmung innerhalb eines Teams zu messen. Erfassung von Tastatureingaben, Screenshots, Technologie zur Emotionserkennung Beispiele für Software BambooHR, Taleo(Oracle), HireVue TestGorilla, Codility, Pymetrics, Cornerstone, Docebo, Litmos Glint(Microsoft), Leena AI, Surveyymonkey Analytics Smartsheet, Microsoft Asana, Trello Monday.com, Wrike Doodle, Microsoft Bookings Prodoscore, Hubstaff, Time Doctor Betterworks, SuccessFactors Performance und Goals (SAP) Stundenstapel, Clockify, Toggl Visier, IBM Watson(zurückgezogen), RapidMiner Drift, Intercom, ChatGPT Enterprise Mindbreeze; MonkeyLearn Teramind, Veriato, Time Doctor für Bewerbungsgespräche herauszufinden(Chen& Benson 2023). Außerdem werden mithilfe von Kompetenzbewertungsplattformen Kandidat_innen anhand von Vorabtests, Online-Evaluierungen und Video-Bewerbungsgesprächen in einem Ranking sortiert. Personalisierte Lernmanagementsysteme(LMS) empfehlen je nach Leistung, Qualifikation und Kompetenzen entsprechende Schulungsressourcen, während Feedback-Tools die Feedbacks von Arbeitnehmenden sammeln und Muster erkennen. Im Bereich des Aufgabenmanagements können AAMS Aufgaben von Mitarbeitenden priorisieren, Arbeitsabläufe optimieren und Team- oder Review-Meeting planen. Tools zur Produktivitätsverfolgung wie Zeitverfolgungstools und Tools zur Berechnung der Produktivität zeichnen die Zeiten auf, die für Aufgaben aufgewendet werden, erkennen Ineffizienzen in Arbeitsabläufen und messen die Disziplin von Mitarbeitenden. Bei der prädiktiven Personenanalyse werden potenziell leistungsschwache Mitarbeitende identifiziert und die Fluktuationsraten geschätzt. Leistungstools sammeln Produktivitätsdaten, teilen Teamziele, überwachen die Leistung, erzwingen durch automatisierte Warnungen Zeitdisziplin von den Arbeitnehmenden und bieten sogenannte»Personen­ analysen«(Leistungskennzahlen für Führungskräfte). Chatbots beantworten routinemäßige Anfragen von Kund_innen und unterstützen Kundendienstteams, während bei der Stimmungserkennung natürliche Sprachverarbeitung genutzt wird, um die Stimmung im Team zu erfassen(Wise 2023). Mit Überwachungstools lassen sich Tastatureingaben und Bildschirmaktivitäten erfassen, sie erheben(manchmal) den Anspruch, die Konzentration der Mitarbeitenden und die für eine Aufgabe aufgewendete Zeit zu messen. In diesen und weiteren Bereichen konkurrieren Softwareanbieter miteinander, um ihre Produkte an Führungskräfte zu verkaufen. Es ist in der Regel möglich, solche Technologien als eigenständige Systeme einzusetzen. Wolfie Christl (2023b), Direktor und leitender Forscher bei Cracked Labs 2 hat jedoch dokumentiert, wie einzelne AAMS-Tools zunehmend als Plug-ins für breiter gefasste ERP-Systeme(Warenwirtschaftssoftware-Systeme) und CRM-Systeme(Customer-­ Relationship-Management-Systeme, angeboten werden. Wie oben erwähnt, werden diese seit bereits zwei Jahrzehnten in größeren Unternehmen eingesetzt und nutzen schon lange 2 https://crackedlabs.org/ 7

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor einfache Formen von algorithmischem Management. Durch die Erweiterung von unternehmensweiter Software um MLFunktionen können AAMS auf größere Datenmengen zugreifen, als sie sonst integrieren könnten. Beispielsweise können Process-Mining-Softwarelösungen wie Celonis und UiPath große Mengen an Ereignisprotokollen für Geschäftsprozesse analysieren, um so Schwachstellen zu identifizieren. Dabei werden auch Daten zu Arbeitsabläufen, Teams und einzelnen Arbeitnehmenden verarbeitet(Christl 2023a). Große Sprachmodelle: ein wachsendes Feld der AAMS Auch wenn sie noch eine Minderheit unter den AAMS sind, ist die Einführung von großen Sprachmodellen (LLMs) zum Sammeln von Daten auf Unternehmensebene auf dem Vormarsch. Unternehmen liefern sich ein Wettrennen, um Lösungen zu verkaufen, die auf der Architektur großer Sprachmodelle wie ChatGPT, Bard und Llama basieren, so etwa in Form von Produkten wie ChatGPT Enterprise. Der Leiter der Firma Workmetrics, der für Forbes schreibt, schlägt Folgendes vor: Wenn Tools wie ChatGPT und Bard auf die Arbeitsergebnisse eines ganzen Jahres, Meetings und andere Daten zugreifen können, kann die Personalabteilung schnell benutzerdefinierte Vorlagen erstellen, mit denen Mitarbeitende aufgefordert werden, Details zu ihren Errungenschaften, Verbesserungsbereichen und zukünftigen Zielen anzugeben. Die Ergebnisse können verwendet werden, um Bereiche zu erkennen, in denen Mitarbeitende hervorragende Leistungen erbringen, sowie jene, in denen sie zusätzliche Unterstützung brauchen. Im Gegenzug können Führungskräfte bei Leistungs-Reviews produktive Gespräche führen und die Mitarbeitenden in weiterer Folge anleiten, sich in ihren Positionen weiterzuentwickeln. Um Leistungen von Arbeitnehmenden im Zeitverlauf automatisch zu evaluieren und weitere persönliche Funktionen(wie Empfehlungen für Meetings und Schulungen) bieten zu können, müssen LLM große Mengen an Text und anderen Daten von Arbeitnehmenden nutzen. Das ist hinsichtlich personenbezogener Daten und Privatsphäre äußerst riskant. Wie andere Formen von KI generieren LLM aufgrund ihrer Neigung zu sogenannten»Halluzinationen« leicht falsche oder irreführende Schlussfolgerungen(siehe Abschnitt 2.2 unten). Die Nutzung von LLMs stellt auch ein großes Risiko für die personenbezogenen Daten von Arbeitnehmenden dar, da für die nützlichen Funktionen(wie die vorgeschlagene Planung von Meetings) Zugriff auf E-Mails und Kalender der Mitarbeitenden nötig ist. Die Zuverlässigkeit, Effizienz und Sicherheit solcher Tools muss sorgfältig überwacht werden. Wie oben erwähnt, ist die Plattformökonomie in gewisser Weise eine Pionierbrache für den Einsatz solcher AAMS, denn hier haben algorithmische Tools und KI-Tools nahezu volle Kontrolle über alle Aktivitäten der Arbeitnehmenden. Für Arbeitnehmende im Bereich der Essensliefer- und Personenbeförderungsplattformen(zum Beispiel) ist es ungewöhnlich oder sogar unmöglich, mit menschlichen Vorgesetzten zu interagieren. 3 Die meisten Mitarbeitenden in konventionellen Unternehmen werden jedoch nicht derart umfassend von einem AAMS bei ihrer Arbeit kontrolliert werden. Stattdessen koordinieren, leiten, evaluieren und disziplinieren die Tools die Arbeitnehmenden hinter den Kulissen – in Form von Empfehlungen an die Führungskräfte. Ein Bericht des Weißen Hauses lässt darauf schließen, dass in einigen Dienstleistungsbranchen in den USA(Einzelhandel, Transport und Finanzen) rund 20 Prozent der Arbeitnehmenden von einem AAMS betroffen sind(White House 2022). Eine weitere, kürzlich durchgeführte große Studie in Europa (COLLEEM II) legt nahe, dass zwar nur 3 Prozent der Arbeitnehmenden in der Gig Economy und Plattformökonomie unter einem hohen Maß an Kontrolle durch ein AAMS arbeiten, aber ein deutlich höherer Prozentsatz von 14,1 Prozent der Mitarbeitenden unter einem gewissen Maß an Kontrolle durch ein AAMS tätig ist(Fernandez Macias et al. 2023). Jedoch sind Umfragen unter Arbeitnehmenden nicht unbedingt aussagekräftig, da sich die Arbeitnehmenden vielleicht gar nicht bewusst sind, dass das Management ein AAMS einsetzt(Holubová 2022). Darüber hinaus ist es vielleicht sogar dem Management nicht bewusst, da das AAMS in Form eines Plug-ins in größere ERP- und CRM-Software eingesetzt werden kann. Führungskräfte haben auch einen erheblichen Ermessensspielraum, ob Empfehlungen des AAMS umgesetzt werden(Wood 2020). Die Abhängigkeit von AAMS ist auf Organisations-, Abteilungs- und sogar individueller Ebene unterschiedlich, wobei solche Tools von manchen extensiv genutzt werden, während andere sie nur gelegentlich einsetzen(oder sich dafür entscheiden, die Empfehlungen des Systems zu ignorieren). Wie Abbildung 1 zeigt, sind Arbeitnehmende in modernen Jobs im Dienstleistungsbereich kontinuierlich mit Bossware konfrontiert. Auch sinkt die Anzahl der Arbeitsplätze, die überhaupt nicht in irgendeiner Form durch KI-gestützte Software mitverwaltet werden. Das Ausmaß, in dem AAMS eingesetzt werden können, hängt stark davon ab, wie sehr die Arbeit einer»Data­ fizierung« und»Taskifizierung« unterzogen werden kann, d. h. Aufgaben werden in kleinste Arbeitsschritte gesplittet, die digital gesteuert, gemessen und evaluiert werden können (Mettler 2023). In manchen Fällen werden Arbeitnehmende ermutigt, in spielähnlichen Systemen(»Gami ­ fication«) mit dem Algorithmus oder sogar mit Kolleg_innen zu konkurrieren(Hammedi et al. 2021). KI und Algorithmen wirken sich folglich auf Beschäftigte in verschiedenen Branchen auf unterschiedlichste Weise aus. Qualifizierte Arbeitnehmende im Informations- und Kommunikationstechnologiebereich können von automatisierten Empfehlungen beim Programmieren profitieren, Rechtsanwälte können mit Hilfe von MLAlgorith­men in kürzester Zeit tausende Seiten Dokumente 3 Siehe Aloisi& De Stefano(2022). Es ist jedoch zu betonen, dass eine vollständige Automatisierung des Managements mit den derzeitigen Technologien unmöglichist, und dass Menschen daher unerlässlich für die Organisation von Arbeitsprozessen sind, auch wenn sie für ihre Arbeitnehmenden nicht erreichbar sind. 8

KI und algorithmische Managementsysteme in europäischen Dienstleistungsbranchen: Verbreitung, Übersicht und Funktionen Abbildung 1 Das Kontinuum von KI und algorithmischem Management in Diensten Wenig bis gar kein Einsatz von algorithmischem Management: Wissensintensive zwischenmenschliche Dienstleistungen(öffentliche Bildung, Gesundheit) Algorithmische Unterstützung für Führungskräfte& Arbeitnehmende: Angestellte, angelernte/ qualifizierte Arbeit (Finanzen; Informationsund Kommunikationstechnologie; Recht) Erhebliches algorithmisches Management: Geringqualifizierte Dienstleistungen(Einzelhandel; Pflege; Lagerhaltung und Logistik; Kontaktzentren; Gastgewerbe) Umfassendes algorithmisches Management Plattformökonomie/Gig Economy(Essenslieferung, Personenbeförderung, Quick-Commerce) Überwiegend menschliches Management Nach Wood(2021) und Baiocco et al.(2022) Abbildung 2 Beispiele für die Betroffenheit von den AAMS in verschiedenen Tätigkeitsbereichen. Überwiegend algorithmisches/ KI-Management Remote-Support-Mitarbeitende in der IKT • Taskifizierung der Arbeit • Remote-Überwachung und Kontrolle(Tastaturanschläge, Screenshots, Zeiterfassung). • Leistungsbewertung durch algorithmische Produktivitätsscores und Vergleiche Beschäftigte in Anrufzentralen • Taskifizierung und Gamifizierung der Arbeit • Leistungsbewertung durch algorithmische Produktivitätsscores und -vergleiche • Überwachung und Kontrolle(Spracherkennung, Zeiterfassung). • Automatische Skripterstellung • Leistungsbasierte Gehaltsberechnungen Kellner_innen in Restaurants • Taskifizierung und Gamifizierung der Arbeit(Zeit pro Tisch, Auftragswert usw.) • Intensive Zeitüberwachung und Disziplin • Leistungsbewertung durch algorithmische Produktivitätsscores und -vergleiche Beschäftigte im Finanzdienstleistungssektor • Teilweise Taskifizierung der Arbeit • Komplexere Aufgaben als einfache Abfragen, die von Chatbots bearbeitet werden • Umfangreiche Überwachung aufgrund von Risikomanagementsystemen, die sensible Daten überwachen, um die Compliance sicherzustellen. Lagermitarbeitende • Taskifizierung und Gamifizierung der Arbeit. • Überwachung und Kontrolle durch den Einsatz tragbarer Technologien. • Disziplin, die durch Messung der Zeit pro Aufgabe durchgesetzt wird. 9

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor nach passenden Klauseln für ihre Fälle durchsuchen. Hingegen können Beschäftigte in Anrufzentralen oder im Einzelhandel algorithmisch organisierter Aufgabenzuweisung, Produktivitätsmessung, Überwachung und Disziplinierung unterworfen sein. Abbildung 2 zeigt, wie AAMS in ähnlicher und unterschiedlicher Weise die Berufsfelder beeinflussen. 2.2 NUTZLOS? Die Auswahl an neuen Tools kann verwirrend sein. Aber äußerste Vorsicht ist geboten in Anbetracht der Frage, ob AAMS tatsächlich wie beabsichtigt funktionieren. Die Gewerkschaften sollten sich die potenziellen Gefahren genauer ansehen, die mit der Einführung solcher Produkte einhergehen. Gary Marcus(2022) und andere KI-Kritiker_innen weisen darauf hin, dass KI-Systeme, die auf maschinellem Lernen basieren, zwar äußerst eindrucksvoll sind, aber in ihren Ausgaben auch erhebliche Fehler und Fehlkonstruktionen aufweisen(Alkaissi& McFarlane 2023). Das liegt daran, dass es sich dabei nicht um»intelligente« Systeme handelt, sondern einfach um leistungsstarke Tools zur Mustererkennung, die ihre Prognosen und Empfehlungen aufgrund vorheriger Korrelationen treffen. 4 AAMS können auf vier Arten missbraucht werden. Erstens kann man ihnen Aufgaben zuweisen, die sie eigentlich gar nicht ausführen können(unmögliche Aufgaben). Zweitens können sie schlecht entwickelt und implementiert sein(technische Fehler). Drittens können sie beim Einsatz in der echten Welt auf unerwartete Hindernisse stoßen(Ausfälle nach der Einführung). Viertens werden ihre tatsächlichen Fähigkeiten überbewertet oder falsch dargestellt (Überschätzung)(Raji et al. 2022). Führungskräfte, die AAMS einsetzen, sind sich oft einiger oder aller dieser Risiken nicht bewusst. Aloise und De Stefano(2022, 298–9) schreiben daher: [M]etriken messen oft sinnlose Parameter oder unterschätzen Vorbereitungsaktivitäten wie Ideenfindung und Planung. Gleichzeitig werden die Arbeitnehmenden dazu verleitet, ihre Leistung durch Tracking-Dashboards selbst zu überwachen – eine Vorgehensweise, die die Konformität fördert …[aber] Daten können zufällig, ungenau und fehlerhaft sein,[während] es keine Beweise dafür gibt, dass die für die Bestimmung der Produktivität herangezogenen Metriken eng mit den Ergebnissen korrelieren. Algorithmische und KI-basierte Managementsoftware muss per Definition Leistung messen, indem sie sie auf eine Reihe von Metriken reduziert, die dann für Interventionen herangezogen werden. Das macht solche Systeme anfällig für »Goodhearts Gesetz«, das besagt, dass eine Kennzahl, wenn sie zum Ziel wird, kein sinnvolles Maß mehr für die Leistung ist. Das liegt daran, dass Ziele Anreize für Verhaltensänderungen schaffen, durch die das Ziel erreicht werden soll, auch wenn dies auf Kosten der Gesamtleistung geht. Die Funktionalität von AAMS sollte daher niemals als selbstverständlich angesehen werden. Gewerkschaften können eine Schlüsselrolle dabei spielen, die Wirksamkeit solcher Systeme sicherzustellen und Schäden für Arbeitnehmende und Unternehmen einzugrenzen. Teil 5 dieses Berichts enthält Vorschläge, wie Arbeitnehmende und Gewerkschaften sich aktiv einbringen können, um die Nachteile von AAMS so gering wie möglich zu halten und sicherzustellen, dass sie sich positiv sowohl auf Unternehmen als auch Arbeitnehmende auswirken. Zum Beispiel behauptete IBM im Jahr 2019, dass ihr WatsonAnalytics-Tool für»prädiktive Analytik« mit 95-prozentiger Genauigkeit voraussagen könne, wann ein_e Arbeitnehmer_ in seinen bzw. ihren Job kündigt. Die Behauptung wurde in den Medien weit verbreitet(z. B. Rosenbaum 2019). IBM investierte auch über 4 Milliarden US-Dollar in Watson Health, ein Produkt für die Gesundheitsdiagnostik, bei dem(unter anderem) behauptet wurde, dass es automatisierte Behandlungsempfehlungen für Krebspatient_innen aussprechen könne. Watson Health hatte beim Einsatz in einem realen Umfeld schwerwiegende Probleme und wurde 2022 an eine private Beteiligungsgesellschaft verkauft, während IBM Analytics bereits 2021 eingestellt wurde(O’Leary 2022). 4 Aus diesem Grund haben einige Autor_innen vorgeschlagen, auf die Begriffe»künstliche Intelligenz« und»maschinelles Lernen« gänzlich zu verzichten uns stattdessen die spezifischen Namen der jeweiligen Tools zu nutzen. Siehe: Tucker(2022) 10

KI und algorithmisches Management für den Vertrieb: Salesforce und Activtrak 3 KI UND ALGORITHMISCHES MANAGEMENT FÜR DEN VERTRIEB: SALESFORCE UND ACTIVTRAK Dieser Abschnitt(3) und der folgende Abschnitt(4) stellen einen kleinen Einblick dar, wie AAMS in zwei Dienstleistungsbereichen, Vertrieb und Lagerhaltung, eingesetzt werden. Während für Unternehmenssoftware ein konzentrierter Markt besteht, ist ihre Anwendung und Integration mit Paketen von Drittanbietern im Normalfall branchenspezifisch. Daher sind diese Fälle keinesfalls als repräsentativ zu betrachten. Vielmehr veranschaulichen sie einige Funktionen von Bossware, die heutzutage zunehmend in verschiedensten Jobbereichen(sowohl Remote als auch vor Ort) eingesetzt werden. Salesforce ist eine CRM-Plattform(Customer Relationship Management, also Kundenbeziehungsmanagement), mit der Unternehmen Tools für die Interaktion mit Kunden erhalten. Es bietet außerdem eine Reihe von unternehmensweiten Funktionen, vom Personalmanagement(HRM) über Marketing bis hin zu Personenanalysen. Die Anwendungspakete von Salesforce sollen Unternehmen helfen, ihre Umsätze zu steigern, indem sie datengestützte Erkenntnisse zu Märkten, Mitarbeitenden und Geschäftsprozessen liefern. Die Software ist hochgradig anpassbar und die Anwendenden können auf einen Marktplatz mit tausenden Drittanbieter-­Apps (AppExchange) zur Erweiterung um zusätzliche Funktionen zugreifen. Salesforce ist der weltweit führende Anbieter von CRM-Systemen mit einem Marktanteil von etwa 23 Prozent und 150.000 Unternehmen, die die Software nutzen. Europa ist mit einem Umsatz von 4,5 Milliarden US-Dollar (rund einem Fünftel des Umsatzes) der zweitgrößte Markt von Salesforce. Zu den wichtigsten Kunden in Europa zählen Santander, Ideal Standard und der Hafen von Rotterdam. 5 Salesforce kann Geschäftsprozesse und Arbeitsabläufe optimieren und teilweise automatisieren, Aufgaben an bestimmte Mitarbeitende zuweisen und die Leistung überwachen. Es bietet Führungskräften umfassende Daten zur Leistung von Teams und Einzelpersonen. Außerdem integriert es Algorithmen, die die Leistung von Mitarbeitenden systematisieren und quantifizieren, um so Metriken zu generieren, anhand der Führungskräfte die Leistung von Mitarbeitenden messen und vergleichen können. Durch maschinelles Lernen und KI-Techniken kann die Software die zukünftige Produktivität Abbildung 3 Salesforce-Mitarbeitendenprognose-Dashboard 5 https://www.salesforce.com/eu/customer-success-stories/#!page=1 11

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor Abbildung 4 Dashboard für Vertriebsleiter_innen voraussagen und Schwachstellen bei der Leistung von Mitarbeitenden identifizieren. Abbildung 3 zeigt, wie einzelne Mitarbeitende mit einem»Einstein-Prognosescore« für ihre monatlichen/jährlichen Umsätze bewertet werden. Dieser wird durch maschinelle Lernalgorithmen berechnet und basiert auf früher identifizierten Leistungen und Hinweisen. 6 Führungskräfte können tatsächliche Verkaufswerte(also abgeschlossene Verkäufe) nachverfolgen und mit diesen Prognosen und den zugewiesenen Quoten vergleichen. Führungskräften stehen Dashboards zur Verfügung, in denen durch Analysen die Leistung von Arbeitnehmenden anhand einer Reihe von Metriken wie Anzahl und Wert der abgeschlossenen Aufträge quantifiziert und verglichen werden (siehe Abbildung 4). Daten können aus einer Reihe von Quellen gesammelt werden(sowohl automatisch als auch durch menschliche Eingaben), um die Leistung von Mitarbeitenden mit jenen anderer Unternehmen zu vergleichen. So kann die Konkurrenz nachverfolgt werden und Mitarbeitende können auf ihre Eignung überwacht werden, d. h. darauf, ob sie weiterhin beschäftigt werden sollen. Salesforce(2023) integriert neuerdings auch Funktionen der GPT-Technologie von OpenAI, die neben KPI und Daten aus Arbeitsabläufen potenziell auch auf E-Mails und Kalender von Mitarbeitenden zugreifen können. Angeblich dient dies den Mitarbeitenden durch Empfehlungen zu Vorteilen und verbesserter Zeitplanung, jedoch ermöglicht es der Software gleichfalls die Überwachung und Berechnung von Arbeitsleistung. KPI-Dashboards enthalten detaillierte Aufschlüsselungen darüber, wie und wie oft Mitarbeitende bestimmte Hinweise kontaktieren(»Vertriebsaktivitäten pro Vertriebsmitarbeitendem«). Sie bieten auch visuelle Metriken zu Rabatten, damit Führungskräfte auffällig große Rabatte auf Verkaufspreise untersuchen und Mitarbeitende, die häufig große Rabatte bieten, in ihrer Leistung überwachen und evaluieren können. Neben diesen internen AAMS-Funktionen kann in Salesforce auch eine Vielzahl an externen Anwendungen integriert werden, die eine noch detaillierte Überwachung und Kontrolle von Arbeitnehmenden ermöglichen, um algorithmische und KI-basierte Managementpraktiken zu vereinfachen. Eine solche Anwendung ist ActivTrak. ActivTrak ist ein Tool zur Überwachung von Mitarbeitenden, das detaillierte Analysen darüber bietet, womit Mitarbeitende ihre Zeit verbringen. So kann die Produktivität gemessen werden. Der Markt für Mitarbeiter_innenüberwachung ist stark fragmentiert, doch ActivTrak ist einer der größten Anbieter und gibt an, über 9.000 Organisationen mit Hunderttausenden Nutzer_innen zu seinen Kunden zu zählen. Die Integration von ActivTrak mit Salesforce ist einfach. 7 Dies bietet Führungskräften eine Reihe von Metriken, anhand der sie Mitarbeitende überwachen können, inklusive Screenshots, App- und Aktivitäts6 Siehe: https://help.salesforce.com/s/articleView?id=sf.einstein_sales_ forecasting.htm&type=5 7 Siehe: https://www.activtrak.com/product/integrations/salesforce/ 12

Abbildung 5 Salesforce-KPI-Dashboard KI und algorithmisches Management für den Vertrieb: Salesforce und Activtrak beobachtung, durch welche Produktivitätsberichte über die Zeitnutzung von Mitarbeitenden erstellt werden. Unternehmen können auf detaillierte Echtzeit-Aktivitätsprotokolle zugreifen und so erfahren, welche Anwendung bestimmte Mitarbeitende gerade nutzen. Diese werden automatisch kategorisiert(z. B. in»Social-Media-Pause«, »Drucker­nutzung« usw.) und es können»Warnungen« ausgelöst werden, um Führungskräfte auf unerwünschtes Verhalten von Mitarbeitenden aufmerksam zu machen. Salesforce in Handel und Vertrieb ist kein Einzelfall. Die meisten Büroangestellten mittlerer Qualifikation unterstehen ähnlichen AAMS, die in CRM- und ERP-Software eingesetzt werden(z. B. Microsoft 365, Oracle, Infor und SAP). Solche Systeme sind zwar andersartig, sammeln in der Regel jedoch ebenfalls erhebliche Datenmengen, darunter Zeitnutzung, Leistungskennzahlen und personenbezogene Daten. Die meisten bieten auch Plug-ins wie die von ActivTrak oder enthalten selbst ähnliche Funktionen. Mit diesen detaillierten Aktivitätsprotokollen und Produktivitätskennzahlen lässt sich ActivTrak in CRM-Software wie Salesforce integrieren, um Produktivitätsscores mit der Anzahl der zugewiesenen und abgeschlossenen Aufgaben zu vergleichen. Mithilfe dieser Zahlen können Arbeitnehmende dann nach ihrer»durchschnittlichen produktiven Arbeitszeit pro Tag«, den»abgeschlossenen Aufgaben pro Stunde« und der»Anzahl der abgeschlossenen Aufgaben« eingestuft werden.(Abbildung 8) Das Beispiel von Salesforce und ActivTrak zeigt, wie die Führungskräfte von Angestellten mittlerer Qualifizierung (in diesem Fall im Verkauf) Zugriff auf große Datenmengen unterschiedlichster Art über Aktivitäten und Zeitnutzung ihrer Beschäftigten, sogar auf deren personenbezogene und potenziell sensible Daten, haben. Dies birgt neben dem unrechtmäßigen Zugriff auf personenbezogene Daten, immense Risiken für unnötige und unethische Überwachung durch Führungskräfte. 13

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor Abbildung 6 ActivTrak-Produktivitätsberichte Abbildung 7 ActivTrak-Warnmeldungsprotokoll 14

KI und algorithmisches Management für den Vertrieb: Salesforce und Activtrak Abbildung 8 ActivTrak-Dashboard für Salesforce 15

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor 4 KI UND ALGORITHMISCHE MANAGEMENTTOOLS FÜR VOR-ORT-TÄTIGKEITEN: DIE LAGERVERWALTUNGSSYSTEME INFOR UND BLUE YONDER. Vor Ort Tätige sind ebenfalls zunehmend von AAMS betroffen. Obwohl die Arbeitsprozesse im Normalfall deutlich anders sind als jene von Büroangestellten, arbeitet die Software, die zur Verwaltung der Arbeitnehmenden verwendet wird, oft nach ähnlichen Prinzipien. Die Arbeit wird in einzelne Aufgaben unterteilt. Das AAMS verfolgt dann die Leistung der Arbeitnehmenden genauestens und überwacht Zeitnutzung, Bewegung und andere Metriken, die von tragbaren Geräten und Wearables erfasst werden. Anhand dieser Daten erfolgen dann digitalisierte Anweisungen an die Beschäftigten. Diese Art halbautomatisierte Kontrolle der Tätigkeiten wendet sich entweder direkt an die Beschäftigten oder indirekt über die Führungskräfte. In der Regel sind AAMS für Lager in allgemeinere Lagerverwaltungssysteme (WMS, Warehouse Managing Systems) eingebettet. Solche WMS bieten eine breite Palette an Funktionen für die Bestandsverwaltung, Arbeitsmanagement und die Gesamtleistung des Lagers. WMS können selbst in firmeninterne oder firmenübergreifende Supply-Chain-Managementsoftware integriert werden. In diesem Abschnitt wird die Rolle von AAMS bei der Verwaltung der Lagerlogistik beleuchtet. Dabei werden zwei bekannte Softwarepakete im Lagerwesen vorgestellt, Blue Yonder WMS und Infor WMS. Blue Yonder und Infor sind die Hauptakteure in der globalen WMS-Branche und haben Abbildung 9 Infor WMS: Dokumentation, Arbeitsmanagement und Planung 16

KI und algorithmische Managementtools für Vor-Ort-Tätigkeiten: die Lagerverwaltungssysteme Infor und Blue Yonder. Abbildung 10 Infor WMS: Dokumentation, Produktivitäts- und Arbeitsüberwachung bekannte Kunden wie Carrefour, DVS und DB Schenker. 8 Einer Studie von Garner zufolge hat Blue Yonder 1.000 WMS Kunden und erzielte 2022 einen Umsatz von 190 Mio. USDollar, Infor WMS hat weltweit über 1.500 Kunden(Tunstall & Klappich 2023). WMS zur Rationalisierung von Lagerarbeit sind bereits seit Jahrzehnten im Einsatz, durch die Erweiterung um algorithmische und KI-Komponenten werden sie jedoch zunehmend ausgefeilter.(Krzydwdzinski et al. 2022). Ein WMS verfolgt Bestands- und Sendungsströme, prognostiziert den Bedarf und hilft bei der Schichtplanung. Durch die Lieferung von Echtzeitinformationen(z. B. Kommissionierlisten und anstehende Arbeitsetappen) dirigieren WMS die Aufgaben der Arbeiter_innen. Die Integration von Geräten wie Radiofrequenz- und Barcode Scanner, Wearables(Smart watch) etc. erlauben die Aufzeichnung von Schritten, Geschwindigkeit und Strecken; WLAN Headsets mit Sprachsteuerung ermöglichen Anordnungen, welche und wo die nächste Ware zu packen ist. AAMS sind in WMS eingebettet. Sie ziehen Daten aus mehreren Quellen heran, um Arbeitnehmende anzuleiten und 8 Siehe https://blueyonder.com/customers and https://www.infor.com/ en-gb/solutions/scm/warehousing/warehouse-management-system. Ich untersuche zwei WMS, da bei einem System keine visuellen Hinweise auf Dashboards und Benutzerhandbücher verfügbar sind. Die meisten WMS funktionieren in ähnlicher Weise. die Leistung zu überwachen. Beispielsweise ermöglicht Infor Führungskräften,»die Berechnung von ArbeitsprognosePlänen«, basierend auf erwartetem Durchlauf in gegebenen Zeitspannen.»Das System kalkuliert Arbeitsabläufe aufgrund der vom WMS übertragenen Informationen bis hinunter zu einzelnen Fällen, Aufgaben, Paletten, Nutzern …«. Das gibt Führungskräften die Flexibilität, aufgrund der Empfehlungen Schichtmuster neu zu organisieren.(Abbildung 9) Neben der Arbeitsplanung und der Zuweisung von Aufgaben können Führungskräfte auch auf detaillierte Leistungsvergleiche der einzelnen Mitarbeitenden zugreifen. Diese werden anhand von Datenverknüpfungen aus verschiedenen Quellen generiert. So können Führungskräfte darüber informiert werden, wie regelmäßig Arbeitnehmende Aufgaben pünktlich abschließen, wie viel Zeit für dynamische Aktivitäten(d. h. Beladen, Kommissionieren und Verpacken von Aufträgen) und wie viel für indirekte Aktivitäten aufgewendet wird. Zudem lassen sich die Leistungen von Einzelpersonen und Gruppen von Aufgaben mit den Standards anderer Arbeitnehmender vergleichen(Abbildung 10). Führungskräfte können sich die Ergebnisse dieser Datenanalysen zur Leistung der Arbeiten in Form von grafischen Dash­ boards ansehen, die jenen im vorherigen Abschnitt ähnlich sind. Blue Yonder WMS bietet Managern die Möglichkeiten, zahlreiche Metriken für einzelne Mitarbeitende zu messen. Dazu gehören die Stunden, die für verschiedene Aufgaben verwendet werden, sowie ein algorithmisch generierter 17

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor Abbildung 11 Arbeitsmanagement-Dashboard von Blue Yonder Abbildung 12 Dashboard»Personen« in Blue Yonder »Nutzungs-­Score« über die Intensität, mit der Beschäftigte die Arbeitszeit nutzen. Mit dem»Leistungsscore« wird gemessen, wie schnell und effizient Individuen Aufgaben im Vergleich zu einem definierten Standard und/oder zum unternehmensweiten Durchschnitt ausführen.(Abbildung 11). Bei einer Vielzahl an Einzel-Aufgaben können Führungskräfte auf detaillierte Informationen über individuelle Leistungen zugreifen. Aufgaben, bei denen die Leistung gemessen werden kann, sind zum Beispiel das Entladen von Paletten und das Einräumen von Waren. Das Ranking der Leistung erfolgt dann nach einem definierten Standard und im Vergleich mit anderen Mitarbeitenden, wobei die Leistung farblich von »außergewöhnlich hoch« bis»außergewöhnlich niedrig« gekennzeichnet wird(Abbildung 12). Dadurch können Füh18

KI und algorithmische Managementtools für Vor-Ort-Tätigkeiten: die Lagerverwaltungssysteme Infor und Blue Yonder. rungskräfte Schwachstellen bei der Leistung von Einzelpersonen und Teams in bestimmten Bereichen erkennen und die Mitarbeitenden bzw. Teams disziplinieren und/oder nochmals schulen. WMS ermöglichen schon seit einigen Jahren das algorithmische und quantifizierte Management von Lagerarbeiter_ innen(Delfanti et al. 2021). Aber AMS Fähigkeiten zu erweitern bedeutet, dass diese Programme zunehmend mit selbst lernenden Tools versehen werden, die große Datenmengen aus einer Vielzahl von Quellen sammeln, um Arbeitsmuster zu planen, Aufgaben zuzuweisen und Arbeitsleistung zu messen. 19

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor 5 TARIFVERHANDLUNGEN UND VERHANDLUNGEN IN BEZUG AUF KI UND ALGORITHMISCHE TOOLS 9 Die Bandbreite an intensiven und oft invasiven AAMS-Tools, die vom Management zur Koordinierung, Leitung, Evaluierung und Disziplinierung von Arbeitnehmenden verwendet werden, kann überwältigend erscheinen. Wie in Abschnitt 2 gezeigt, können diese Tools äußerst negative Folgen für die Arbeitnehmer_innen haben. Dazu zählen die unrechtmäßige Überwachung von Beschäftigten, der Zugriff auf ihre personenbezogenen Daten ohne ausdrückliche Zustimmung, das Aufkommen von Wissensasymmetrien zwischen Mitarbeitenden und Führungskräften, der Antrieb zu schnellerer und härterer Arbeit sowie das Treffen von Entscheidungen über die Bezahlung, Einstellung oder Entlassung, ohne dass es dabei angemessene menschliche Beteiligung gibt. Darüber hinaus stellt sich die entscheidende Frage, ob AAMS die angestrebten Ziele tatsächlich effektiv erreichen können. (3) die Einführung eines AAMS überwachen, um die Effizienz und eine verantwortungsvolle Nutzung sicherzustellen; und (4) ein Forum aufbauen, das die Ergebnisse überwacht und die Nutzung entsprechend anpasst. 10 Diese Vorgehensweise sollte insbesondere bei AAMS eingehalten werden, die ein hohes Risiko bergen, die Arbeitsqualität zu senken, die Sicherheit der Arbeitnehmenden zu gefährden oder personenbezogene Daten zu kompromittieren. All dies erfordert eine starke Organisation am Arbeitsplatz, sowohl auf grundlegender Ebene als auch hinsichtlich gut informierter Vertreter_innen und Verhandler_innen. Die Gewerkschaften sollten bestrebt sein, ihre Verhandler_innen mit den nötigen Tools auszustatten, damit diese ein solides Verständnis von AAMS-Produkten haben. Der Einsatz von AAMS muss keine negativen Folgen für Arbeitnehmende haben. Vieles hängt davon ab, wie ein System eingesetzt wird. Wenn es gut und unter Berücksichtigung der Risiken eingesetzt wird, kann es Kompetenzen sowie die Arbeitsautonomie und Arbeitsqualität verbessern, Routinearbeiten reduzieren und den Arbeitnehmenden Zeit und Raum geben, anspruchsvollere und kreativere Probleme zu lösen. Um diese Ziele zu erreichen, müssen bei der Entscheidung, ob und wie ein AAMS in einer jeweiligen Situation eingeführt werden soll, vom Management einige Schlüsselprinzipien eingehalten werden. Ein Begleitbericht zeigt zwar, dass Arbeitnehmervertreter_innen gerne mit Arbeitgeber_ innen zur Nutzung von AAMS sprechen möchten, doch der Aufbau solcher Diskussionsforen macht wenig Fortschritte (Brunnerová et al. 2024). Gewerkschaften können eine Schlüsselrolle dabei spielen, sicherzustellen, dass eingeführte AAMS robust und sicher sind und die Arbeit verbessern, anstatt sie zu verschlechtern. Dazu sollten sie an jeder Phase der AAMS-Einführung beteiligt sein, indem sie(1) die derzeitigen Technologien und Nutzung von AAMS verstehen;(2) beim Kauf von Produkten beratend tätig sind, um sicherzustellen, dass das Management keine ungeeigneten Produkte in die engere Wahl zieht; 9 Die zweite Studie aus diesem umfassenden Forschungsprojekt von FES und UNI Europa befasst sich eingehender mit Tarifverhandlungspraktiken in Bezug auf KI im europäischen Dienstleistungsbereich. Dort wird außerdem eine Umfrage vorgestellt, in der Verhandlungspraktiken zu KI im Detail katalogisiert werden. PHASE 1: AUDIT, UNTERSUCHUNG UND ÜBERPRÜFUNG DES KONTEXTS Arbeitnehmer_innenvertretungen und Gewerkschaften sollten zusammen mit dem Management ein umfassendes Audit durchführen, wo algorithmische und KI-gestützte Managementsysteme im Unternehmen bereits eingesetzt werden. Das Management sollte den Gewerkschaftsverhandler_innen ein Verzeichnis solcher Systeme zur Verfügung stellen, das zeitnah aktualisiert wird. Schlüsselfunktionen der Systeme sollten transparent verfügbar sein und den Verhandler_innen mitgeteilt werden, unter anderem durch Unternehmen, die dafür verantwortlich sind, einen Dialog zu technischen Themen direkt zwischen den Gewerkschaften und den Anbietern selbst oder über externe Fachberater_i­nnen zu schaffen.»Hochrisikosysteme«, bei denen die Gefahr besteht, dass sie die Arbeit beeinträchtigen, die Sicherheit der Arbeitnehmenden gefährden oder personenbezogene Daten kompromittieren, sollten nach gemeinsamen Kriterien identifiziert und genau überprüft werden. Wenn ein neues Produkt zur Auswahl steht, sollte das Management dessen Auswahl gegenüber den Arbeitnehmervertreter_innen klar begründen. Die Integration und der 10 Diese Empfehlungen wurden vom Autor entwickelt und basieren (unter anderem) auf Erkenntnissen von UNI Global Union(2023); Trade Union Congress(2022); Prospect(2022); Bell(2022). 20

TARIFVERHANDLUNGEN UND VERHANDLUNGEN IN BEZUG AUF KI UND ALGORITHMISCHE TOOLS Datenaustausch mit bestehenden Systemen sollten klargestellt werden. Auf Wunsch sollte eine technische Beratung durch unabhängige Expert_innen ermöglicht werden. Bestimmte Technologieformen(z. B. jene mit umfassender Überwachung, Technologien zur Emotionserkennung oder mit invasivem Einsatz der Webcam der Mitarbeitenden), die unangemessen und/oder nicht bewährt sind, sollten als tabu eingestuft werden. PHASE 2: KAUF EINES AAMS-PRODUKTS Die Beschäftigten sollten befragt werden, welche Aufgaben effektiv von einem AAMS automatisiert werden könnten und welche Art von Systemen erwünscht sein könnte. Beschäftigtenvertreter_innen sollten eng mit den für den Einkauf Verantwortlichen bei der Erkundigung über verfügbare AAMS-Systeme/Funktionen zusammenarbeiten. Wenn die Anschaffung eines Systems beschlossen wird, sollten die Arbeitnehmer_innenvertretungen und Gewerkschaften Zeit und Mittel für eine externe technische Beratung erhalten, um die Produktdokumentation und Handbücher auf seine Eignung hin zu untersuchen. Wo immer möglich, sollte vor dem Kauf eine Besprechung über die Eignung mit den für den Einkauf Zuständigen erfolgen. Man sollte gemeinsam überlegen, ob das System für die vom Management beabsichtigten Aufgaben geeignet ist. Wo immer das jeweilige AAMS potenziell in eine der Hochrisikokategorien fällt, sollte eine»Zero-Trust-Haltung« gegenüber den Anbietern eingenommen werden und es sollte eine genaue Überprüfung erfolgen(Laplante& Voas 2022). Systeme, die Daten von Arbeitnehmenden an Dritte verkaufen oder auf andere Weise diesen zugänglich machen, sollten tabu sein, und es sollte jenen Systemen der Vorzug gegeben werden, die Daten lokal speichern. PHASE 4: LAUFENDE RÜCKMELDUNG, ANPASSUNG UND INTERVENTION Gewerkschaften und Arbeitnehmer_innenvertretungen sollte regelmäßiger Zugriff auf das System gewährt werden, damit diese überwachen können, wie das Management das AAMS einsetzt. So soll sichergestellt werden, dass die Nutzung unter Einhaltung der zuvor vereinbarten Richtlinien erfolgt und um ein schleichendes Ausweiten des Systems auf andere Bereiche oder Funktionen zu verhindern. Bedenken, die aus dem Einsatz eines AAMS entstehen, sollten rasch an die zuständigen Stellen weitergeleitet und mit Arbeitnehmervertreter_innen besprochen werden. Arbeitnehmende, die von der Technologie betroffen sind, sollten die Möglichkeit haben, Bedenken ohne Angst vor negativen Konsequenzen äußern zu können. Das Feedback der Arbeitnehmenden sollte gesammelt werden, um damit zukünftige Einführungsund Implementierungsprozesse zu gestalten. Das Management sollte bei Fehlern die Grundhaltung einnehmen, dass diese vom System und nicht von den Arbeitnehmenden verursacht wurden. Auch wenn keine Probleme gemeldet werden, sollten Beschäftigtenvertretende regelmäßig Zugang zum System erhalten, um dauerhaft die Transparenz aufrecht zu erhalten und zu evaluieren, wie das das AAMS vom Management eingesetzt wird. PHASE 3: DER IMPLEMENTIERUNGSPROZESS Sobald ein Produkt gekauft wurde, sollten die Gewerkschaften und Arbeitnehmer_innenvertretungen während des gesamten Implementierungsprozesses regelmäßig einbezogen werden. Die Beschäftigten sollten direkt dazu befragt werden, wie AAMS ihre Arbeitsroutine verändern. Statt des»Human in the Loop«, bei dem nur menschliche Eingaben erforderlich sind, muss ein Mensch das Kommando über ein AAMS haben – mit klaren Verantwortungslinien des Managements in Bezug auf die vom System getroffene Entscheidungen(die sich auf Mitarbeitenden oder die Öffentlichkeit auswirken). Die Gewerkschaften müssen sich vergewissern können, dass eine solche Verantwortlichkeit instauriert ist. Während des gesamten Prozesses müssen Transparenz und Dialog der Verhandelnden aufrecht erhalten bleiben, inklusive der Thematisierung aller Probleme und Herausforderungen bei der Implementierung(wie technisch diese auch scheinen mögen). 21

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor 6 SCHLUSSFOLGERUNGEN UND EMPFEHLUNGEN Dieser Bericht bietet einen kleinen Einblick in bestehende AAMS, die bereits im europäischen Dienstleistungssektor eingesetzt werden oder gerade eingeführt werden. Es handelt sich dabei um keine umfassende Übersicht, vielmehr hat der Bericht zum Ziel, auf die vielfältigen Möglichkeiten hinzuweisen, in denen Arbeitnehmende im Dienstleistungsbereich (in verschiedensten Branchen und Positionen) von der Verwaltung mithilfe von KI und algorithmische Technologien betroffen sind und welche Konsequenzen diese Technologien haben können. Eine Kernbotschaft ist: während Arbeitnehmer der Plattform- und Gig-Economy am kürzesten Hebel der AAMS sitzen, ist eine weitaus größere Zahl von Arbeitnehmern auch an»normalen« Arbeitsplätzen von solchen Technologien betroffen. Es ist nicht so, dass Führungskräfte durch»Roboter-Bosse« ersetzt würden, vielmehr ergänzen AAMS bestehende Unternehmenssysteme, mit deren Hilfe menschliche Führungskräfte ihre Führungsrollen ausweiten. Das passiert manchmal ohne das Wissen bzw. vollständige Verständnis der Beschäftigten und/oder niedrigeren Führungsebenen. AAMS bieten potenziell Vorteile sowohl für Unternehmen als auch die Beschäftigten, bringen jedoch auch eine Reihe von Bedrohungen mit sich, gegen die dringend vorgegangen werden muss. Eine genaue Überwachung von Arbeitnehmenden und ihrer privaten Informationen bedroht Datenschutzrichtlinien und-vorgaben und stellt ein Sicherheitsrisiko dar. AAMS drohen auch, eine Informationslücke zwischen Führungskräften und Mitarbeitenden zu schaffen, das Arbeitstempo auf ein extremes Niveau zu heben und kritische Managementaufgaben wie die Beurteilung der Produktivität, der Festlegung des Gehalts sowie Einstellungen und Entlassungen ohne entsprechende menschliche Aufsicht zu übernehmen. Der systembedingt undurchsichtige Charakter von AAMS bedeutet, dass Führungskräfte, die sie einsetzen, sie oft nicht vollständig verstehen. Daher sind nicht nur Arbeitnehmenden gefährdet. Auch die Unternehmen können Verluste erleiden, wenn sie in nutzlose Systeme investieren, die ihre Versprechen nicht einhalten. Um sich vor diesen Gefahren zu schützen, müssen Arbeitnehmende, ihr Wissen und ihre täglichen Erfahrungen in die Einführung dieser Technologien einbezogen werden. Außerdem müssen Gewerkschaften Zugang zu Expert_innen und unabhängigem technischen Wissen über bestimmte AAMS haben, was das Management unterstützen sollte. Eine Begleitstudie stützt sich auf umfangreiche Umfragedaten unter europäischen Gewerkschafter_innen und zeigt dabei, dass der Wunsch nach Tarifverhandlungen, in denen das breite Feld der AAMS thematisiert wird, durchaus groß ist. In diesem Zusammenhang sollten Gewerkschaften bestrebt sein, (1) die Formen von AAMS, die bereits in Organisationen verwendet werden, zu kennen, indem sie zusammen mit dem Management Audits durchführen;(2) eng in Kaufentscheidungen für ein AAMS zu werden;(3) mit Management und Techniker_innen bei der Einführung solcher Systeme zusammenzuarbeiten; und(4) die Nutzung des AAMS durch das Management kontinuierlich zu überwachen, um eine schleichende Ausweitung des Systems auf andere Bereiche zu verhindern. Ein solches systematisches Engagement sowie Verhandlungen zu AAMS in mehreren Schritten sind ohne starke Gewerkschaften nicht möglich – sie sind also das einzig effektive Mittel, damit die Machtbalance zwischen Management und Arbeitnehmenden wiederhergestellt wird. Das politische Umfeld in Europa beginnt zu erkennen, welche Bedeutung AAMS für die Rechte und Arbeitsbedingungen von Arbeitnehmenden haben. Gemäß Datenschutz-­ Grundverordnung(DSGVO) sind Arbeitger_innen bereits darauf beschränkt, nur Daten zu erheben, die»angemessen, relevant und für die jeweiligen Zwecke notwendig sind«. Gewerkschaften können eine Datenfolgenabschätzung anfordern, um die pauschale Datenerhebung anzufechten (Prospect 2020), aber laxe Definitionen und die unzureichende Durchsetzung lassen Arbeitgeber_innen viel Spielraum, um den ursprünglichen Sinn der Vorschriften zu umgehen(Abraha 2023). 11 Darüber hinaus fokussieren aktuelle und vorgeschlagene Datenvorschriften(wie der Data Governance Act) rein auf die Privatsphäre und Sicherheit von Einzelpersonen. Dabei wird außer Acht gelassen, wie eine arbeitgeberseitig veranlasste Datenerfassung über verschiedene Organisationen hinweg zu einer kollektiven Schwächung aller Beschäftigten führt, wenn groß angelegte Datenmengen über ihre gemeinsame Arbeit für Managementzwecke genutzt werden. Gewerkschaftsverhandlungen über AAMS bieten die Möglichkeit, kollektive Rechte über Organisationsdaten auf eine Weise zu erhalten, die den Arbeitnehmenden zugutekommt. Dies könnte in Zukunft auf Gesetzesbasis unterstützt werden(Calacci& Stein 2023). Das KI-Gesetz der 11 Der DSGVO-Artikel ist hier zu finden: https://gdpr-info.eu/art-5-gdpr/ 22

Schlussfolgerungen und Empfehlungen EU sieht die Identifizierung von Hochrisiko-KI-Systemen(einschließlich Systeme zur Verwaltung von Arbeitnehmenden) durch eine EU-weite Datenbank vor, sowie einen Rahmen für Monitoring und für die Meldung von Zwischenfällen. Es scheint jedoch unwahrscheinlich, dass jede Unternehmenssoftware, die KI oder algorithmische Managementmethoden nutzt, als»mit hohem Risiko« eingestuft wird. Im Wesentlichen enthält die vorgeschlagene Direktive für Plattformbeschäftigte Bestimmungen, um das algorithmische Management zu regulieren und AAMS transparent und zuverlässig zu machen, erstreckt sich jedoch ggf. nicht auf die meisten Arbeitnehmenden mit Standardarbeitsverträgen(d. h. jene abseits der Plattformökonomie). Eine solche Richtlinie sollte zudem den Mitarbeitenden(wie oben) das umfassende und kollektive Recht zur Kontrolle der Datenerhebung am Arbeitsplatz gewähren. In der Zwischenzeit agieren die Gewerkschaften weiterhin als alleiniger Puffer zwischen Arbeitnehmenden und riskanten, nicht überprüften und disziplinarischen AAMS. Die Vertreter_ innen müssen dringend ihr Verständnis für diese Systeme ausweiten und gleichzeitig nach Wegen suchen, systematisch über deren Einführung zu verhandeln. Künftige europäische Richtlinien sind jedoch dringend erforderlich, um große Schlupflöcher in der aktuellen und vorgeschlagenen Gesetzgebung zu schließen und den Schutz und die Rechte hinsichtlich AAMS weit über jene der Plattform-­ Beschäftigten auszuweiten(Ponce Del Castillo 2023b). Der EGB hat kürzlich(2022) eine Reihe von Empfehlungen für eine AAMS-Verordnung veröffentlicht. Eine solche Verordnung für eine»arbeitnehmerfreundliche KI« sollte: 1 europäische Mindeststandards für die Gestaltung und Nutzung algorithmischer Systeme im Kontext von Beschäftigung festlegen; 2 Transparenz und Erklärbarkeit von AAMS vorschreiben. Arbeitnehmende und ihre Vertretungen sollen das Recht haben, Informationen über die eingesetzten Anwendungen in einfacher und verständlicher Sprache zu erhalten; 3 das Recht auf externe Beratung zu AAMS garantieren; 4 eine Beurteilung der Auswirkungen von Algo­ rithmen auf Änderungen der Arbeitsbedingungen vorschreiben, einschließlich einer Beurteilung der Grundrechte und Gleichstellungsgrundsätze durch den Arbeitgeber_in(vor der Einführung sowie danach wiederholt); 5 intrusive Anwendungen verbieten, wobei Anwendungen zur Überwachung der Beschäftigtenn nur zulässig sind, wenn ihr Einsatz mit Gewerkschaften und/oder Vertreter_innen der Arbeitnehmenden verhandelt und vereinbart wird; 6 das Recht der Arbeitnehmenden garantieren, algorithmisch entstandene Entscheidungen zu überprüfen und überarbeiten zu lassen. 23

FRIEDRICH-EBERT-STIFTUNG – KI und algorithmisches Management im europäischen Dienstleistungssektor Literaturverzeichnis Abraha, H.(2023). Regulating algorithmic employment decisions through data protection law. European Labour Law Journal, 14(2), 172–191. https://doi.org/10.1177/20319525231167317 Aloisi, A.,& De Stefano, V.(2022). Essential jobs, remote work and digital surveillance: Addressing the COVID‐19 pandemic panopticon. International Labour Review, 161(2), 289–314. Alkaissi, H.,& McFarlane, S. I.(2023). Artificial hallucinations in ChatGPT: implications in scientific writing. Cureus, 15(2). Aloisi, A.,& De Stefano, V.(2022). Your boss is an algorithm: artificial intelligence, platform work and labour. Bloomsbury Publishing. Baiocco S, Fernández-Macías E, Rani U et al.(2022) The algorithmic management of work and its implications in different contexts. European Commission Joint Research Centre Working Papers Series on Labour, Education and Technology 2022/02. Seville, Spain: European Commission. Bell, S. A.(2022). AI and Job Quality: Insights from Frontline Workers. Available at SSRN 4337611 Benanav, A.(2020). Automation and the Future of Work. Verso Books Brunnerová, S., Ceccon, D., Holubová, B., Kahancová, M., Lukáčová, K., Medas, M.(2024) Collective Bargaining Practices on Artificial Intelligence in the European services sectors. UNI Europa, Friedrich Ebert Stiftung, Central European Labour Studies Institute, Wagindicatro Foundation. Calacci, D.,& Stein, J.(2023). From access to understanding: Collective data governance for workers. European Labour Law Journal, 14(2), 253–282. https://doi.org/10.1177/20319525231167981 Chen, D.,& Benson, G.(2023). Artificial Intelligence(AI) in Employee Selection: How Algorithm-based Decision Aids Influence Decision-making. In Academy of Management Proceedings, 2023: 1, p. 17951 Choudhury, P., Allen, R. T.,& Endres, M. G.(2021). Machine learning for pattern discovery in management research. Strategic Management Journal, 42(1), 30–57. Christl, W.(2023a). Monitoring, Streamlining and Reorganizing Work with Digital Technology A case study on software for process mining, workflow automation, algorithmic management and AI based on rich behavioral data about workers. Cracked Labs. https://crackedlabs.org/en/ data-work/publications/processmining-algomanage Christl, W.(2023b). Surveillance and Digital Control at Work: A research project on the datafication of work with a focus on Europe. Cracked Labs. https://crackedlabs.org/en/data-work Chui, M., Roberts, R., Yee, L., Hazan, E., Singla, A., Smaje, K., Sukharevsky, A.,& Zemmel, R.(2023). The economic potential of generative AI. McKinsey& Company. Crowley, M., Payne, J.,& Kennedy, E.(2020). Manufacturing Discontent: The Labor Process, Job Insecurity and the Making of»Good« and»Bad« Workers. Research in the Sociology of Work, 221–247. Doi:10.1108/s0277-283320200000034013 p.222 Del Castillo, A.P.(2023) Regulating algorithmic management in the Platform Work Directive: correcting risky deviations. Global Workplace Law & Policy, November 22. https://global-workplace-law-and-policy.kluwer lawonline.com/2023/11/22/regulating-algorithmic-management-in-theplatform-work-directive-correcting-risky-deviations/ Delfanti A, Radovac L and Walker T(2021) The Amazon panopticon: A guide for workers, organisers& policymakers. Report for UNI Global. Nyon, Switzerland: UNI Global Union. https://uniglobalunion.org/ wp-content/uploads/amazon_panopticon_en_final.pdf Eloundou, T., Manning, S., Mishkin, P.,& Rock, D.(2023). Gpts are gpts: An early look at the labor market impact potential of large language models. arXiv preprint arXiv:2303.10130 ETUC(2022) ETUC Resolution calling for an EU Directive on Algorithmic Systems at Work. December. https://etuc.org/en/document/etucresolution-calling-eu-directive-algorithmic-systems-work Eurostat.(2022). Use of artificial intelligence in enterprises. https://ec. europa.eu/eurostat/statistics-explained/index.php?title=Use_of_artificial_ intelligence_in_enterprises#Enterprises_using_artificial_intelligence_ technologies Fernandez Macias, E., Urzi Brancati, M.C., Wright, S. and Pesole, A. (2023). The platformisation of work. EUR 31469 EN, Publications Office of the European Union, Luxembourg, https://publications.jrc.ec.europa.eu/ repository/handle/JRC133016 Frey, C. B.,& Osborne, M. A.(2017). The future of employment: How susceptible are jobs to computerisation?. Technological forecasting and social change, 114, 254–280 Hammedi, W., Leclercq, T., Poncin, I.,& Alkire, L.(2021). Uncovering the dark side of gamification at work: Impacts on engagement and well-being. Journal of Business Research, 122, 256–269. Hassel, A.,& Özkiziltan, D.(2023). Governing the work-related risks of AI: implications for the German government and trade unions. Transfer: European Review of Labour and Research, 29(1), 71–86 Holubová, B.(2022) Algorithmic Management: Awareness, Risks and Response of the Social Partners. Friedrich Ebert Stiftung, September. Jarrahi, M. H., Newlands, G., Lee, M. K., Wolf, C. T., Kinder, E.,& Sutherland, W.(2021). Algorithmic management in a work context. Big Data& Society, 8(2), 20539517211020332. Krzywdzinski, M., Pfeiffer, S., Evers, M.,& Gerber, C.(2022). Measuring work and workers: wearables and digital assistance systems in manufacturing and logistics. WZB Discussion Paper No. SP III 2022–301 http://hdl.handle.net/10419/251912 Laplante, P.,& Voas, J.(2022). Zero-trust artificial intelligence?. Computer, 55(02), 10–12. Marcus G.(2022). Deep learning is hitting a wall. Nautilus, March 10. https://nautil.us/deep-learning-is-hitting-a-wall-238440; 24

Literaturverzeichnis Mettler, T.(2023). The Connected Workplace: Characteristics and Social Consequences of Work Surveillance in the Age of Datification, Sensorization, and Artificial Intelligence. Journal of Information Technology, 02683962231202535 O’Leary, L.(2022). ›How IBM’s Watson Went From the Future of Health Care to Sold Off for Parts‹. Slate. January 31. https://slate.com/technology/ 2022/01/ibm-watson-health-failure-artificial-intelligence.html OECD(2021). The Digital Transformation of SMEs, OECD Studies on SMEs and Entrepreneurship, OECD Publishing, Paris, https://doi.org/10.1787/ bdb9256a-en. Prospect(2020) Data Protection Impact Assessments: Guide for Union Representatives. Future of Work briefing. https://prospect.org.uk/about/ data-protection-impact-assessments-a-union-guide/ Prospect(2022) Digital Technology: A guide for union representatives. https://prospect.org.uk/about/digital-technology-guide-for-union-reps/ Raji, I. D., Kumar, I. E., Horowitz, A.,& Selbst, A.(2022). The fallacy of AI functionality. In Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency(pp. 959–972). Rosenbaum, E.(2019) ›IBM artificial intelligence can predict with 95% accuracy which workers are about to quit their jobs‹. CNBC Work. April 3. https://www.cnbc.com/2019/04/03/ibm-ai-can-predict-with-95-percentaccuracy-which-employees-will-quit.html Salesforce(2023) Salesforce Announces Einstein GPT, the World’s First Generative AI for CRM. https://www.salesforce.com/news/press-releases/ 2023/03/07/einstein-generative-ai/ Schaupp, S.(2023). COVID-19, economic crises and digitalization: how algorithmic management became an alternative to automation. New Technology, Work and Employment, 38, 311–329. https://doi.org/ 10.1111/ntwe.12246 Stohr, E. A.,& Zhao, J. L.(2001). Workflow automation: Overview and research issues. Information Systems Frontiers, 3, 281–296. https://link. springer.com/article/10.1023/A:1011457324641 Stuart, M., Valizade, D., Schulz, F., Burchell, B., Dickens, R.,& O’Reilly, J.(2023). Employers’ Digital Practices at Work Survey: First Findings. Digit Centre. https://digit-research.org/publication/employersdigital-practices-at-work-survey-first-findings/ Trade Union Congress(2022): People-Powered Technology: Collective Agreements and Digital Management Systems. www.tuc.org.uk/sites/ default/files/2022-08/People-Powered_Technology_2022_Report_AW.pdf Tucker, E.(2022). Artifice and Intelligence. Tech Policy Press, March 17. Available at: https://techpolicy.press/artifice-and-intelligence/ Tunstall, S.& D. Klappich(2023). ›Magic Quadrant for Warehouse Management Systems‹, Gartner. May 8. https://www.gartner.com/doc/ reprints?id=1-2DJG4CWR&ct=230508&st=sb UNI Global Union(2023) Algorithmic Management: Opportunities for Collective Action. A Guide for Workers and Trade Unions. Available online at: https://uniglobalunion.org/news/report-unions-repsonse-to-algorithmicmanagement/ White House.(2022). The Impact of Artificial Intelligence on the Future of Workforces in the European Union and the United States of America. Available at: https://www.whitehouse.gov/wp-content/uploads/2022/12/ TTC-EC-CEA-AI-Report-12052022-1.pdf Widder, David Gray and West, Sarah and Whittaker, Meredith. (2023). Open(For Business): Big Tech, Concentrated Power, and the Political Economy of Open AI. Available at SSRN: https://ssrn.com/ abstract=4543807 Wise, J.(2023). Trend#4: Evaluating information with sentiment analysis. Mindbreeze blog. https://inspire.mindbreeze.com/blog/trend-4-evaluatinginformation-with-sentiment-analysis Wood, A. J.(2020). Despotism on demand: How power operates in the flexible workplace. Cornell University Press. Wood, A. J.(2021). Algorithmic Management Consequences for Work Organisation and Working Conditions. JRC Working Papers Series on Labour, Education and Technology. Available online at: https://jointresearch-centre.ec.europa.eu/publications/algorithmic-managementconsequences-work-organisation-and-working-conditions_en 25

IMPRESSUM ÜBER DEN AUTOR IMPRESSUM Steven Rolf ist ESRC Research Fellow am Digital Futures at Work Research Centre(Digit). Er arbeitet als Volkswirt zwischen den Disziplinen und untersucht die Digitalisierung von Volkswirtschaften, die Transformation der Arbeit, den Aufstieg von Plattformen und die territorialen und politischen Implikationen dieser Veränderungen. Vor seiner Tätigkeit an der University of Sussex war er als wissenschaftlicher Mitarbeiter an der School of Sociology, Policy and International Studies der University of Bristol sowie als Lehrbeauftragter am Department of Sociology and Policy der Aston University tätig. Friedrich-Ebert-Stiftung e. V. | Kompetenzzentrum Zukunft der Arbeit | Cours Saint Michel 30e | 1040 Brüssel | Belgien Dr. Tobias Mörschel, Direktor, FES Kompetenzzentrum Zukunft der Arbeit Inhaltliche Verantwortung und Redaktion: Oliver Philipp, FES Kompezenzzentrum Zukunft der Arbeit Für mehr Informationen zum Kompetenzzentrum Zukunft der Arbeit, siehe: https://futureofwork.fes.de/ Design: Petra Strauch  /  Barbora Novotna Die in dieser Publikation zum Ausdruck gebrachten Ansichten sind nicht notwendigerweise die der Friedrich-Ebert-­ Stiftung e. V.(FES). Eine gewerbliche Nutzung der von der FES herausgegebenen Medien ist ohne schriftliche Zustimmung durch die FES nicht gestattet. Publikationen der FES dürfen nicht für Wahlkampfzwecke verwendet werden. ISBN: 978-3-98628-553-1 © 2024 www.fes.de/bibliothek/fes-publikationen