Relationship Exploit: Wenn Chatbots petzen - Krise am Arbeitsplatz bei Meta

00:00:00:

00:00:17: Und herzlich willkommen zu Day Talk Tech, ein CT-Podcast.

00:00:20: Ich bin Svea Eckert, Tech Journalistin

00:00:23: und ich bin Eva Wolfangel ebenfalls Tech Journalisten.

00:00:25: Hey Sve!

00:00:26: Ja

00:00:27: schön dich wiederzuhören Eva und da hast du eine spannende Recherche im Gepäck über die wir heute sprechen wollen.

00:00:33: Über Du und dein Chatbot oder wenn dein Chatbott dich überwacht, right?

00:00:38: Genau, also ja und zwar ist es wirklich viel sichtiger als ich erwartet hatte oder gibt kontroversere Positionen als sogar ich dachte.

00:00:48: Also wird spannend!

00:00:49: Und du hast dich mit Contentmoderation beschäftigt?

00:00:54: Ja, immer mal wieder.

00:00:55: Aber das würde ich sagen ... Das baue ich dann da mit rein, weil ja tatsächlich genau die spannende Frage ist, wer liest eigentlich mit oder wer hört mit?

00:01:03: Und dass würde ich einfach sagen, das baue Ich dann angeeigneter Stelle mit ein, weil ich meine große Recherche gemacht zu ... Wenn ich es jetzt ausspreche, sind hier alle Bots gleich alert.

00:01:15: Alexa!

00:01:16: Wer hört mit?

00:01:18: zur Alexa Zuziri?

00:01:18: Also von

00:01:19: mir hat niemand Hallo gesagt

00:01:21: Zu Alexa, zu Siri.

00:01:22: Aber natürlich auch allgemein.

00:01:25: so was wie Content-Moderationen die tatsächlich auch in eure Chats, die ihr in euren nicht in den verschlüsselten Messengers aber die ihr auf den sozialen Netzwerken hin und her schickt, die auch dort Einsicht haben können.

00:01:38: Was viel überrascht!

00:01:40: Genau das binden wir heute ein bisschen für euch zusammen Reintauchen, Eva.

00:01:49: Du hast zu dem Thema umfangreicher recherchiert?

00:01:52: Was hat dich überrascht?

00:01:54: Überrascht hat mich tatsächlich ... dass es auch positive Positionen gibt zur Frage natürlich nicht der Frageüberwachung.

00:02:02: Aber dieses Ganze ist ein ganz großes Thema was mir schon länger beschäftigt so die Frage dieses, die KI-Firmen diese ganze Psychofancierdebatte also diese Debatte Chatbots sind besonders nicht zu uns, geben wir uns immer recht und so weiter.

00:02:17: Wollen bei der Stange halten?

00:02:19: Ist er überhaupt nicht neu!

00:02:21: Und es ist ja auch klar dass das im Interesse der KI-Unternehmen ist, dass Chatbots uns das Gefühl geben sie sind wie unsere besten Freunde.

00:02:27: Ich habe mich jetzt immer mal wieder beschäftigt mit der Frage was heißt eigentlich und wessen Interessen dienen sie da eigentlich.

00:02:35: Wir haben ja Marissa Chopp auf der Republik getroffen, die in Zürich forscht genau so an dieser Frage Emotionen und KI-Systeme, wohin führt das?

00:02:46: Und was steckt dahinter?

00:02:47: Die hat das Relationship Exploit genannt!

00:02:49: Das fand ich ein treffenden Namen.

00:02:51: Übersetzt mal... Relationship exploit Ausbeutung von Beziehungen?

00:02:56: Im Prinzip, genau.

00:02:57: Exploit ist ja so ein Wort was man vor allem verwendet in der Cybersecurity.

00:03:00: Zumindest kommt es mir daher am bekanntesten vor.

00:03:02: also dieses Angriff an Exploit ist immer man AngreiferInnen nutzen irgendeine Schwachstelle aus und das ist eben unsere Schwachstehle dass wir gerne in Beziehung geben.

00:03:11: Das haben wir verschiedene... Stimmt!

00:03:14: Ich meine so funktioniert

00:03:15: Social Engineering.

00:03:17: Also nur deshalb funktioniert Social Engineering, weil wir gerne in einer Beziehung sind.

00:03:22: Weil wir auch als Menschen nicht gerne Nein sagen und auf Konflikten oder Konfrontationen aussehen.

00:03:29: Weil das gute Menschen glauben und mit anderen zusammenarbeiten wollen.

00:03:33: Genau, das ist auch uns evolutionär schon in die Wiege gelegt.

00:03:38: Weil wir wissen im Team als Gruppe sind wir stärker.

00:03:40: Wir brauchen einander um zu überleben wenn man so an die alten Zeiten denkt.

00:03:47: Wenn es um Evolution geht ja auch geht und das hat mir verschiedene Fachleute noch mal ein bisschen plastisch vor Augen geführt unter anderem Katharina Zweig, die eine wahnsinnig tolle Forschung zur KI-Gesellschaft macht und die wir hoffentlich auch einmal hier einladen können.

00:04:00: Ich würde sagen, es ist diejenige, die sich mit KI und Ethik schon am längsten beschäftigt.

00:04:03: Natürlich sicher nicht richtig, aber so in meinem Kopf ist das wirklich eine der allerersten.

00:04:09: Tiefen und spannenden Ebenen.

00:04:11: Seit das KI-Thema so noch halb ist, sind Fehler aufgesprungen.

00:04:14: Aber Katharina Zweig gräbt da sehr tief und nimmt auch Hirnforschung, Psychologie, diese ganze Evolutionsgeschichte alles mit rein.

00:04:20: Und die hatten sie auch nochmal erklärt, dass unser Gehirn eben wirklich darauf ausgerichtet ist Beziehung aufzubauen und auch Bedeutung zu finden.

00:04:27: in Worten.

00:04:28: Sie sagt ... Das hab ich ja immer wieder schon in den Recherchen nicht dem begegnet, wenn jemand eloquenter herredet wie so ein Chatbot, dass wir immer versuchen Bedeutung in den Worten zu finden.

00:04:39: Dass wir versuchen zu verstehen das wird davon ausgehen, dass da eine Intelligenz wirklich was dahinter steckt.

00:04:43: und sie sagt Wir können gar nicht anders.

00:04:46: Und diese Entwicklungen jetzt also die vor allem diese Psychophantie Geschichten Also diese Bemühungen von KI Firmen Die Chatbots so zu bauen dass sich anfühlen wie unser bester Kumpel die beuten eben das aus sagt sie.

00:04:58: und sie sagt wir können uns davor sehr gesagt die evolutionen über takten unsere evolution was erst mal ein bisschen abstrakt klingt aber tatsächlich weiß man ja dass diese Dinge, die tief in uns drinstecken, sich ja nicht so schnell verändern lassen.

00:05:11: Und sie sagt, dass die Chatbots eben das so systematisch machen.

00:05:15: Da können wir uns selbst wenn wir uns dem bewusst sind, können wir nur begrenzt dagegen wehren weil wir immer wieder diese Falle tappen eben diese Beziehungen in irgendeiner Form auch aufzunehmen.

00:05:25: Erinnert mich ganz stark auch an Social Media.

00:05:28: also was sehr ein ganz großer Kritikpunkt ist an den sozialen Netzwerken Dass Sie sagen wir mal auf Knöpfchen drücken die tiefer und älter sind als das, was unser Prär von Tala Cortex, also unser Gehirn des Verstandes managen kann.

00:05:43: Weil sie eben anknüpfen, an Mechanismen die so tief liegen dass es ganz schwer ist da der gegen anzuarbeiten.

00:05:52: Und kurz noch ein super Stichwort des Sozialen Erzwerkes, genau um diese Diskussion haben wir ja schon seit einer Zeit.

00:05:56: Genau wenn es um Social Media geht sowie wie gut die Täch-Firmen eigentlich auch da sind uns dazu zu bringen so viel zu teilen über uns und das ging ja schon vor, weiß ich nicht Jahrzehnten darum dass man eben mit diesen Daten von Facebook über uns Dinge erfahren kann, die wir selber gar nicht im Klaren sind usw.

00:06:16: Genau, die Google Suche aber jetzt mal einen Schritt weiter gedacht.

00:06:20: Jetzt haben wir Social Media immer privat benutzt und man sollte das natürlich auch nicht am Arbeitsplatz benutzen, und keiner hat irgendwie erwartet dass du mit Instagram irgendwie deine Arbeit erledigst.

00:06:32: aber bei Chatbots ist es ja was anderes.

00:06:34: also Chatbott werden ja im Arbeitsplatz immer mehr zum Standardwerkzeug die sollen ja teilweise sogar eingesetzt werden.

00:06:43: und da ist dann die spannende Frage wer hat denn eigentlich Zugriff auf was wir Chatbots zu alles erzählen.

00:06:51: Genau, das war eben ein großer Thema in der Recherche.

00:06:58: Wir haben das Gefühl da spricht wie so einen Kumpel zu uns und die benehmen sich ja auch so die Chatbottes.

00:07:03: Das ist eben dazu führt dass wir Dinge... über uns verraten, die wir sonst wirklich niemandem teilweise sagen.

00:07:09: Also Social Media war so, da hast du Dinge gepostet, die irgendwie öffentlich sind, die du öffentlich machen möchtest oder zumindest in einer Gruppe, wenn du kein öffentliches Profil hast aber irgendwie ein Stück weit öffentlich mit Chatbots diskutierst du so.

00:07:21: ja vielen Leuten diskutieren wirklich intimste Dinge mit ChatBots.

00:07:24: und dann hat Katharina Zweig gesagt also wenn ich so einen Unternehmer unternehmen leiten würde ja und ich würd mal bisschen wissen wollen wie loyal sind eigentlich die Leute Finde ich das nicht abwegig, dass man zum Beispiel eine Umfrage startet wie keine andere Überzufriedenheit am Arbeitsplatz.

00:07:38: Wie wohl fühlst du dich und solche Umfragen gibt's ja permanent?

00:07:40: Das höre ich von vielen Leuten!

00:07:42: Und dass man eben dann wenn die Leute da Antworten angeben quasi mit dem Chatboard anfängt mit denen darüber zu sprechen, dass er dann so was sagt wieder.

00:07:48: Du fühlts dich erscheinbar nicht besonders wohl.

00:07:50: also wie so pseudo einfühlsam Sachen rauskitzelt aus den Menschen.

00:07:55: und sie sagt natürlich können oder mit großer Wahrscheinlichkeit können Unternehmen natürlich mitlesen.

00:08:02: Und ich glaube, es gibt nicht wenige Menschen die ja so eine KI-Lösung von ihrem Unternehmen zur Führung gestellt bekommen, weil natürlich die große Angst vor dem Unternehmen ist das dann dieser Wildwuchs, dass jeder alles mögliche nutzt und dann was auch mal Daten Intellectual Property oder andere Daten vom Unternehmen in irgendwelche Chatfenster kopiert.

00:08:19: Deswegen stellen viele Unternehmen ihren Mitarbeitenden Lösungen zur Verfügung.

00:08:23: Aber natürlich, so wie bei E-Mails ja auch können die zumindest rein technisch mitlesen.

00:08:29: Wer das macht weiß man nicht, aber klar ist, dass es geht!

00:08:33: Nee, also so ist es auch.

00:08:34: Also so kenne ich das auch aus Unternehmen, dass die sozusagen wie so das Art Frontend für die KI, das ist vom Unternehmen selbst und im Hintergrund läuft es dann zum Beispiel über eine Azure Cloud.

00:08:46: Und das macht für die Unternehmen auch deshalb total Sinn weil, wie du schon gesagt hast man nicht möchte A., dass jeder eine private KI benutzt und B., auch dass eben Unternehmensdaten irgendwo landen.

00:08:56: Und es gibt die Möglichkeit solche Business Lizenzen einzukaufen großen Player, sodass du als Unternehmen auch weißt meine Daten bleiben zum Beispiel in Europa.

00:09:07: Also es macht für ein Unternehmen total Sinn das über so eine Art Unternehmens-KI zu lösen.

00:09:13: aber klar du hast natürlich dann wieso bei so einem Man In The Middle hast du natürlich automatisch diesen Layer drin dass die Company mitliest und da gab's jetzt... Es gibt einen ganz Bekannene Fall, oder der ist jetzt so ein bisschen eskaliert auch medial tatsächlich bei Meta.

00:09:31: Bei Meta haben wir auch ihre Mitarbeiterinnen überwacht?

00:09:34: Genau aber mit Ansage auch und zwar über einen Programm das hieß Model Capability Initiative MCI und das gibt es intern seit April zwanzig sechsundzwanzig auf den Rechnern der gesamten US-Belegschaft Und da geht es gar nicht um dieses, was wir eben besprochen haben.

00:09:55: Die KI muss irgendwie in so einer Business Cloud laufen und deswegen müssen wir das machen, sondern da geht es eigentlich noch um viel mehr.

00:10:03: Sondern man möchte damit Mausbewegung, Klicks, Tastenanschläge, periodische Screenshots ... Also, da ging es laut interne Memo-Medienberichten zur Folge.

00:10:15: Da ging es darum, Trainingsdaten zu sammeln für Agentic AI also damit ... die dann selbstständig am Computeraufgaben erledigen kann.

00:10:24: Also das, was wir interessanterweise letzte Woche besprochen haben mit Julia Kläuber vom Superlab und die uns erzählt hat dass jetzt von DatenarbeiterInnen erwartet wird, dass sie mit so einer Kamera immer sozusagen Screenshots aus ihrem Leben machen um die KI zu trainieren.

00:10:40: Das hat Meta gemacht auf den Firmen Laptops und auch nicht mit der Möglichkeit rauszuoptieren.

00:10:48: Und dann gab es in den Juni eine Art Super-Gau, nämlich so ein Datenleckmoment.

00:10:53: Also das also nach einer Fehlkonfiguration eben auch private Chats, Transkripte eingetippte Prompts und Leistungsdaten firmweit sichtbar wurden und darauf hat man eben MCI erst mal pausiert.

00:11:07: aber ...

00:11:08: Wow!

00:11:09: Das hat für eine große Aufregung.

00:11:12: Und da gibt's ganz viele Ebenen, ne?

00:11:13: Da gibt es diese Privacy-Ebene.

00:11:15: Da gibt das aber auch dieses Erstüberwachen dann ersetzen.

00:11:19: Dann gibt es die Ebene was passiert wenn diese Daten liegen und wo man einfach mal sieht wie was von Rattenschwanz an Problemen daran hängt.

00:11:29: Wahnsinn ja also genau diese ganzen Sachen und da fällt mir auch übrigens ein.

00:11:32: Es gibt eine andere ältere Recherche, die ich war wahrscheinlich inzwischen zwei oder drei Jahren gemacht haben, wo ganz ähnliche Dinge gemacht worden sind als angeblich eine Cybersecurity-Maßnahme.

00:11:44: Und es gibt Cyber-Sicherheitsfirmen die so was anbieten, ne?

00:11:47: So eine Lösung, wo du als Unternehmen quasi jeden Tastendruck deiner Mitarbeitenden theoretisch nachvollziehen kannst.

00:11:53: Eine Firma hat damit beworben man kann denen wie im Nachträglich über die Schulter schauen und da wurde dann von ... Da gab's ja verschiedene Skandale der A da wurden wie die Minute Bildschirmaufnahmen gemacht und gespielt hast.

00:12:05: Wenn du ein sehr überwachender Chef bist, quasi am Abend einmal kurz im Schnelldurchlauf schauen kannst was haben die eigentlich alle so gemacht?

00:12:14: Interessant dass diese Themen immer wiederkehren oder also immer zu verschiedensten angeblich sinnvollen Anwendungsfällen.

00:12:21: Ja

00:12:22: jetzt muss man vielleicht noch wichtig dazusagen das ja von so einer ich nenne es mal Anlasslosen rund um Überwachung dass das hier in Deutschland oder auch Europa nicht möglich wäre.

00:12:34: Also wir haben ja EU-Datenschutzrecht, DSGVO – endlich ist es immer was Gutes!

00:12:39: Nicht nur für Cookie-Bunner, sondern viel wichtiger eben, dass genau so eine rundum Überwachung unzulässig wäre.

00:12:47: und dann alle natürlich hier auch starke gewerkschaftliche Vertretungen, Betriebsräte wo zum Beispiel der Betriebesrat mitbestimmen darf, sobald irgendwie ein System für sowas eingesetzt wird, so Verhaltens- oder Leistungskontrolle.

00:13:02: Also das könnte man hier in Deutschland gar nicht ohne Weiteres einführen.

00:13:06: Trotzdem finde ich die Frage sehr recht dikt!

00:13:08: Ja und die Frage ist ja auch, wenn der Vorwand ein anderer ist.

00:13:12: Wie jetzt wir müssen Daten sammeln für die KI in Zukunft?

00:13:16: Wir sind hier Meter und machen schließlich unser Geschäftsinteresse oder eine Firma kann bei den KI-Chats ihre Mitarbeitenden mitlesen.

00:13:24: Die braucht dann nichts zu sagen dass sie das vielleicht auch nutzen möchte um rauszukriegen wer es hier eigentlich auf dem Absprung der ist besonders loyal usw.

00:13:32: Wer chattet während der Arbeitszeit über ganz andere Dinge.

00:13:34: also so Das müssen dir nicht zugeben das Wissen ist dann einfach da.

00:13:38: dann ist es wahrscheinlich auch schwer nachzuweisen am Ende, wenn sie dann wie auch immer mit verschiedenen Maßnahmen versuchen.

00:13:43: Leute zu beeinflussen oder loszuwerden, ihnen das Leben schwerzumachen.

00:13:47: Kann man ja kaum nachweisen, dass es daherkommt?

00:13:50: Ja und die Frage ist genau auch dieses Wo fängt des Anwohrtes auf?

00:13:53: ne.

00:13:53: Wenn man sagt okay so eine Anlassose rund um Überwachung geht nicht.

00:13:57: aber wir brauchen das also wenn.

00:14:00: wir müssen unsere KI so nutzen, dass wir das über sozusagen Firmensysteme leiten.

00:14:05: Und dann ist natürlich die frage ok wer hat da Zugriff drauf?

00:14:08: Dann haben wir parallel in Brüssel ja so eine große Debatte zur Regulierung, Omnibus ist so das Schlagwort.

00:14:17: Und auch da gibt es schon mahnende Stimmen die sagen jetzt müssen wir ganz gut aufpassen weil das könnte eben diese jahrlange Schutzarbeit Die EU da getätigt hat auch mit einem Zug wegwischen.

00:14:31: Ja, da gab's ja viele Diskussionen darum.

00:14:33: Dass das echt gefährlich ist, diesem Schrei der Unternehmen zu folgen, die immer gerne sagen, Regulierung isst so viel und wir können nicht wettbewerbsfähig sein und Deutschland wird abgehängt.

00:14:44: Und diese schreckungs-Szenarien funktionieren da grade ganz gut auch als ... Das ist quasi Erpressung, sowas zu sagen.

00:14:53: Und mir ist es wirklich ein Rätsel.

00:14:55: Wieso das von der Politik teilweise auch so ... kritiklos übernommen wird.

00:14:59: Also es gibt ja einen Grund, warum wir das alles haben die DSGVO und die KI-Verordnung usw.

00:15:05: Und dass Unternehmen, die reguliert werden natürlich da eine andere Position haben als die Gesellschaft ist auch klar.

00:15:12: also dass den Unternehmen oder der Lobby da so nachgegeben wird finde ich schon bedenklich.

00:15:18: Was natürlich immer so mitschwingt ist dieses alte Argument wer nichts zu verbergen hat.

00:15:23: Man könnte ja wenn man jetzt mal anders herum argumentiert auch sagen zum einen Ist es aus Sicherheitsaspekten total klar, warum Unternehmen das so machen?

00:15:32: Dass du die Chatbots ... dass du nicht deine private Chatbot-Bubble benutzt.

00:15:36: Ist eigentlich total klar!

00:15:38: Dann, ich sag mal so, Tokenverbrauch haben einige Unternehmen in der Vergangenheit auch schon heftigste Überraschungen erlebt.

00:15:45: also Token Verbrauch ist halt nichts mehr wo man sagen kann ja das lassen wir mal eben unter dem Radar laufen sondern Token verbraucht, Taken kosten sind ein echter Budgetposten.

00:15:57: Das ist mein zweiter Grund, warum man als Firma auch sagen kann, Leute wir müssen das überwachen.

00:16:03: Das geht gar nicht an.

00:16:05: Und vielleicht der dritte Punkt wäre dann okay.

00:16:07: nein, wir wollen doch gucken was ihr prompted?

00:16:09: Wir wollen gucken wie ihr KI benutzt weil dort können wir es auch verbessern.

00:16:14: So argumentiert,

00:16:16: das kann ich schon nachvollziehen!

00:16:18: Genau, aber das heißt schon auch, dass man sich dem im Klaren sein muss.

00:16:22: Also alle die mit ihrer Lösung interagieren, die von ihrem Unternehmen angeboten wird müssen damit rechnen, da Leute mitlesen können und ich mein klar, das gilt natürlich sowieso auch dafür Lösungen, die du sonst im Browser nutzt.

00:16:37: also wenn du im ChatGPT nützt oder Claude im Bräußer geht es halt zu OpenAI.

00:16:47: Da müsste man dann so eine persönliche Risikoanalyse machen und da kommt man eventuell zu dem Schluss, dass die Gefahr größer ist wenn man seinem eigenen Chef sagt.

00:16:54: Wie schlimm man es gerade bei der Arbeit findet als wenn man das mit einem US-Konzern diskutiert aber keins von beidem ist so richtig beruhigend finde ich ja.

00:17:02: also keins vom Beidem is ne Lösung.

00:17:03: man sagt ja mach das ruhig.

00:17:17: Was ja einfach viele überrascht ist, tatsächlich habe ich jetzt aktuell also zu den ganz aktuellen Modellen noch nicht recherchiert.

00:17:26: Aber das war damals für viele sehr überraschend als ich diese Recherche gemacht hab zur Alexa-Serie und insgesamt auch zum ganzen Themenbereich Content-Moderation.

00:17:35: Das es für viele überrschend war, dass eben dann doch irgendwo noch Menschen sitzen Und dann diese Ausschnitte zum Beispiel ganz konkret zu hören bekommen, jetzt im Fall von Alexa und Siri.

00:17:49: dass die viele auch solche Datenarbeiterinnen beschäftigt haben.

00:17:52: Mit einigen hatte ich damals auch gesprochen, die dann zum Beispiel in Irland irgendwo saßen und sich den ganzen Tag diese Audioaufnahmen angehört haben.

00:18:02: Und zwar immer Audioaufnahme, wo das Gerät versehentlich ausgelöst hat.

00:18:07: Es war eigentlich ... Aus Datenschutzrecht-Perspektive?

00:18:09: Nein, extra doof sozusagen.

00:18:11: Extra doof!

00:18:12: Also es war einmal doof weil jemand hört sich irgendwie das an was du mit deinem ... Chatbot besprächst und das zweite Mal doof, weil es waren dann vor allem Gespräche die unabsichtlich zustande

00:18:25: kamen.

00:18:25: Ja, die du gar nicht gewählt hattest als Gespräche wo jemand oder eine Maschine zuhört oder interagiert?

00:18:31: Und die Datenarbeiterinnen haben ja da wirklich Sachen berichtet wo sie Arztgespräche oder Diagnosen oder also teilweise sehr oder streit Also teilweise sehr intime Momente mithören konnten.

00:18:45: Oder ich sag mal Fragmente, ne?

00:18:47: Das waren ja

00:18:47: immer so

00:18:48: Sekundenausschnitte, die dann gehört haben und ich hab das selbst auch getestet, indem ich hier bei uns zu Hause die Alexa mal hab mitschneiden lassen.

00:18:57: Normalerweise hatte ich die so eingestellt, dass die Datensnippe sofort wieder gelöscht werden aber daß ich es mal über sechs Monate oder so hab mit schneiden lassen Und der ist schon irgendwie creepy.

00:19:10: Weil du hast dann einfach Ausschnitte ausgesprochen, wo du nicht wusstest dass das Ding irgendwie mitläuft.

00:19:18: und wenn wir das jetzt auf den Arbeitsplatz übertragen was ist daran?

00:19:22: Das Problem nicht ich habe nichts zu verbergen sondern es gibt so eine Machtasymetrie.

00:19:26: also da weiß jemand etwas über dich dem du's eigentlich nicht erzählt hast.

00:19:31: ja das ist das Problem

00:19:34: Und man kann sich dieses Nippets quasi selbst, also alles was Alexa dann aufzeichnet und eventuell oder Siri und eventuelle AnnotatorInnen schickt damit diese anhören können.

00:19:41: Sowas kann man sich selber speichern dass du sehen kannst was das gewesen wäre

00:19:45: sozusagen.

00:19:46: Ja genau!

00:19:46: Also das wird gespeichert.

00:19:48: in deiner Amazon History muss man sich natürlich durch sechste Untermenü irgendwo durchklicken aber das habe ich damals gemacht Und die kann man sich dann als Audio-Soundbites runterladen.

00:20:01: Das sind genau diese Art von Snippets, die sicher nicht alle, aber die damals zu dem Zeitpunkt, als ich recherchiert habe, ausgewertet wurden.

00:20:11: Die Leute haben natürlich nicht deinen Namen oder deine Adresse mitgeteilt bekommen.

00:20:16: Das war so ein bisschen ... Wir haben ja damals die Unternehmen damit auch konfrontiert.

00:20:21: Aber die haben natürlich gesagt, du hast dem zustimmen.

00:20:24: Dass es für Trainingszwecke benutzt wird.

00:20:26: Du bist ja informiert und das ist transparent gemacht worden.

00:20:29: Dadurch wird dann das Gerät verbessert.

00:20:30: Das war damals die Begründung von den Konzernen.

00:20:33: Unterschreibend tun das ja alle irgendwo stets, dass du da zustimmst wenn du das Ding nutzt.

00:20:39: Würde ich auch jedem empfehlen der Private Cloud oder OpenAI ChatGPT benutzt zum Beispiel.

00:20:46: das kann man ausschalten.

00:20:48: Also meine Daten sollen für Training benutzt werden, da kann man einfach ein Schieberegler in die andere Richtung drehen.

00:20:53: Ja, ob es dann am Ende wirklich so ist und wo die denn doch noch rauskommen weiß man nie.

00:20:58: ne?

00:20:59: Wahrscheinlich kann man's nicht ausschließen... Natürlich kann man sie ausschliessen, dass die auf den Servern von denen jeweilig unter dem Land sonst wirds ja gar nicht funktionieren!

00:21:07: Aber

00:21:09: du hast auch mit dem Menschen gesprochen, die es gut fanden.

00:21:13: Genau!

00:21:14: Jetzt kommt die Plastikewende.

00:21:15: Nein, die natürlich nicht gut fand diese Überwachung.

00:21:18: Sondern so ... Die Frage ist ja... Wenn man sich das anschaut, ist es ein sehr düsteres Thema, finde ich.

00:21:24: Also wir teilen und es ist ja so, Menschen teilen wirklich ... viel mit Chatbots.

00:21:29: Und das haben wohl auch Forschung schon gezeigt, es ist eben nicht so dass man da vor allem übernüchterne Themen spricht und sich keine Ahnung.

00:21:37: also gut Schülerin machen vielleicht die Wartegausaufgaben damit ja sondern dass Leute ganz schnell auf diese persönliche Du bist mein Kumpelebene kommen.

00:21:46: Das wird noch verstärkt durch diese Gedächtnisfunktionen die wir haben.

00:21:49: Schon jetzt auch seit einer Zeit.

00:21:51: Also dass dein Chatbot immer weiß immer mehr würde ich lernen sozusagen.

00:21:55: Der fühlt sich eben an wie ein guter Freund, weil er auch an das letzte Gespräch anknüpft und sagt Mensch, keine Ahnung du hast neulich erzählt aus dem Beispiel Du hast Kopfschmerzen Wie gehst du denn heute damit?

00:22:04: oder so was?

00:22:04: Also dass die anknüppende alte Gespräche das verstärkt ist eben noch Und es zeigt sich das Menschen ja.

00:22:09: also das ist ja auch nicht überraschend, wenn es die Forschung schon vorher sagt Dass wir eben auf diesen Relationship-Exploit Das Reihenfallen uns dagegen kaum wehren können, dass Menschen eben genau solche Gespräche führen ganz ganz großen Mengen.

00:22:21: Jetzt ist so die Frage Was damit tun, finden wir uns damit ab und sagen, na ja, dumm gelaufen.

00:22:27: Jetzt haben halt die großen Konzerne noch mehr Möglichkeiten, noch mehr intime Dinge über uns zu wissen und unser Chef kann mitlesen und wir können es nicht wehren oder sind wir nicht so blöd?

00:22:36: Und finden wir als Menschheit da ein Weg raus, sodass wir auch davon

00:22:41: profitieren?".

00:22:42: Da habe ich das Buch von Markus Gabriel gelesen der Philosoph des Buches Ethische Intelligenz.

00:22:48: Zwar weil mir gesagt wurde Der hat eine ganz andere Perspektive und wir sind vielleicht gar nicht so blöd, sondern wir müssen oder werden in der Lage sein als Gesellschaft ein Ausweg zu finden.

00:22:59: Und natürlich ist der erste Weg der ersten Schritt.

00:23:01: Und er hat gesagt dann kann es gut sein.

00:23:02: also klar muss man erst mal davon wegkommen dass die KI großen KI Konzerne diese ganzen Informationen bekommen und ausnutzen.

00:23:10: Dann hat er gesagt das kann ja schon so sein kann ich das wie ein Spiegelvorhalten, weil wir so viel mit ihnen teilen verstehen.

00:23:18: Ein Anführungszeichen die auf nativeren Ebene erkennen Muster in uns.

00:23:22: und er sagt gerade weil Menschen Gespräche mit Chatbots führen um sich selbst zu ordnen oder zu prüfen oder zu verstehen sei eben eine ... Er sagt immer, die Maschine ist mir eigentlich ganz gut.

00:23:34: Um dieses Wort Intelligenz zu vermeiden, er schreibt viel von Maschinen.

00:23:37: Sei die Maschine wie ein Spiegel unseres Inneren geworden?

00:23:41: Und er sagt eigentlich braucht es keine KI-Äthik sondern eine ethische KI, die uns befähigt, dass wir mit diesen Maschinnen so zusammenleben, dass sie nicht ein Risiko für uns werden, sondern das dadurch, er sagt Reifung entsteht.

00:23:55: und er sagt diese Reifungen kann eben entstehen weil ja diese Systeme, diese Maschienen besser als jeder ... Therapeut oder jeder Soziologe, jeder Seelsorger, jeder Neuro- und Sozialwissenschaftler besser als die eigentlich uns durch ... Wie sagt man?

00:24:09: Ausmessen.

00:24:10: Uns durchschauen!

00:24:11: Und mehr wissen anhäufen als jede Einzelne von diesen Berufsgruppen.

00:24:16: Er sagt eben das kann auch eine Chance sein.

00:24:17: Dadurch können wir über uns lernen und reflektieren und wachsen.

00:24:24: Das Ding ist ja, man muss total aufpassen, weil der Chatbot versteht nichts.

00:24:29: Und der kennt dich auch nicht.

00:24:32: Man muss auf diese Begriffe voll aufpassen, ja?

00:24:34: Genau

00:24:34: weil dem fehlt jeder Kontext ... Ich hab da so eine Analogie im Kopf zu diesen Suchhistorien.

00:24:41: Ich hab mal eine Fette Recherche gemacht, wo wir in die Suchhstorien von drei Millionen Deutschen reinschauen konnten.

00:24:48: Weil kleine Programme, die Leute im Browser installiert hatten gesammelt wurden und verkauft wurden.

00:24:53: Ist schon länger her, hatten da Einsicht.

00:24:56: und haben dann auch Einzelne mit ihren eigenen Suchhistorien konfrontiert.

00:25:00: Und was lernt man daraus?

00:25:02: klar?

00:25:02: Suchh historie verraten super viel über dich, aber es ist halt wirklich nur ein Datenpunkt!

00:25:10: Oder halt viele Datenpunkte, aber es ist ja nur eine Suchhistorie.

00:25:14: Und der Mensch ist ja so vielschichtig und mehrdimensional.

00:25:19: Deswegen finde ich ... Ist ja gerade das Gefährliche, wenn Arbeitgeber sowas mitlesen?

00:25:24: Wenn solche Daten nach draußen kommen.

00:25:26: Weil sie dann die einen Seite sehen sozusagen.

00:25:29: Ja, komm on!

00:25:30: Weil vielleicht jemand irgendwie nachts Angst hat und irgendwelche Krankheiten da reintippt oder sowas.

00:25:36: Das definiert er diese Person nicht als Mensch.

00:25:39: Oder wenn jemand viele Fragen stellt zum Thema, wie soll ich mein Kind erziehen?

00:25:44: Dann könnte man ... Wenn wir nur das von diesen Menschen lesen denken.

00:25:47: Oh mein Gott!

00:25:48: Das ist vielleicht eine schlechte Mutter oder ein schlechter Vater aber das ist ja Quatsch.

00:25:51: Also meiner Ansicht nach.

00:25:52: Das finde ich jetzt halt die große Gefahr, dass wir Menschen auf Datenpunkte reduzieren.

00:25:57: Ja wobei du schon bedenken musst, dass so ein Chatbot eben nicht ... Das wird ja allumfassender, ne?

00:26:03: Also wenn man so bedenkt... Ich würde sagen ich versuche immer noch zu reflektieren was ich alles mit meinen Chatbots bespreche.

00:26:10: Aber da sind viele Themen drin, das sind die Krankheiten meiner Tomatenpflanzen und die Läuse meiner Kinder.

00:26:15: Darüber war ein bisschen offen gesprochen.

00:26:16: deswegen kann ich das verraten.

00:26:19: Und natürlich auch also was Gabriel sagt Recherche aber auch so irgendwie Boards bin hier irgendwie keine Ahnung habe ich hier eine beschwerde E-Mail bekommen.

00:26:30: Wie reagiere ich da am besten drauf?

00:26:32: Das hast du mir auch mal gesagt, dass es hilft wenn man dann anstatt sofort zu antworten.

00:26:36: Einmal durch den Kursdurchab mit einem Chatbot fragt und dann kann man ne vielversöhnlichere E-mail schreiben die wird nicht eins zu eins kopiert aber diese Reflexion.

00:26:44: Du hast jemanden, mit dem du kurz darüber reflektierst.

00:26:46: Und deswegen glaube ich schon dass da so ein viel größeres Bild entstehen kann.

00:26:50: und ich weiß andere Menschen machen noch also klären wirklich noch viel mehr mit ihren Chatbots.

00:26:56: Und Markus Gabri jetzt sagt halt das ist natürlich Mustererkennung.

00:26:59: ja die Systeme erkennen Muster.

00:27:01: Also sie verstehen nicht Emotionen aber die können eben unsere Kommunikation reproduzieren oder eben unsere die Formel die entstehen wie wir Emotion äußern.

00:27:13: Und er sagt, das fand ich euch ein schönes Zitat.

00:27:15: Damit nähern sie sich einer Wahrheit an die lange übersehen wurde, dass Sprache im tiefsten Sinn Selbstausdruck ist.

00:27:22: Wow!

00:27:23: Also ich mag das manchmal so philosophisches Zeug zu lesen.

00:27:27: Und ich finde, er hat sich in den Buchs ja zusammengerissen also sehr verständlich geschrieben und auch wenn nicht teilweise denke es ist... Ich meine, ich beobachte schon auch Text-Solutionismus da teilweise drin aber ich glaube es lohnt sich schon nochmal drüber nachzudenken und vielleicht auch eine... Vielleicht glaube ich auch dass es ein bisschen naives zu hoffen, dass wir diese Macht den großen Techfirmen wieder entreißen können, die sie ja schon haben.

00:27:49: Das ist einfach da, dass die so viele Daten über uns alle haben.

00:27:54: Aber wenn man das als Utopie sieht, dass man denen das Ganze wieder entreißen kann, sagt er ... könnte es sein, dass uns auch hilft mehr über uns als Menschen zu lernen und daran wachsen.

00:28:05: Klar sind dann noch ganz andere Probleme nicht gelöst wie zum Beispiel das Umweltproblem was KI-Systeme vorsachen usw.

00:28:10: Also das ist schon das alles oder vieles davon.

00:28:13: jetzt ist noch offen.

00:28:14: trotzdem fand ichs ganz interessant mal drüber nachzudenken ob es interessant sein könnte KI Ich bin auch immer für das Gemeinwohl oder auch gesteuert vom Gemeinwohlen.

00:28:25: In Besitzverhältnisse zu überführen, die dem Gemeinwald dienen, sagen wir mal so...

00:28:28: Es ist eine Empfehlung von dir dieses Buch auf einer langen Sommerzugreise mitzunehmen?

00:28:36: Wow!

00:28:36: Gute Frage.

00:28:37: Ich habe mich schon darüber bei manchen Dingen aufgeregt in den Buch.

00:28:39: Deswegen ist es wirklich schwer.

00:28:41: Aber ich fand's mir gut getan rauszukommen aus dieser ... Sackgassen sichtweise.

00:28:48: Ich hab die, glaub ich trotzdem immer noch ... Aber so dieser Vorwurf, den mir jemand gemacht hat, die Menschheit ist doch nicht so dumm!

00:28:56: Wir rennen jetzt nicht ins Verderben.

00:28:58: Was glaubst du denn?

00:29:00: Das ist interessant, darüber nachzudenken.

00:29:01: Wie dumm ist die Menschheit?

00:29:02: Was können wir noch aufhalten?

00:29:04: und ich ... Angesichts vieler Diskussionen, die auch gerade in meiner Bubble hier und da führe, die schon immer mehr in die Richtung gehen, dass auch so die Grenzen klar werden.

00:29:14: von diesen Systemen kann man vielleicht doch wieder ein bisschen Hoffnung haben, aufwachen, aufhören diese vielen Anleitungen in fünf Prompts für dein Lebensglück.

00:29:25: oder so wirst du reich mit einem Chatbot.

00:29:26: Oder sowas du deinen Job KI sicher machen, indem du folgende Fähigkeiten lernst und folgende zehn Prompts.

00:29:32: also dass sie da mal wieder austauchen und merken das ist alles Quatsch es ist wirklich alles quatsch.

00:29:38: und nochmal so neu anfangen zu überlegen was wollen wir eigentlich?

00:29:40: Und da kann natürlich genauso rauskommen dass wir einfach glauben dass wir keine künstlichen Freunde brauchen.

00:29:47: Aber falls rauskommt, wir brauchen die dann ... Markus Gabriel, schuld.

00:29:51: Nee, aber dann kann man zumindest noch mal nachlesen, was so als philosophischer Sicht eventuell damit dranhängen würde?

00:29:58: Vielleicht so.

00:29:58: Sehr, sehr nice!

00:30:00: Ich würde sagen ihr schreibt uns einfach bis zum nächsten Mal wofür ihr KI so einsetzt aber jetzt nicht im Sinne von hier baut euch irgendwelche coolen Apps sondern was bespricht ihr so mit eurem Chatbot?

00:30:12: Oder auch nicht mehr?

00:30:13: oder über eure

00:30:15: Themen und über euer Feedback.

00:30:18: also Eva erreicht ja am besten über Mastodon LinkedIn.

00:30:21: bei mir könnt ihr es auch über Instagram versuchen.

00:30:23: und damit

00:30:24: Ja, wir freuen uns wirklich sehr von euch zu hören.

00:30:27: Gebt uns Feedback und ... Was ist eure Utopie?

00:30:30: Ohne oder mit Champions!

00:30:33: Wir hören das nächste Woche wieder.

00:30:35: Eine gute Woche euch.

00:30:36: Bleibt tapfer.

00:30:37: Das war Baytalk Tech ein CT-Podcast Mit mir Sphär Eckert

00:30:42: Und mir Eva Wolfange.

00:30:44: Musik und Produktion Marco Pauli Und tschüss.