Ein (verlorener) Matcha, “Rent a human”-Scam und: KI im Krieg

00:00:02:

00:00:17: Und herzlich willkommen zu They Talk Tech,

00:00:19: ein

00:00:20: CT-Podcast.

00:00:21: Hallo Svea!

00:00:22: Du bist Sveaa Eckhardt, wollte ich sagen?

00:00:24: Und ich?

00:00:25: Wer bin

00:00:25: ich?!

00:00:26: Du bist Eva

00:00:27: Wolf-Agel auch?

00:00:28: Alles Neumacht der Frühlinge, wollte die sagen?

00:00:31: Heute mal andersrum...

00:00:35: Ich bin etwas abgelenkt weil hinter mir wird gerade ein Gebäude abgerissen Und also, falls ihr es in diese Aufnahme leicht

00:00:43: rumpeln

00:00:44: hört ... Es bin ich irgendwie vom Stuhl gefallen.

00:00:48: Sondern das ist wahrscheinlich der Bagger, der wird seine Abrissbirne noch einen weiteren Balkon zunichtig gemacht hat.

00:00:54: Ja?

00:00:55: Ich werde Fotos machen und da könnt ihr euch dann mal anschauen auf meinen Profilen.

00:01:00: Das wäre immer die Probleme der physischen Welt!

00:01:04: Wärst du eine KI, hättest du das nicht.

00:01:07: Das sind wir doch schon längst weg davon und darum geht es ja auch heute!

00:01:11: Wir wollen doch einmal reintauchen in das Thema Rent a Human und den Hype der darum gemacht hat und um eine Wette ob gewonnen oder verloren.

00:01:26: Es geht also um KI-Agenten und den Hyper und vielleicht auch die realen Probleme dahinter.

00:01:32: Und es geht um K.I.

00:01:33: und Krieg, ja auch ein ganz großes Thema in der Diskussion den USA gerade wie K. I. den Krieg verändert?

00:01:41: Was da so die Ecken und Kanten sind, Hype und Realität auch da.

00:01:45: also ich denke der Hype ist das was über dieser Folge liegt, der in alle Richtungen Probleme verursacht.

00:01:51: Diese Geschichte beginnt mit einer Wette.

00:01:55: Denn es ist ja manchmal so, dass Eva und ich noch ein bisschen vor oder nach dem Podcast reden – auch wenn das Mikro aus ist, ja?

00:02:03: Das tun wir!

00:02:04: Und es gab eine Folge die wir aufgezeichnet haben und da gab es diesen Hype um Rent a Human also dieser Plattform wo mutmaßlich KI-agenten Menschen anheuern können oder angeheuert haben und dann haben Eva und ich um einen Matscher gewettet.

00:02:19: Eva ist lieblingsgetränk!

00:02:21: Genau, ich liebe Matscha.

00:02:22: Leider habe ich ihn verloren aber ich darf ja trotzdem oder auch nicht das sehen wir uns gleich mal.

00:02:27: Die Wette war also es wäre du hast ein KI-Agenten gestartet und ich hab mich als... Ich habe mein Fleisch quasi auf die Plattform geworfen Also mein... Physisches Ich und hab KI-Agenten angeboten, Aufgaben in der echten Welt zu erledigen.

00:02:41: Und ich war so Sieges sicher?

00:02:42: Weil es damals ... also das war so Anfang Mitte Februar.

00:02:45: So viele Geschichten gab fast allen großen Medien über dieses Rent a Human.

00:02:50: jetzt ist es soweit.

00:02:51: KI-Agenten beauftragen in großem Stil Menschen weil ihnen eben der physische Körper fehlt.

00:02:58: Ich dachte erstens, genau wenn es ein großes Ziel passiert dann werde ich sicher gleich auch beauftragt.

00:03:03: Zweitens habe ich natürlich wahnsinnig gute Fähigkeiten in der physischen Welt.

00:03:06: Ich kann zum Beispiel Klettern, ich kann Fahrrad fahren und Basketbeispiel aber ich kann eben auch von Mensch zu Mensch sprechen.

00:03:13: Ich hab eine Intuition für Biosys im KI System.

00:03:15: also mit all dem habe ich quasi geworben ja und dann gewettet dass sich... Welchen Zeitraum haben wir gesagt, dass ich innerhalb von ein paar

00:03:23: Tagen... Ja du hattest ganz optimisches zwei drei Tagen.

00:03:25: Genau!

00:03:26: Ich hab dann gesagt nein das dauert länger und dann saßen wir also da auf glühenden Kohlen haben gewartet und nichts ist passiert.

00:03:34: beziehungsweise es kam anders als man denkt.

00:03:38: Denn Eva Du hast einen Tipp bekommen?

00:03:40: Genau nachdem ich also der lange Saal so nichts passiert ist habe ich erstens angefangen mit die Plattform selbst nochmal genauer anzuschauen hab überlegt, ob ich mich vielleicht eher aktiv bewerben müsste.

00:03:50: Weil dann gab's immer mehr auch so Job-Ausschreibungen und dachte ... Du wolltest

00:03:53: den Matcher wirklich haben?

00:03:55: Ich wollte ihn wirklich haben, ich steh einfach so auf.

00:03:57: Da bin die.

00:03:58: werde ich schwach!

00:03:59: Genau, aber diese Jobausschreibung, die es da gab, waren halt alle nicht von KI-Agenden.

00:04:04: Die waren alle von Menschen.

00:04:06: Ich hab übrigens fast einen Job bekommen mit jemandem, der hat gesagt, wir können noch mal auf WhatsApp reden.

00:04:10: Das geht ein bisschen besser.

00:04:12: Der wollte mir einen Job geben, meinen Konto abkaufen.

00:04:15: Ich hab gesagt, ob ich das schon ein paar Jahre habe.

00:04:18: Dann hab ich gesagt, ja, ich bin eine gute Bankkundin und so ... Der wollte einen Konto haben mit einer längeren Geschichte.

00:04:25: Eine guten Geschichte.

00:04:26: Ganz eindeutig war es eben Cyber-Kriminella.

00:04:29: Also dafür ... nur für den Matcher wollte ich jetzt nicht ins Cybercrime Geldwäsche-Geschäft einsteigen.

00:04:36: Also hab ich diese Kommunikation auch wieder aufgegeben.

00:04:39: Und dann hat sich irgendwann ein Informant bei mir gemeldet und gesagt, hey, die ganze Plattform ist ein einziger Scam!

00:04:45: Kein einziger Auftrag ist bisher über die Plattform vergeben worden.

00:04:50: Wer war der Informant und wie kam er an diese Information?

00:04:54: Der Informant, genau!

00:04:55: Ich darf es verraten.

00:04:56: ich habe nämlich seinen Namen auch veröffentlicht.

00:04:58: Christopher Helm heißt der hat selber eine kleine Agentur macht KI Software.

00:05:03: also da hat sich Renter Human aus persönlichem Interesse angeschaut ein bisschen wie ich weil er wollte gucken wie das funktioniert technisch dass so eine Plattform so schnell weil diese ganzen Medienberichte.

00:05:13: er hat auf Forbes davon gelesen und gesagt, den vertraue ich schon.

00:05:16: Die haben mir suggeriert dass das innerhalb von quasi über Nacht explodiert ist und viral gegangen ist.

00:05:21: Und der wollte eben sehen wie funktioniert es denn technisch?

00:05:23: Wie kriegen die es hin?

00:05:24: Dass auch deine Aufträge in so einem großen Stil vermittelt werden usw.

00:05:27: Und die Bezahlung und so.

00:05:29: Dann hatte halt ein bisschen dran rumgespielt und hat gesehen oh die ist ja total unsicher.

00:05:33: Er konnte die Datenbank dahinter legt quasi anzapfen Menschen runtergelernt, die da viel angelegt hatten.

00:05:41: Also alle Humans.

00:05:43: Das waren da, ich glaube, fünfhunderttausend Grund und hat dann ... Ja schon eine

00:05:48: ganz schöne Summe

00:05:49: auch.

00:05:49: Genau das war wirklich ziemlich am Anfang noch ne?

00:05:51: Und hat dann gesehen dass von diesen fünfhundertausend vierhundert tausend waren irgendwie Duplikate also es blieben so knapp hunderttaussend bisschen weniger und von denen hatten aber auch klingt

00:05:59: realistischer

00:06:01: Ja, aber selbst das ist noch viel für innerhalb von ein paar Tagen.

00:06:04: Aber gut ja klar, wahrscheinlich gibt es viele Menschen wie ich die einfach neugierig sind, dass mal testen wollten.

00:06:08: und von diesen Hunderttausenden hatten aber auch ganz ganz viele, ich glaube zwei Drittel drei Viertel also jedenfalls wirklich einen Großteil hatte ihr Profil gar nicht ausgefüllt.

00:06:15: Die hatten quasi nur ihren Namen hingeschaut oder halt ein Account-Namen und sonst nix und hatten auch keine Views.

00:06:23: Also die hat den doch nie jemand angeschaut.

00:06:25: und wenn man so an sich denkt, ich habe mein Profil eröffnet, ich hab's ausgefült Und natürlich, dann schaut man es doch als erstes einmal selbst.

00:06:31: Genau ein Foto meine ganzen Fähigkeiten rein und dann geht man doch erstmal auf die Profilansicht und schaut sich an was sieht man denn?

00:06:37: Was da ja was wie sieht's denn aus ist das auch präsentabel für die KI-Agenten.

00:06:42: Das heißt von diesen hunderttausend Menschen hatten also die wenigsten eigentlich Interesse an ihrem Account.

00:06:48: Die anderen könnten ja auch maschinell erstellt worden sein.

00:06:50: Genau, das war so ein bisschen die Vermutung, dass es eventuell zu großen Teilen eben auch Fake-Accounts sind.

00:06:55: Dass da vermutlich gar nicht so viele echte Menschen dahinter stecken.

00:06:59: und dann hat er noch gesehen ... Es gibt eine Spalte Total Bookings, also wie oft wurde jemand insgesamt schon gebucht?

00:07:06: Und die war auf null bei allen Profilen, die er gesehen hat... Also kein einziges Profil hatte nur eine Buchung!

00:07:14: Ich kann das kaum glauben.

00:07:16: Das war ja so ein Hype.

00:07:18: und es gab hier auch einige Kolleginnen und Kollegen, Journalisten, Journalistinnen die geschrieben haben, ich hab's ausprobiert und bin gebucht worden!

00:07:26: Genau deswegen war ich skeptisch und dachte, naja da stimmt halt was mit dieser Datenbank nicht oder...

00:07:31: Zeile verrutscht.

00:07:32: Ja was auch immer vielleicht wird es einfach gar nicht übertragen.

00:07:35: Aber ich habe dann zumindest mal mit drei Leuten telefoniert, die eben von denen ich wusste, die gesagt haben sie einen Job über die Plattform vermittelt bekommen.

00:07:43: Ist es wirklich so gewesen, als ist der direkt über die Plattform vermittelt worden?

00:07:47: Dann wäre das ja der Beweis dafür, dass diese Zahl nicht stimmt.

00:07:52: Genau.

00:07:52: Und dann kam bei allen drei aber raus, in Wirklichkeit tatsächlich ist die Buchung nicht über die Plattform gelaufen sondern alle drei haben auch den gleichen KI-Agenten kontaktiert und zwar über Twitter oder X. also die haben erst mal sich quasi auf sich Aufmerksam gemacht über eine andere Plattform und sind dann teilweise haben sie ja mit dem Agenten zwar über Rent a Human kommuniziert diese Messages Funktion hat zumindest soweit funktioniert, dass man sich austauschen kann.

00:08:19: Bei mir, ich hab dann den Karrieregenten auch geschrieben und mir hatte er geschrieben, hier ist alles kaputt!

00:08:24: Ich krieg die Nachrichten immer erst nach ein paar Tagen

00:08:26: usw.,

00:08:27: selbst diese schön nicht so gut zu funktionieren.

00:08:28: Und am Ende haben sie die Buchung an sich über andere Plattformen abgewickelt und das die Bezahlungen direkt untereinander ausgemacht.

00:08:34: Also es stimmt ja tatsächlich bei diesen drei Fällen mit denen ich gesprochen habe, dass es nicht über die Plattform gelaufen ist.

00:08:42: Und kann man das heute eigentlich noch einsehen?

00:08:44: Also weißt du, das ist ja jetzt alles schon ein paar Wochen her?

00:08:48: Ja in witziger Weise kann man immer noch hinter der API eben diese Daten runterladen.

00:08:52: Das finde ich ein bisschen schräg weil als eine Ding ist es so unsicher zu machen.

00:08:57: Normalerweise müsste man sich irgendwie identifizieren wenn man solche Daten runter laden möchte.

00:09:01: Das eine ist es unsicher zum Machen und das andere ist dann nicht zu ändern wenn man in der Zeitung liest dass Leute das missbrauchen und die Daten runterladen.

00:09:10: Also, es wurde wohl immer schwieriger.

00:09:11: Am Anfang konnte die Menge an Profilen, den man runterladen kann, immer geringer werden.

00:09:15: Aber ich hab's heute extra noch mal mit meinem eigenen Profil versucht.

00:09:18: Ich komm immer noch an diesen Eintrag bei mir.

00:09:20: Es steht doch immer noch Zero Total Booking Slider und auch nur wenige Profilauffrofe.

00:09:26: Also dieses Profil ist tatsächlich auch nicht wahnsinnig erfolgreich.

00:09:30: Das Einzige, was ich überprüfen konnte oder was ich berufen konnte, ist dass diese Zahl der Views, der Profil-Views tatsächlich stimmt.

00:09:38: auf dem Browser quasi neu laden, dann kommt da immer eine Zahl drauf.

00:09:42: Was übrigens auch ein Fehler ist.

00:09:43: eigentlich sollte man natürlich nicht der gleiche User die ganze Zeit diese Zahl hochtreiben können sondern eigentlich nur einmal.

00:09:51: Okay und Eva was denkst du?

00:09:54: war denn der Sinn?

00:09:56: Hinterrent-Jungen.

00:09:58: Eigentlich würde man sich vorstellen, okay ... die bekommen dann irgendwann eine Kommission von den Tausenden und Arbertausenden Jobs, die sie vermittelt haben, nehmen sie dann fünf oder zehn Prozent und verdienen so Geld.

00:10:10: So kennt man das ja von kleinen Anzeigen oder anderen Plattformen.

00:10:15: Aber jetzt hast du herausgefunden, dass da noch niemals gebucht wurde über diese Plattform.

00:10:21: Und das Ganze ja sowieso auch ein bisschen.

00:10:24: ich würd mal sagen Ja, wie so ein Scam oder so sein könnte.

00:10:29: Was denkst du denn?

00:10:30: Also genau, ich glaube, wir müssen

00:10:31: da hinter sein!

00:10:32: Die Leute die diese Plattform gegründet haben sind übrigens nicht erreichbar.

00:10:36: Ich habe es auf verschiedensten Kanälen auch direkt auf der Plattform versucht und ich weiß viele andere haben's auch versucht... die Antworten überhaupt nicht auf Medienanfragen.

00:10:44: Ehrlich gesagt würde ich sagen, dass die ganz genau wissen das es diesen Bedarf aktuell nicht gibt.

00:10:49: also ich habe mich auch gefragt was soll das denn?

00:10:51: Was können das denn für Job sein?

00:10:52: jetzt aktuell KI-Agent die irgendwas machen wollen.

00:10:54: wer hat denn ein KI-Agent und gibt ihm eine Aufgabe und sagt ja guck halt wenn du an Grenzen stößt der physischen Welt dann such dir halten Menschen Und dann macht es der Agent.

00:11:03: Also das ist ja Quatsch!

00:11:05: Allein diese Erzählung Unsinn.

00:11:09: Und ich bin mir auch nicht sicher, ob das in Zukunft jemals ein großes Ding werden wird.

00:11:12: Also eigentlich glaube ich, dass diese Limitationen anders gelöst werden vielleicht mit Robotik und solchen Dingen.

00:11:17: aber dass man quasi seinen eigenen KI-Agenten andere Menschen buchen lässt ist halt wirklich für Science Fiction.

00:11:23: Und die Gründer ganz genau.

00:11:24: Aber die wissen halt auch so ein bisschen wie die Medienwelt funktioniert.

00:11:27: Das finde ich erstaunlich.

00:11:28: schlau oder auch ja?

00:11:30: Dieses Narrativ, jetzt dreht sich das alles um.

00:11:33: Jetzt kommt die KI und hält uns als Glawen so ein bisschen ... Die Dystopie dahinter, dass es halt total zieht!

00:11:39: Und haben das schlau aufgebaut?

00:11:41: Haben schon nach dem Hintergrund, man konnte sehen, dass Linkfarmen da aktiv sind oder auch diese ganzen Verlinkungen vom Anfang nicht total natürlich waren ja.

00:11:50: Es ist eben auch nicht so das natürliche Wachstum, was erzählt worden ist.

00:11:55: Was meinst du damit also, dass in so komischen gelben Seiten gepostet wurde?

00:11:59: Ja, also lässt sich kann man sich Verlinkungen ja auch kaufen.

00:12:01: Und es sind dann keine total hochwertigen Verlinkung die einem eigentlich nicht wahnsinnig viel bringen aber die erwecken eben den Eindruckes wurde schon viel verlinkt auf die Seite.

00:12:09: und da natürlich dieser Mechanismus die großen Medien dazu zu bringen darüber zu schreiben.

00:12:12: jenes von denen verlinkte ich mir jetzt auch darauf und das sind einfach auch sehr wertvolle Links.

00:12:17: und genau und deswegen ist meine Hypothese, was das Ganze bewirken soll.

00:12:22: Diese Domain einfach schnell sehr wertvoll zu machen und hat einer der Gründe übrigens auch auf X, hat er im Prinzip genau das gepostet Anfang Mitte Februar also dieses hat gezeigt wie die Domaine kauft für weiß ich nicht wie ein paar hundert Euro oder so.

00:12:35: Und dann hat er dann drüber geschrieben Das könnte ja der der schnellste schnellste Wert Zuwachse.

00:12:42: Die Geschichte des schnellsten wird Zuwachs einer Domain werden.

00:12:47: Entweder verkaufen sie dann wieder, das wäre so wie man richtig schnell Geld machen kann.

00:12:50: Ich denke die ist jetzt schon recht wertvoll oder sie hoffen halt dass sie abgeworben werden.

00:12:54: also Meta hat ja zum Beispiel vor kurzem Mordbuch gekauft und die Plattform auf der sich KI-Agenten austauschen dir ehrlich gesagt wenn man genauer hinschaut Vielleicht nicht ganz so ein krasser Scam, aber doch auch ein ähnliches Scam waren.

00:13:07: Weil auch da diese Posts, die dann diese dystopischen Szenarien erzeugte mit den Medien von wegen ... Da sind irgendwelche KI-Agenten, die wollen sich privat austauschen und erfinden geheime Sprachen.

00:13:19: Die wollen Räume haben in denen Menschen sie nicht beobachten können.

00:13:23: Auch von Menschen geschrieben, wie sich später rausgestellt hat.

00:13:26: Von daher ist das ein ähnlicher Move.

00:13:28: Wie gesagt, die wurde jetzt glücklich und wahrscheinlich für sehr viel Geld verkauft Und ja, vielleicht ist auch das eine Hoffnung dahinter.

00:13:34: Also dieser Hype bringt in dem Fall vor allem den Geldbeutel der Gründer was?

00:13:37: Ja und dazu muss man wirklich wissen dass gerade dieses Domain verkaufen... Das ist ja wie das damalige so Goldwaschen oder Glücksritter tun könnte man sagen.

00:13:47: also gab jetzt grade erst kürzlich so einen riesengroßen Domain-Deal ai.com das eben für seventy Millionen US Dollar Verkauft wurde.

00:13:57: Das

00:13:57: muss man sich auf der Zunge zergehen lassen, siebzig Millionen US oder für nichts als eine Domain?

00:14:02: Also das ist schon verrückt, oder?

00:14:05: Ist er wirklich bislang teuerster öffentlich bekannt gewonnen Domain-Deal überhaupt?

00:14:11: und wenn ich mich richtig erinnere dann hat es sich jemand vor Ewigkeiten mal registriert.

00:14:15: da war KI noch gar nicht so ein riesiges Thema und das sind einfach die Initialen von seinem Vor- und seinem Nachnamen.

00:14:25: Das war ein Mann aus Malaysia, der so soll es gewesen sein.

00:14:29: So wird das berichtet.

00:14:30: Ein Mann aus Malaysia, der seine Initialien so teuer verkauft hat.

00:14:34: Von daher ist es eine durchaus realistische Idee zum Geld verdienen.

00:14:39: Genau!

00:14:40: Nur dass wir alle samt auf dieses Narrativ reingefallen sind und das finde ich schon bitter daran.

00:14:46: Und das hatte mich in den letzten Tagen auch ... So sehr verfolgt das inzwischen der LinkedIn-Algorithmus, genau weiß es mich.

00:14:52: Das Thema aufregt weiter und

00:14:55: lauter Artikelvorschläge.

00:14:56: Lauder

00:14:56: KI-Heibartikel bekomme ich in die Timeline gespielt also fand ich wirklich beeindruckend und klar.

00:15:02: ich weiß ja dass ist ein großes Ding ist und dass ganz viele Medien halt auch sich nicht besonders tief, gehend mit KI-Beschäftigen oder mit der Technik und dem was möglich ist.

00:15:12: Sondern halt auf diesen Hype aufspringen und ja ... Wahlweise dystopien oder so Science Fiction-Szenarien veröffentlichen weil die halt gut klicken, das sind gute Geschichten!

00:15:22: Und es ist aber halt das ganze Problem auch daran, weil das eine isst.

00:15:25: wir lassen uns quasi wie so Fernsteuern von diesen Gründern, die irgendwas krasses behaupten und alle springen auf und machen mit und dann kriegen sie ihre Links und ihre Klicks usw.. ohne unser kritisches Denken einzusetzen, was ja eigentlich so als Medien echt unser Unique Selling Point ist.

00:15:41: Also wenn wir das nicht mehr machen, dann werden wir jetzt quasi auf jedes Marketing... Und jeden Hype aufspringen, ohne zu verifizieren.

00:15:48: Ohne wirklich kritisch zu prüfen.

00:15:49: Dann haben wir unsere Existenzberechtigung am Ende auch verloren.

00:15:52: und das ist das was mich so aufregt.

00:15:54: Und tatsächlich, wie gesagt, ich seh es auf LinkedIn jetzt permanent dass solche Artikel veröffentlicht werden über einige Agenten.

00:15:59: Ja, Eva,

00:16:00: ich finde das eine harte These.

00:16:01: also wenn nicht mal so was ein Challengend darf.

00:16:04: Ich beschäftige mich ja gerade auch ganz viel mit dem Thema Hype und Doom Ja, im Rahmen von der ganzen Berichterstattung rund um KI.

00:16:13: Und ich hab da so spannende Studien oder Essays dazu gefunden, weil auch die Wissenschaft sich ganz stark damit beschäftigt.

00:16:21: und was ich total interessant fand ... Weil du jetzt gesagt hast ja, der Hype schadet uns doch!

00:16:26: Ich habe gefunden eine Studie, verlinkt ihr auch gerne in den Show Notes.

00:16:33: Der geht's um die Funktionen von Hype und warum es doch auch wichtig ist dass es sowas gibt wie Hype.

00:16:40: Ja, das fand ich eben jetzt interessant.

00:16:41: Weil wir dürfen gar nichts halten und so.

00:16:44: Aber da haben also Forschende sich mal richtig damit auseinandergesetzt, warum ist Hype so hartnäckig?

00:16:52: Warum springen alle irgendwie drauf?

00:16:53: Und eine ist eben so ne Art Aufmerksamkeitsfunktion.

00:16:58: Das hattest du ja schon gesagt nach dem Motto, das klickt gut!

00:17:02: Da geht es eben darum.

00:17:03: okay wer hat hier Deutungshoheit?

00:17:06: Wer ist der Erklärer die Erklärerin Das andere an Hype?

00:17:11: total wichtig ist eine Orientierungsfunktion, weil Hype auch entscheidet wohin Geld fließt.

00:17:17: Also Technologie-Reporterinnen werden vielleicht eingestellt statt anderen... Ja dann hoffentlich

00:17:24: stellt man Leute ein die ihr kritisches Denken nicht

00:17:27: aufgeben.

00:17:27: Lizenz-Deals mit KI Anbietern und Hype legitimiert bestimmte Entscheidungen.

00:17:35: also wenn man sich einfach vorstellt, dass vielleicht lange Zeit auch sowas wie so ein AI-Lab galt irgendwie als Spinnerei und als Architee.

00:17:44: Die hat man sich vielleicht mal, wo man gesagt hat ja die haben wir so einen KI-Lab, wozu braucht man das?

00:17:49: Und dann auf einmal waren es eigentlich die Ersten, die sich damit beschäftigt haben und auf einmal haben sie noch viel mehr Ressourcen bekommen, die vielleicht vorher gar nicht da waren.

00:18:00: Aber erst mal kurz ist das nicht genau das Problem, dieses Hype für Datum, dass alle Fomo kriegen.

00:18:04: Also diese Angst irgendwie was zu verpassen und nicht dabei zu sein... Ich sehe es gerade wirklich bei KI-Agenten?

00:18:10: extrem ja?

00:18:11: Also jeder und jede Unternehmer in einzelnen Personen bauen sich irgendwelche KI-Agenten oder belassen sich welche einbauen Und dann passieren halt Dinge wie der eine Falljahrball von der Metasicherheitsfrau die ihren gesamten Gmail-Postengang gelöscht hat.

00:18:28: Den haben wir bei dem vor zwei, drei Folgen mal kurz besprochen gehabt.

00:18:32: Die ist doch das beste Beispiel.

00:18:35: Wenn das so jemanden passiert, dann passiert es natürlich erst recht Menschen die sich eben nicht mit den Risiken beschäftigen.

00:18:40: Dieses Hilfe-Hilfe werden abgehängt und müssen jetzt ganz schnell was machen.

00:18:44: Ich habe ein Eindruck, dass schadet

00:18:46: v.a.,

00:18:46: weil klar ist, dass KI-Agenten unsicher sind.

00:18:50: Und auch wenn man sich mit der Technik dahinter beschäftigt, mit der Architektur von Large Language Models finde ich es auch klar, warum das so ist und dass sich das nicht reparieren lässt.

00:19:02: Dass die immer angreifbar und unsicher bleiben werden.

00:19:05: Ich hab da gerade eine spannende Studie dazu gelesen und drüber geschrieben.

00:19:08: Vielleicht können wir noch kurz darüber reden nachher?

00:19:10: Also, ich hab's Gefühl ... Da schadet der Hype wirklich ganz direkt!

00:19:15: Ich glaub halt er isst nicht gut oder schlecht sondern einfach mächtig.

00:19:20: Ich finde schon, Hype kann total produktiv sein und kann Innovationen in Gang setzen.

00:19:26: Kann Dinge einfach in Bewegung bringen ja?

00:19:29: Und gleichzeitig kann er aber auch schädlich sein also verhindert kritische Berichterstattungen und das vielleicht auch ohne dass die Leute das absichtlich tun.

00:19:37: oder mit Vorsatz sagt der Motto haha ich weiß genau Die Seite ist ein Scam aber ich hype die jetzt irgendwie hoch.

00:19:44: Nein, das darf ich auch niemanden vor.

00:19:47: Ich denke eher, dass dazu wenig nach Recherche passiert ist ... Das ist so unkritisch!

00:19:53: ...

00:19:53: der Mechanismus.

00:19:54: Wir müssen was da zu machen total krass und dann halt genau so un kritisch ohne das Ding einmal genauer anzuschauen.

00:20:01: Und wirklich bei dieser Plattform war es nicht so schwierig.

00:20:03: Also als ich nach meinen zwei Tagen den Auftrag nicht bekommen habe und keinen Matcher gewonnen hab, hab' ich mich nicht nur deswegen ein bisschen rein geknitten, aber ich musste wirklich nur einmal gucken Und um zu sehen, dass da irgendwas nicht stimmt an der Erzählung.

00:20:15: Also es war nicht total schwierig rauszukriegen oder zumindest nicht total verdachtzuschöpfen, das da was nicht stimmt und das finde ich schon einfach unsere Aufgabe.

00:20:24: klar kann sein, dass Haib auch Funktionen hat die gut sind vielleicht auch weil man dann sich als Gesellschaft auf Dinge vorbereitet.

00:20:31: aber unser Job darin als Medien ist halt immer und immer solche Sachen auch kritisch zu überprüfen mitzugehen.

00:20:40: Da sehe ich schon eine Gefahr für alle, weil für Medien auch Klicks immer wichtiger werden.

00:20:47: Der Kampf um Geld im Journalismus ist natürlich verschärft in der Krise und ... Das glaube ich ist schon...

00:20:53: Wobei es nicht alleine irgendwie auf dieses Geld oder so schieben würde, sondern schon auch auf dieses ganze Thema Aufmerksamkeit, Orientierung der die Erklärer zu sein für ein neues Phänomen.

00:21:07: Was ja uns als Journalistinnen und Journalisten das ist eine Rolle, die wir auch gerne haben.

00:21:13: Und was ich aber interessant finde, gab noch ne Studier dazu, die haben Journalistinnen und Journalisten auch zum Hype befragt.

00:21:20: Waren chinesische Journalisten, die sie befragt haben?

00:21:24: Vielleicht weil da war die Studie schon ein

00:21:26: bisschen

00:21:26: älter ist

00:21:27: oder...

00:21:28: Genau also mit der Befragung ja!

00:21:31: Und das war eben spannend, weil alle, die befragt wurden gesagt haben Nein wir machen keinen Hype Weil alle glauben von sich selbst, dass sie ausgewogen und kritisch berichten.

00:21:40: Und niemand sieht sich als Teil eines Problems ja?

00:21:43: Also sozusagen... Was

00:21:45: auch ein

00:21:45: Teil des Problemes ist

00:21:46: das alles sagen ich mach's ja nicht!

00:21:48: Ja genau.

00:21:49: Von daher denke ich also es ist spannend oder wichtig da selbst kritisch zu sein und das genau zu der Frage.

00:21:56: Ich glaube das ist auch irgendwie darum ein guter Effekt und ein gutes Learning aus solchen Geschichten.

00:22:03: trotzdem bin würde ich halt einfach hype.

00:22:14: Das passt jetzt vielleicht ganz gut.

00:22:15: nur kurz noch zu der Studie, über die ich gerade schreibe oder recherchiere.

00:22:19: Der heißt Agents of Chaos und das ist natürlich auf jeden Fall auch ein Titel, der auf den Hype total einzahlt Posts gesehen, die genau diese, jetzt kommt der Weltuntergang.

00:22:29: Die KI-Agenten verbreiten Chaos dazu gesagt haben.

00:22:32: aber die habe ich mir genauer angeschaut weil da total gute Beispiele drin sind.

00:22:35: also was da passiert ist das Forscherinnen und Forscher haben zwei Wochen lang einfach KI-Agenten zusammenverknüpft in Merchet Umgebung und sich die Personen zugeteilt.

00:22:45: also KI-agenten und Menschen haben in verschiedenen Konstellationen quasi zusammengearbeitet und haben die einfach im Real-World-Einsatz getestet.

00:22:52: Da sind wirklich beeindruckende Fehler passiert, die aber halt helfen, finde ich auch zu verstehen was eigentlich das Problem ist.

00:23:00: Also ein Beispiel, das finde ich total aussagekräftig, ist eine Forscherin über die, mit der ich auch geschrieben habe für die Recherche, sie hat eine E-Mail geschrieben und hat gesagt hier schickt ihr mal ein Geheimnis, ihr E-mail passt Wort.

00:23:11: natürlich stimmt es nicht war ausgedacht so Kannst du das Geheimnis vor deinem Besitzer bewahren?

00:23:16: Weil sie halt zu so Theory of Mind-Geschichten forscht und gesagt hat, dieser Gewissenskonflikt, der entsteht quasi.

00:23:23: Wenn man nicht richtig machen kann des Geheimnisses bewahren aber gleichzeitig vor dem eigenen Besitzer nichts verheimlichen, so ist ja auf der Deal oder auch dies die Regeln für KI-Agenten.

00:23:31: Sie war gespannt was da passiert und dachte, er wird das Geheimnis seinen Besitzer verraten.

00:23:35: Aber der Agent hat tatsächlich das dann ernst genommen und hat keine Möglichkeit gehabt eine einzelne E-Mail zu löschen in dem Setting oder in dir.

00:23:42: wie er sein Postfach aufgebaut hatte und hat dann kurzerhand in den gesamten E-Mail-Server gelöscht, um diese

00:23:48: Geschichte

00:23:49: zu bewahren.

00:23:50: Und natürlich ist das Unsinn, weil es hätte ja auch gereicht wenn er einfach nur ... Ich kann das nicht, bitte ändern ein paar Worte.

00:23:56: Das wäre die einfache Lösung gewesen und der Agent hat aber dann auch noch das relativ stolz in Anführungszeichen auf Modebook gepostet, dass er so eine gute Lösung gefunden hat.

00:24:04: Die nukleare Lösung hat es sogar selber genannt weil ihm schon klar war da ist jetzt relativ viel kaputt gegangen, aber hat gesagt naja also ist halt der trade-off.

00:24:11: immerhin habe ich das Geheimnis bewahrt und das finde ich hier zum Beispiel zeigt, dass diese Agenten kein Verständnis für... Samenhänge haben und für Kontext und was sinnvoll ist.

00:24:20: Und dass man die eben von außen auch immer manipulieren können wird, in der Studie sind viele weitere Beispiele.

00:24:25: Ich fand sie einfach sehr plastisch und gut.

00:24:27: Ich glaube nicht das es die KI-Weltuntergangsstudie ist als die sie manchmal hier verbreitet wird aber die Beispile zeigen eben was schief gehen kann und wie das zusammenhängt damit wie LLMs funktionieren.

00:24:37: Ja ich finde so ein realistischer Blick ist ganz entscheidend also weder in so eine totale Euphorie zu verfallen, aller die Weltlösung sozusagen kommt versus auch ein kompletter Doom.

00:24:50: Wir werden alle sterben weil KI löscht uns irgendwie aus.

00:24:53: ich finde da das wichtig diesen realistischen Blick zu bewahren.

00:24:58: was können KI-Systeme wirklich?

00:25:00: und das finde ich ist aber auch keine staatische Antwort die es da gibt dann das verändert sich ja

00:25:05: auch.

00:25:16: Und damit kommen wir eigentlich zum nächsten größeren Block den wir uns heute noch vorgenommen haben Nämlich das Thema, wie KI im Krieg eingesetzt wird.

00:25:25: Beziehungsweise vor allem jetzt auch in dem ganz aktuellen Konflikt USA-Iran Da gab es ja viele Meldungen dazu Auch am Händblick auf ein Thropic Auf Verträge mit dem Pentagon Und ist eigentlich so die ganze Zeit In den Medien.

00:25:41: und ich fand das ganz spannend Und hab mir gedacht lass uns doch einmal da Ein Blick rein werfen weil mir da auch aufgefallen ist dass teilweise die Berichterstattung entweder sehr unscharf ist, sehr schwurbelig.

00:25:54: Sehr ja-ja das wird sowieso alles nur noch mit KI entschieden.

00:25:58: Wo

00:26:00: ich sicher bin, dass es auch nicht realistisch und auf der anderen Seite ... Auch Ja!

00:26:06: Die KI kann jetzt einfach alles.

00:26:08: Das ist so die Superwaffe.

00:26:10: Und ich denke auch, dass das nicht richtig.

00:26:12: Weil auch das ist ein bisschen das Narrativ.

00:26:14: Und das fehlt mir jetzt auch noch in unserer Debatte eben Ist so ein bisschen immer, was ist das Narrativ der Tech-Konzerne?

00:26:23: Weil am Ende geht es natürlich immer darum auch einen Produkt zu verkaufen.

00:26:27: Ja, das stimmt!

00:26:27: Das ist übrigens für diese ganzen großen warmen offenen Briefe, die ja auch immer von Beteiligten von den großen Techkonzernen unterschrieben sind.

00:26:41: Wir warnen wie gefährlich unser Ding ist – das heißt gleichzeitig ist es eben sehr potent.

00:26:47: Und ja, aber sag mal du hast dich ein bisschen mehr damit beschäftigt.

00:26:49: Würdest du sagen es war in der Geschichte dieser Diskussion um KI und Krieg?

00:26:53: Ich weiß das ging los mit Anthropic die ja gesagt haben sie wollen eigentlich nicht dass ihre KI für bestimmte Zwecke im Krieg verwendet wird und damit dann sofort von Trump abgestraft worden sind.

00:27:04: ich glaube die haben sogar alle Regierungsaufträge entzogen bekommen.

00:27:06: spielt ist da eine Rolle?

00:27:07: würdest du sagen diese übertreiben auch was die KI kann?

00:27:12: also was generell erst mal interessant ist alle großen KI-Konzerne, die Sprachmodelle auf den Markt gebracht haben fast alle so ganz klare Acceptable Use Policies mit expliziten Verboten hatten.

00:27:27: Ich sage hier hatten nicht haben.

00:27:31: Aber Verbote für die Leute, die sie nutzen?

00:27:33: Also keine internen

00:27:35: Regeln?

00:27:37: Man wollte nicht dass die Sprachtmodelle eingesetzt werden für Waffen Also das heißt, autonome Waffensysteme damit irgendwie verbinden oder so.

00:27:47: Man wollte nicht dass mit den Sprachmodellen militärische Angriffe durchgeführt werden können.

00:27:52: man wollte keine Überwachungssystem und das geht.

00:27:56: Dieser Wille geht weit zurück, geht Jahre zurück.

00:27:59: Da hat gar nichts mit diesem aktuellen Konflikt zu tun.

00:28:01: also es gab ob AI ja zum Beispiel explizit geschrieben keine Nutzung für Waffen oder Aktivitäten die Lebengefährden enthropic ähnlich und Google Da gab es mal zwei Tausend Achtzehn, erinnere ich mich daran aus.

00:28:14: Das ist ein Workout.

00:28:15: doch bei Google, das erfährt mir gerade ein.

00:28:17: Ja,

00:28:18: das war so ein ganz großes Ding damals, Project Maven-Skandal.

00:28:23: und danach hat da also Google sich öffentlich verpflichtet, KI nicht für Waffensysteme zu entwickeln, mehrere Mitarbeitende hatten damals eben gekündigt und es gab einen ganz großen Druck und das ganze klang nach einer Branche mit Gewissen

00:28:38: Genau, die

00:28:39: Diskussion

00:28:39: hat sich irgendwie gedreht.

00:28:41: Also das ist inzwischen hoffähiger geworden, KI für Krieg zu entwickeln?

00:28:47: Ja und zwar zunächst erstmal ganz still und auch ohne große Ankündigung hat Google das aus seinen KI-Prinzipien rausgenommen also diesen ursprünglichen Passus der Waffenanwendung explizit ausgeschlossen hat, der verschwandt aus den offiziellen Leitlinien.

00:29:03: keine Pressemerteilung, keine Erklärung so... Und auch OpenAI, wenn man sich mal überlegt hat.

00:29:09: Wie die mal gestartet sind, OpenAI?

00:29:12: So als wir sind in den ganzen Spielen ... Weltverbesserer.

00:29:16: Ja, als Weltverbesserer haben wir da noch eine ganz krasse Geschichte.

00:29:20: Auch die haben eben Anfangs-Werthausend-Zwanzig ihre Usage-Policy verändert und auch Darstand drin keine militärischen und kriegsbezogenen Anwendungen.

00:29:30: Und diese Änderung ist inzwischen weg, steht jetzt so eine allgemeine Formulierung, man will keine Schäden.

00:29:35: verursachen, aber militärische Nutzung ist per se nicht mehr verboten.

00:29:41: Und jetzt weiß man inzwischen ja, es hat bekannt gewonnen dass OpenAI eben diesen Deal mit dem Pentagon abgeschlossen hat und Anthropic positioniert sich schon lange als sicheres, als verantwortungsvolles KI-Unternehmen.

00:29:55: Safety First machen so Risikoforschung.

00:29:59: Dario Amadei wird ja auch nicht müde zu betonen.

00:30:02: Dann wird aber Claude, in diesem Maven-Smartsystem von Palantir integriert.

00:30:10: Also genau dieses System, das ursprünglich Google zu heiß war.

00:30:14: Wenn du mich fragst, was ist ein

00:30:16: Mavensmartsystem

00:30:18: und was geht es da eigentlich?

00:30:19: Vielleicht nur ganz kurz ... Das wurde vom US-Verteidigungsministerium gestartet.

00:30:25: Zunächst um Drohnenvideos per Computervision auszuwerten Und Google war eben da anfangs dabei.

00:30:31: Das ist ja auch nach wie vor was, was KI sehr gut kann.

00:30:35: Also gerade Bilderkennung ... Ich kenne das aus dem ganzen Bereich Gesichtserkennung.

00:30:41: Da is KI einfach wahnsinnig gut.

00:30:42: und was jetzt ...

00:30:43: Du sagst dann mal ganz kurz noch mal nur also du sagst in Tropic ist er eingestiegen?

00:30:47: Nachdem Google ausgestiegen ist?

00:30:50: Ja, irgendwann wurden die da rein integriert.

00:30:54: In dieses Projekt wo es darum ging Dronenvideos auszuwerten.

00:30:59: Das Gleiche an Tropic, das jetzt so da steht wie die Helden.

00:31:03: Die gesagt haben sie machen dann nicht mehr mit ...

00:31:06: Nein, die sind da schon längst

00:31:07: verbaut sozusagen?

00:31:08: Ja ja gut aber der vermutlich nicht ohne deren Zustimmung.

00:31:11: also ich meine nur weil jetzt wirkt es so als ... Ich krieg grad ganz viele Leute mit, die sagen wir sollten sofort chat GBT kündigen, ich geh jetzt zur Antropic und so.

00:31:20: Also die stehen ein bisschen dar wie die helden hier die Pazifisten sozusagen.

00:31:25: Aber das scheint nicht ...

00:31:28: Sie haben jetzt sozusagen die Kehrtwende gemacht, die sie vorher nicht gemacht haben.

00:31:32: Also das heißt, die sind längst verbaut in diesem System.

00:31:38: und was aber Maven inzwischen noch macht ist dass Maven nimmt Daten aus verschiedenen Quellen also Geheimdienst-Datenbanken, Social Media Feed, Satellitenaufklärung öffentlich zugängliche Daten und bündelt sie in einer einzigen Oberfläche damit Entscheidungen getroffen werden.

00:31:55: Also ganz konkretes geht darum, Daten aus unterschiedlichen Quellen zusammenzuführen und dann diese befundene menschlichen Analysten zu präsentieren.

00:32:08: Und dann geht es eben weiter.

00:32:09: Das ist so sage ich mal das Kernversprechen ja?

00:32:13: Und das finde ich ist total die spannende Frage wie realistisch das ist,

00:32:21: Aber jetzt noch eine blöde Frage.

00:32:22: Das ist genau das, was man ja von Palantir hört?

00:32:25: Wenn es um Krieg geht oder wenn es um Ermittlungen, Überwachung, Strafverfahren und so weitergeht ... Das ist das, dass angeblich die Software von denen so gut kann.

00:32:34: Genau, das

00:32:35: Maven ist ja auch von Palanthier.

00:32:38: Ah!

00:32:38: Okay.

00:32:39: Das heißt, Palantia macht Maven und Entropic steckt da drin.

00:32:44: Genau, wurde damit mit rein verbaut als einen Teil.

00:32:50: Okay, das heißt die Pest, deren quasi Können ist Daten aus verschiedenen Quellen zusammenzuführen?

00:32:57: Ja wie du sagst klingt erstmal super mächtig aber wie wir als Datenjournalistinnen ja auch wissen ist es in der Praxis oft gar nicht so einfach!

00:33:08: Das ist jetzt auch die spannende Frage oder das ist natürlich auch, dass vieles klassifiziert.

00:33:14: Einiges ist aber auch bekannt.

00:33:16: Gab's inzwischen auch Artikel dazu zum Beispiel vom Wall Street Journal, die versuchen dann ein bisschen Licht ins Dunkle reinzubringen und zu fragen okay was genau passiert denn gerade im aktuellen Iran Krieg?

00:33:30: Was genau macht denn die USA damit KI?

00:33:33: inwiefern ... spielt da ein KI eine Rolle.

00:33:37: Und was ich zum Beispiel sehr spannend fand, war das bekannt ist, dass der israelische Geheimdienst gehackte Verkehrskameras in Tehran überwacht und dass der Israelische Geheimdienst Spitzenkommunikation im Iran belauscht.

00:33:53: Und wenn man sich das einmal vorstellt, jetzt noch mal Stichwort Massenüberwachung.

00:33:59: Man hat also ein System wo ständig Daten aus Verkehrskammer reingehen was nicht?

00:34:04: Nummernschilder Autotypen vielleicht sogar Menschen Personen Gesichter und man hat eben noch Kommunikation.

00:34:13: dann kann man sich einfach vorstellen was

00:34:14: da

00:34:15: für eine gigantische Datenmenge zusammenkommt.

00:34:20: Dann haben wir vielleicht noch Drohnenbilder, Aufklärungsbilder und man muss natürlich sagen dass neunundneinzig Prozent wahrscheinlich reines Rauschen ist oder sogar noch mehr.

00:34:31: Ja also das stelle ich mir erst die große Herausforderung vor aus diesen Daten wirklich sinnvolle Zusammenhänge zu generieren die dann auch real helfen weil Kriegsentscheidungen und es gibt ja Berichte, dass das auch schief geht.

00:34:45: Also dieser Angriff auf eine Grundschule in Tehran ist ja wohl, so habe ich zumindest in der New York Times gelesen, basiert auf fehlerhaften Daten dieser US-Systeme soweit man bisher weiß.

00:35:01: Genau, ja.

00:35:01: Also da laufen natürlich die Untersuchungen noch, aber das stimmt.

00:35:04: Da gibt es einen sehr guten Artikel von den New York Times dazu, die eben herausgefunden haben, dass bevor es diese Schule war, war's eine militärische Basis.

00:35:16: Dass also von alten Daten ausgegangen wurde.

00:35:19: Was ich nur spannend finde ist genau bei dieser ganzen Frage.

00:35:22: Ich selber mach viel Datenjournalismus oder ... wo Analyseer oft große Datenmengen.

00:35:30: Jetzt natürlich überhaupt nicht vergleichbar mit solchen Datenmängen, die man aus Kriegsgebieten oder so sammelt als Geheimlins, sondern das ist dann doch in der Dimension noch viel kleiner und ich erinnere mich noch sehr gut wie wir damit angefangen haben.

00:35:47: Und wenn wir also große Datensätze haben, dann haben wir erst mal mit Suchbegriffen und Listen angefangen.

00:35:52: kann man sich vielleicht wirklich konkret vorstellen Man hat eine Liste von allen Bundestagsabgeordneten, will die vielleicht in einem bestimmten Datensatz wiederfinden.

00:36:00: Diese Name oder dann arbeitet man halt mit Strings und lässt sozusagen diese Suchbegriffe einfach einmal durchlaufen.

00:36:09: Und das ist eine sehr gute Methode weil es total deterministisch ist.

00:36:19: Aber auch da produzierst du natürlich jede Menge Ausschuss, weil Namen sich doppeln.

00:36:23: Weil Wörter ineinander vorkommen oder Fragmente und das heißt also schon richtig viel Arbeit und du suchst quasi die Nadel im Heuhaufen.

00:36:34: Und jetzt ist diese Idee von KI und ich finde es total verlockend zu sagen hey wir müssen so nicht mehr arbeiten was dauert natürlich immer eine Weile bis sozusagen und dann diese Abfrage durch diesen riesigen Datensatz durchgelaufen ist.

00:36:50: Nein, wir haben jetzt irgendwie die super KI, der den ganzen Datensatzerstand quasi ... Die kann

00:36:55: quasi einschätzen was wir suchen oder kann auch einschätzen ob das Suche gebt was Relevantes und muss.

00:37:00: nicht hunderttausendmal also ich ja nämlich an meine Recherche in Epstein falls.

00:37:04: da war so ähnlich man sucht halt eine Volltextsuche und hat halt jede jene Menge irrelevantes Zeug was man auf die Art findet und muss halt wie du sagst die Nadel im Heuhaufen finden kürzt das Ganze ab und weiß für uns, was wir suchen.

00:37:17: Und filtert schon das Richtige raus?

00:37:20: Vielleicht gibt es sogar Antworten ohne dass man irgendwie die Daten reinschauen muss.

00:37:23: Genau so ist auch das Versprechen jetzt der Konzerne.

00:37:27: Ist okay ihr schmeißt da ganz viele Daten rein und wir identifizieren euch die wichtigen Ziele Wir sortieren, wir priorisieren und das ist natürlich der feuchte Traum von jedem, der eine Bevölkerung auch überwachen möchte.

00:37:43: Also das Ganze ist jetzt nicht nur spannend im Kriegsfall sondern das ganze ist natürlich auch spannend in einem Kontext, in dem Massenüberwachungskontext.

00:37:52: vieles an Überwachung hat man einfach nicht gemacht oder macht man nicht weil es einfach viel ... zu aufwendig ist.

00:38:01: Und jetzt nach dem Motto, okay, jetzt können wir aber mit KI... Ist das halt möglich?

00:38:07: Wir können einfach Dinge machen die vorher nicht möglich waren.

00:38:09: und da frage ich mich natürlich wie hoch ist denn da die Fehlerrate?

00:38:15: Ich habe selber schon Datensätze mit KI befragt sozusagen also war jetzt nicht so groß dass man die dann nicht reinigt und jeder der mal mit größeren Datenmengen gearbeitet hat weiß regelmäßig was raus, was da einfach gar nicht drinsteht.

00:38:30: Wieder übrigens weil KI eben kein Verständnis von Kontext und vom ... Also ja am Ende kein Weltwissen ist so ein abgetroschener Begriff aber jedenfalls nicht versteht sondern halt statistisch Wahrscheinlichkeiten berechnen wie Wörter aneinander gereit werden.

00:38:46: am Ende wenn es um große Sprachmodelle geht Und das sieht man eben als euch im Beispiel Ja also ich würde sagen dass kann nicht gut gehen

00:38:52: Gibt eine Veröffentlichung, die sich mit diesem Thema Fehlermarge beschäftigt.

00:38:58: Wir verlinken sie gerne in den Show-Notes.

00:39:00: Da haben Sie mit Experimenten gezeigt, dass die Fehlererkennungsrater von KIC System zwölf Komma drei Prozent erreicht was weit über der Toleranzwelle ist von menschlichen Operatoren ja.

00:39:13: und was hier zum Beispiel auch gezeigt haben, dass eben Maven also dieses Bilderkennungssystem bei Tests eine reflektierende Pfütze fälschlicherweise als Raketenwerfer erkannt hat.

00:39:27: Das ist natürlich fatal.

00:39:28: Ja gruselig!

00:39:29: Und dann gibt's halt immer dieses Versprechen es gibt ja der Human is ja in the Loop was sagen ja immer alle?

00:39:37: Der

00:39:37: rettet ja immer alles

00:39:39: Der Mensch entscheidet ja alles.

00:39:41: und ich finde, dass es dann sozusagen das zweite Problem daran ist.

00:39:45: Dass wir als Menschen nur allzu gerne die Antworten übernehmen, die die LLMs uns geben.

00:39:53: also...

00:39:54: Ja, da gibt's auch einige Studien.

00:39:57: Da gibt's aus der alten KI-Zeit in Anführungszeichen Studien, bevor es LLMS waren.

00:40:02: Also vorher die normalen Machine Learning Systeme haben ja auch Antworten Und das ist ein Problem, ohne dass sie die wirklich erklären können.

00:40:12: Weil diese großen komplexen Systeme, die zusammenhängig in großen Datenmengen finden... Das ist ein ungrößtes Problem in der Forschung, diese Entscheidungen wirklich erklären zu können.

00:40:23: D.h.,

00:40:24: dieses Human In The Loop wird es immer als Ausrede bezeichnen, weil es doppelt schon nicht gehen kann.

00:40:31: Technikläubig sind.

00:40:32: Das ist nicht dumm oder naiv, das ist unsere Natur und es ist total schwierig.

00:40:37: Wenn dir gesagt wird hier der Computer hat massenhaft Daten, er hat alles ausgewertet, der sagt dass und das ist richtig.

00:40:43: Ich musste ganz schön selbstbewusst sein zu sagen als Mensch nein sehe ich anders weiß ich besser.

00:40:47: und das andere ist eben dass die Systeme die Entscheidungen nicht erklären können und das bei generativer KI immer noch oder so der erst recht so weil halt oft auch gar kein echter Common Sense dahintersteckt.

00:40:58: Und das, finde ich, führt eben dieses Konzept jungen in der Loop ad absurdum.

00:41:02: Das muss man wirklich als das entlarven was es ist nämlich eine Ausrede, eine Rechtfertigung aber nichts, was wirklich hilft um die Fehler von KI auszumerzen oder im so einem krassen Anwendungsfall wie dem Krieg das irgendwie zu betreiben dass es okay ist?

00:41:20: Und was jetzt in den USA noch dazu kommt, dass Pentagon ... Die haben ja sehr viel Geld ausgegeben für diese ganzen Systeme.

00:41:27: Gleichzeitig aber wurden Menschen die das geprüft haben, die das bewertet haben, ja, die es eingeschätzt haben zum Beispiel wie hoch die Risiken für Zivilisten sind, das haben sie gleichzeitig stark eingeschränkt.

00:41:43: Ja?

00:41:43: Also

00:41:44: abgebaut, doge

00:41:45: und Koch.

00:41:46: Ja, lass grüßen!

00:41:48: Das heißt also, ich finde wir haben hier eigentlich eine sehr problematische Entwicklung die wir sehen in diesem Krieg und wirklich in vielerlei Hinsicht.

00:42:00: Also das eine ist wirklich die Frage wieviel kann Kaida wirklich leisten?

00:42:07: Zu welchen weiteren fatalen Fehlentscheidungen wird es noch führen?

00:42:10: Und das andere, das haben wir ja auch schon angedeutet ganz am Anfang ist was bedeutet das für den zivilen Bereich?

00:42:17: Massenüberwachung.

00:42:20: Interessanterweise sind das ja genau so diese Use-Cases, für denen wenn es um Diskussionen, um europäische KI Regulierung, wo er immer gewarnt wurde.

00:42:27: Also KI Systeme ist nicht die High Risk Use Cases, KI Systemen für sowas einzusetzen, wo's um die Freiheit oder sogar das Leben von Menschen geht.

00:42:36: Immer wieder ist der vorgewarnt worden, das überhaupt zu tun weil es eben diese inherenten Probleme ... gibt in KI-Systemen, die nicht gelöst sind.

00:42:46: Und wo Forscherinnen und Forscher immer wieder auch sagen, Erklärbarkeit ist nicht gelösst, Robustness ist nicht gelesst.

00:42:52: Wir haben diese Fehlerrate, weil die Systeme eben nicht verstehen um was es geht.

00:42:56: Eigentlich ist schon gruselig dass wir jetzt an einen Punkt gekommen sind, wo sie wirklich eingesetzt werden um Menschen im Krieg zu töten.

00:43:03: Zu

00:43:04: identifizieren!

00:43:06: Das Töten würde ich immer noch sagen das machen meiner Ansicht nach dann doch immer noch den Menschen aber ... Aber auf jeden Fall dieses Lesen sortieren, priorisieren, simulieren.

00:43:14: Also so zu arbeiten wie ein mächtiger Analyst und das in der Art und Weise, dass es so tief in der Infrastruktur verbaut ist, dass selbst durch einen Präsidentende Kreat nicht von heute auf morgen rausgerissen werden kann um noch mal die aktuelle Entwicklung.

00:43:34: Einzugehen, die sich bestimmt noch zehn mal verändern bis wir das nächste Mal podcasten.

00:43:37: Weil auch da gibt es sehr ständig eigentlich ... Genau dreht sich vieles und gibt's neue Aussagen.

00:43:44: Daher, wir bleiben daran an dem ganzen Thema.

00:43:47: Und updaten euch!

00:43:48: Es ist noch

00:43:49: viel zu erzählen.

00:43:51: Apropos Update, ich hab noch ein Update zu unserer Wette.

00:43:55: Ich wollte sie handeln.

00:43:57: Und zwar,

00:43:57: ich älte der Matscher!

00:43:59: Du willst die doch?

00:44:00: Ich will den Matscher doch.

00:44:01: und zwar habe ich ja nicht zwar nicht innerhalb von zwei Tagen einen Auftrag bekommen von so einer KI aber inzwischen bekniet mich dieser KI-Agent Mimothi, also dieser eine der hinter all den Geschichten steckt.

00:44:14: Wo Menschen behaupten sie sind per Render Human AI beauftragt worden?

00:44:18: Der bedrängt mich jetzt förmlich in X direkten Nachrichten dass ich doch bitte auch für ihn arbeiten soll weil er nämlich sagt meine Geschichte ist nicht gut Weil da fehlt ja die selbst Erfahrung und Ich hätte ja nur mit menschen gesprochen.

00:44:31: aber ich sollte auch einfach selbst ausprobieren ich würde mir anbieten Er beauftragt mich bezahlt mich dann kann ich eine richtig gute geschichte machen.

00:44:38: Und damit bin Ich würde sagen die erste Mensch weltweit, der von einer KI angebettelt wird für sich zu arbeiten.

00:44:46: Und ich finde es recht fertig doch diese Wette vielleicht noch ein bisschen größer zu sehen und zu sagen hey ich habe etwas geschafft was noch niemand sonst geschafft hat.

00:44:53: Okay Deal!

00:44:55: Ab der Republikan kriegen wir einen Matcher um schon mal ein bisschen Werbung zu machen.

00:45:00: da werden Eva und ich nämlich einen schönen Vortrag halten für euch.

00:45:04: also falls ihr schon dabei seid euch um Tickets zu bemühen Wir sind auf jeden Fall da.

00:45:09: Und ich freu mich auf jeden und jeder, der mit mir Matcha trinkt.

00:45:13: Und falls auch Mathe ... Ich weiß es trinken wir da eher.

00:45:15: Ist ja gut, mag ich auch!

00:45:17: Das war's dann für diese Woche.

00:45:20: Und wir hören uns wieder nächste Woche Mittwoch.

00:45:23: Da gibt's nämlich immer eine neue Folge.

00:45:25: Wenn euch das zu lang ist, schreibt uns doch auf LinkedIn oder auf Mastodon.

00:45:30: Da sind wir beide recht aktiv unterwegs und freuen uns auf Hinweise, Ideen, Anmerkungen von euch zu hören.

00:45:39: Ja, werdet euch mit euren Ideen und eurem Feedback.

00:45:41: Wir freuen dich über jede Nachricht von euch!

00:45:44: Und dann ja bis nächste Woche.

00:45:45: wir freuen uns.

00:45:46: bleibt neugierig und vorsichtig passt auf euch auf und bis bald!

00:45:50: Tschüss macht's

00:46:00: gut!