Hexenjagd auf KI-Texte (und warum die Jäger danebenliegen)

00:00:02:

00:00:16: Hallo und herzlich willkommen zu Day Talk Tech, ein CT-Podcast.

00:00:20: Ich bin Sphere Ecker, Tech Journalistin!

00:00:23: Und ich bin Eva Wolfanger ebenfalls Tech Journalisten.

00:00:25: Hallo schön dass ihr da seid.

00:00:27: Du siehst ganz dein Hintergrund sieht ganz fremd aus heute.

00:00:30: was ist los?

00:00:30: Du bist du bist in Brüssel

00:00:32: Genau, ich setze in einer Fensterlosenkammer ein.

00:00:37: Für mehr hat es nicht gereicht ... Ach, das wollte sie booking kommen dieser Scam?

00:00:40: Ja genau!

00:00:42: Das ist die Booking.com-Scamme-Reise

00:00:45: mit dem Hotel.

00:00:45: Die auch nach dazu in einer fensterlose Kammer geendet ist.

00:00:49: Es ist eine fensterloße Kammermitklimaanlage was ja diesen Tag nicht so

00:00:53: schlecht ist wo ganz

00:00:54: Deutschland schwitzt.

00:00:56: Ja, stimmt.

00:00:57: Vielleicht hast du es gar nicht so schlecht getroffen.

00:00:58: Bleib da am besten drin!

00:01:01: Nein, ich bleibe da nicht drinnen.

00:01:03: Kann ja vielleicht zumindest kurz am Anfang ein bisschen verraten, was ich hier

00:01:07: machen kann?

00:01:07: Ja, erzähle genau das.

00:01:08: Ich nehme mal, du blassst nicht vor in der Kamera zu bleiben.

00:01:11: Nein, nein... Das EU-Parlament hat mich eingeladen.

00:01:14: die veranstalten eine Art Summer School, Summer Workshop wo sie junge Journalisten und Kommunikatoren einladen aus dem Wissenschaftsbereich Und wo es darum geht, okay unter anderem wie kann ich gut über KI berichten.

00:01:31: Aber auch wie kann nicht gut KI in meinem Alltag einsetzen?

00:01:35: Also wie kann mich damit möglicherweise bessere Texte schreiben oder vielleicht meinen Redaktionsalltag besser organisieren

00:01:42: und ganz heißes Eisentexte schreiben mit KI?

00:01:46: Genau!

00:01:46: Wir haben

00:01:47: den Tag dieser Tage nur verlieren.

00:01:50: Genau also darüber sprechen wir jetzt in diesen Tagen.

00:01:58: Ja, auf jeden Fall ist es ein Thema was viele sehr stark beschäftigt auch gerade im Journalismus.

00:02:03: Da ist ja grade so total zentral die Frage Was passiert eigentlich wenn immer mehr Menschen diese Google Zusammenfassung benutzen oder eben den KI-Assistent ihres Vertrauens fragen ob sie jetzt irgendwie was hier gegen ihre gesundheitlichen Beweichen tun sollen und welche Kräuter t's gut sind bei Erkältung.

00:02:24: das war ja immer sowas womit Medien Traffic gemacht haben.

00:02:28: Also nicht nur bei Gesundheitssachen, sondern auch so.

00:02:32: Rezepte war tatsächlich ein ganz beliebtes Geschäftsmodell sogar.

00:02:36: Rezepten!

00:02:37: Da erinnert mich daran dass ich vor als der ganze KI-Hype losging das allererste umgekehrt.

00:02:40: was passiert ist es da eine große Rezeptezeitschrift angefangen hat die BilderKI zu generieren und ich glaube sogar im KI generiertes Rezept für Öffentlichkeit.

00:02:52: Da habe ich so ein bisschen gesportet.

00:02:54: naja also Wenn man sich selbst abschaffen will, ist das genau der richtige Weg.

00:02:58: Und es ist ja so, Rezepte sind gelöst oder mit KI nutzt du noch normale Rezeptbücher?

00:03:06: Also Rezept-Bücher benutze ich noch tatsächlich.

00:03:09: Also Bücher, französische

00:03:10: und physische Bücher

00:03:12: weil sie da sind, weil ich das einfach mag also die Bilder und ich mag das auch beim Kochen sowas Physisches neben mir liegen zu haben aber für ganz viele Sachen.

00:03:22: Ich habe fünf Zutaten.

00:03:23: was mache ich damit?

00:03:24: Da benutze ich inzwischen tatsächlich KI.

00:03:26: Das liegt aber bei mir auch daran, dass die Rezepte so schlecht geworden sind im Internet durch diese ganze Seoisierung.

00:03:37: Wie werden wir auffindbar für Suchmaschinen?

00:03:39: Und das ging irgendwann mal los!

00:03:41: dass die Rezepte-Macher so ewige Geschichten vor ihr Rezept gestellt haben.

00:03:46: Heute habe ich den Buch in meiner Großmutter gefahren.

00:03:48: Und man scrollt sich zu Tode, um wegzukommen und das Rezept zu finden?

00:03:53: Ja genau, viele Anzeigen und Werbung muss man zwischendurch noch lesen.

00:03:57: Ganz unten ist dann ein kleiner Kasten, ja du willst Waffelteig machen hier.

00:04:05: Von daher kann ich das!

00:04:06: sehr gut nachvollziehen, dass immer mehr Menschen also zu diesen KI-Suchmaschinen gehen.

00:04:12: Wobei man sagen muss es ja ganz spannend.

00:04:14: das ist jetzt gerade wieder ein neuer auch Reuters Digital News Report rausgekommen und da ist es so, dass zumindest für Nachrichten KI noch nicht so häufig eingesetzt wird.

00:04:27: Also sozusagen was los in der Ukraine wird, zumindest für den aktuellen Kontext gehen die Leute noch auf die konventionellen, normalen Nachrichtenseiten.

00:04:37: Ah okay das heißt du, die Leute googeln nicht irgendwie Ukraine aktueller Stand und kriegen dann die Google-Sesamfassung sondern die googeln um den Link zu finden zum Medium ihres Vertrauens und schauen da auch nach?

00:04:52: Die haben jetzt eher eine Befragung gemacht.

00:04:54: Da haben die Leute gefragt, was nutzt ihr für aktuelle Nachrichten?

00:04:58: Aber dieser ganze Ratgeberbereich oder auch so diese, sagen wir mal allgemeineren Wissensfragen, der wandert eben weg von den Medien.

00:05:07: und da ist natürlich wirklich die große Frage wie geht es da weiter?

00:05:11: also gerade diese KI-Overviews?

00:05:15: gibt's eine Studie dazu?

00:05:17: Da klicken nur noch acht Prozent der Menschen überhaupt auf einen klassischen Link.

00:05:24: Geben Sie damit zufrieden, dass ein Link da ist und das mit damit zumindest scheinbar wissen, dass es einen seriösen Hintergrund hat?

00:05:32: Aber gucken wir nicht ob die Sachen wirklich auch in dem Link stehen!

00:05:35: Ich sehe das gerade auch auf Social Media von Leuten, die spezielle Blogs anbieten und sagen, ich kann's mir nicht mehr leisten.

00:05:41: Die KI greift meine Recherche ab ... Ist es so?

00:05:46: Und Leute kommen nicht mehr auf die Seite.

00:05:50: Das geht jetzt schon los!

00:05:51: Der Schaden ist unklar, ist ja auch was man dagegen tun kann.

00:05:55: Ja, ich hab gestern Abend in einem Gespräch, also in so einem Seitengespräch, habe ich mal eine spannende Idee dazu gehört Ob das nicht über Regulierung gelöst werden könnte, dass zum Beispiel die KI-Anbieter, also die Anbietern von Chatbots, dass sie quasi gezwungen werden bestimmte Medien einzubinden oder sozusagen zu verbinden mit ihren Chatbott.

00:06:20: Also, dass

00:06:20: z.B.,

00:06:21: gesagt wird entweder okay, das keine Ahnung.

00:06:24: öffentlich rechtliche Fernsehen, Radio ... Angebot des deines jeweiligen Landes muss irgendwie verbunden werden mit der KI, sodass du da so wie ein Art Tunnel hast oder das du darauf zugreifen kannst.

00:06:39: Oder dass du Kooperationen geben musst mit Medienhäusern, sodas die sozusagen dann direkt angezeigt werden.

00:06:46: So ging es ja überhaupt mal los mit solchen Medien, dass ja die Inhalte von den Zeitungen einfach genommen wurden... verkürzt auf Social Media angezeigt wurden.

00:06:55: Und dann waren die sozusagen die Content-Differanten, aber die ganze Werbung hat zum Beispiel Facebook irgendwie mitgenommen und dann haben die Zeitungen und Fernsehsender angefangen so spezialisierte Inhalte zu machen für Social Media.

00:07:08: Da sind die ganzen Social Media jetzt nicht gekommen und da gab es ja Videos von Social, kleine Captions für Social Media.

00:07:16: Dann hat man ja versucht, okay alles klar wenn die Leute nicht mehr da auf diese Links klicken dann machen wir die Inhalte direkt fürs Social Media was auch ein bisschen umstritten

00:07:25: war und auch halt superaufwendig.

00:07:27: also trägt sich das wahrscheinlich null oder ist.

00:07:31: aber so ist man damit umgegangen.

00:07:33: jetzt ist halt die Frage ok Was ist, wenn in der Zukunft sich das wieder verschiebt?

00:07:38: Also dass die Menschen so social ist jetzt irgendwie durchgespielt.

00:07:42: Das hat irgendwie was aus zehn, zwanzig Jahre gedauert bis sich da alle an dieses Ökosystem angepasst haben.

00:07:49: Was ist mit den neuen KI-Chatbots?

00:07:51: Wie geht man damit um, sodass die Medien nicht verschwinden?

00:07:56: Ja große Frage!

00:07:57: Ich bin gespannt, ob du in Brüssel etwas rausbekommst.

00:08:00: Ja, ich glaube nicht nur in Brüssel.

00:08:01: Das ist

00:08:03: generell dein Thema jetzt gerade auch?

00:08:07: Genau da kommen auf jeden Fall immer mal wieder Inhalte sozusagen zu mir und Leute die spannende Idee haben.

00:08:16: also das ist wirklich was viele beschäftigt.

00:08:19: dazu kommt noch diese ganze Thematik von den KI-generierten Inhalten.

00:08:24: Das ist, wenn alle Podcasts und alle Videos und genau, wenn wir zunehmend KI-generierte Inhalte sehen.

00:08:33: Noch sind wir ja da, don ich!

00:08:35: Wir sind

00:08:36: echt ... Und du

00:08:37: beschäftigst dich damit?

00:08:38: Wie man die erkennt, diese KI- generierten Inhalten?

00:08:40: Ich

00:08:40: wollte gerade sagen, genau, da klingt jetzt schon wieder bei mir in meinem Thema was mich gerade beschäftigt.

00:08:46: Das eine ist, schreibe mit KI Was ist richtig oder was ist ein Problem?

00:08:53: Und diese ganze Diskussion, die ja natürlich in Medienhäusern schon lange gefüttelt.

00:08:56: Also chinesische Inhalte erstellen mit KI da haben wir nahezu alle haben so KI-Richtlinien intern oder auch veröffentlicht, in denen steht, wir schreiben unsere Texte nicht... mit KI.

00:09:09: Was aber natürlich gemacht wird in vielen Medienhäusern, ist KI-Systeme nutzen zum Textüberarbeiten mal fertigen Text reinschmeißen und fragen was fehlt Feedback es ist verständlich also all Sohnzeug.

00:09:23: Und ich erinnere mich schon an den einen oder anderen Ich sag mal in Anführungszeichen Skandal, wo dann ein Artikel auf der Seite erschien und da war noch unten drunter so.

00:09:34: Ich hoffe ich habe das gut gemacht!

00:09:36: Gab's ja mal.

00:09:36: Soll ich halt zu langer Zeit... Der Spiegel

00:09:40: ist da unter anderem aber auch da wurde im Nachhinein gesagt.

00:09:42: Das weiß ich nicht, hab' ich auch nicht überprüft.

00:09:43: Aber der Spiegl hat gesagt, das war genau so.

00:09:46: wir haben den Text von einem K.I.-Tour redigieren lassen und dann stand eben noch darunter.

00:09:50: soll ich noch diesen Daß dieses übliche was man erkennt von den Chatbots die immer ja doch was machen wollen, die immer fragen Und diese Diskussion, die überfällt uns jetzt ja gerade oder genau genommen kann man sie gar nicht mehr führen.

00:10:03: Weil jetzt ja die große Jagd auf KI-generierte Texte ist ... Angeblich KI generierte Texte, sage ich mit KI-Detektionstools.

00:10:13: Und ... Ich war echt ein bisschen erstaunt, weil die gibt's schon lange.

00:10:17: Wollte ich

00:10:17: fragen?

00:10:18: Ist es so ein bisschen wie diese Doktorarbeitsjäger, Plagiatsjäger oder was?

00:10:23: Ja, wobei es eigentlich noch unseriöser ist, würde ich sagen.

00:10:28: Weil bei dieser ganzen Plagiatesjägerei war es ja zumindest möglich Texte nebeneinander zu legen und zu sagen, das sind die selben Formulierungen.

00:10:36: Das ist abgeschrieben oder dieselben Fehler drin vielleicht sogar.

00:10:40: Da konnte man mit Argumenten und Vergleichen noch relativ gut nachvollziehen und sich selbst in Urteil bilden.

00:10:49: Ist da jetzt abgeschreiben worden?

00:10:50: Oder nicht?

00:10:52: Und ist es im Rahmen, dem's okay ist, weil die Quelle genannt ist?

00:10:54: Also also ein Zeug bei KI-Detektoren.

00:10:57: Es ist ja schon voll lang seit KI ... Als KI gibt oder ja, es gab sogar schon vor Chatchi.

00:11:03: Petri.

00:11:04: natürlich gab's Tools die wir so haben KI Nutzungen in verschiedenen Maße zu erkennen und schon immer war da eigentlich klar Die sind nicht zuverlässig Und die können das auch nicht sein weil sie selbst KI basiert sind und eigentlich nur auf der Basis von Wahrscheinlichkeiten funktionieren.

00:11:18: jetzt hat So ein Das heißt, es zieht ja gerade so seine Spuren durch die Medien.

00:11:24: Weil alle möglichen Leute entdecken, dass sie damit versuchen können anderen Leuten KI-Nutzung nachzuweisen.

00:11:32: und genau das ist das Problem, dass man eben überhaupt nicht nachweisen kann.

00:11:37: Das Wort Hexenjagd habe ich jetzt oft dazu gelesen auf Social Media in letzter Zeit Basiert auf einer ähnlich unsicheren Grundlage, weil eben die Idee ist.

00:11:48: Und da glaube ich das Problem ist dass viele Menschen halt doch noch nicht verstanden haben was KI eigentlich is und wie sie funktioniert und wie zum Beispiel solche Detektions-Tools funktionieren.

00:11:58: letztlich machen die ja nichts anderes als Muster finden.

00:12:01: in Texten

00:12:03: Zwar ich grad sagen, nimmst mir mal auseinander.

00:12:05: Weil Thoma so als hätte ich auch keinen Plan.

00:12:08: Als

00:12:08: hättest du KI nicht verstanden?

00:12:09: Genau!

00:12:10: Thoma sonst hatte ich KI nicht

00:12:11: Verstanden.

00:12:12: Also was die machen letztlich immer?

00:12:14: also KI ist ja immer immer und auch schon vor Chat GPT Mustererkennung.

00:12:17: das heißt es werden in Systeme große Mengen an Daten reingeschmissen und dann erkennen wird darin auf statistischer Basis werden darin Muster erkannt und so ein KI-Detektor funktioniert auch genauso.

00:12:28: da werden also die Trainingsdaten bestehen aus letztlich Texten, die von Menschen geschrieben sind und Texten ,die von KI geschrieben sind.

00:12:36: Beides ist übrigens schon die erste Herausforderung.

00:12:38: oder vor allem diese Texte, die vom Mensch geschrieben sind weil wie wir ja vorher schon gesprochen haben im Internet finden sich eigentlich fast nur noch oder nicht fast nur nach aber einfach seit-sieh-zwei-und-zwanzig seit ChatGPT kann man eigentlich nicht mehr sagen.

00:12:51: mit Sicherheit sagen dieser Text ist von einem Menschen geschrieben worden.

00:12:55: Das heißt, Trainingsdaten zu finden im Netz nach- ... von rein menschlich geschriebenen Texten ist unmöglich!

00:13:00: Ist wirklich unmöglich?

00:13:02: Weil du müsstest jeden einzelnen Menschen befragen hast du den wirklich selbst geschrieben und selbst dann können die Menschen ja auch lügen.

00:13:07: ja weil gerade zumindest in der aktuellen Stimmung ja niemand zugeben würde ich habe dir nicht allein geschrieben oder da hat KI geholfen.

00:13:14: und dann fehlt natürlich noch dazu bei den aktuellen Texts die Differenzierung von KI geschrieben mit KI überarbeitet ein Text Und was auch.

00:13:23: Aber es gibt ja alle möglichen ... Wildenmischungen.

00:13:26: Und was diese Tools, also worauf die Alte trainiert sind, finde ich aus heutiger Sicht uralte Trainingsdaten.

00:13:33: Nämlich das müssen Texte von vor- ... Weil da noch sehr wenige Menschen noch KI nur zum Schreiben benutzt haben und da auch, das weiß ich aus meinen Experimenten damals, KI auch noch so schlecht im Schreiben war oder so wild halluciniert hat dass man das tatsächlich auch nicht auf die Idee gekommen wäre damit ganze seriöse Text zu schreiben.

00:13:53: aber das heißt die Trainingsdate diesem Detektionstool.

00:13:56: Das kannte es dir jetzt gerade, dass am meisten wirbelt und ich finde auch am unseriössten behaupte das zuverlässig sei es Pangramm.

00:14:06: Die haben also Texte von vor-swei-tausendzwanzig die eindeutig von Menschen geschrieben sind als eine Trainingsdaten-Sammlung und die andere sind eben Texte, die Chatbots geschrieben haben.

00:14:17: Darin erkennt dann dieses Tool Muster Teilweise wohl durchaus Muster, die jetzt für uns Menschen nicht so offensichtlich sind.

00:14:26: Also es sind nicht nur Gedankenstriche oder Es ist nicht so sondern auch so.

00:14:31: Sondern es sind auch subtile Sachen.

00:14:34: Aufzählungen?

00:14:35: Genau aber das sind ja auch Sachen, die ein bisschen intuitiv sind für uns.

00:14:38: Ich habe eine Artikel gelesen.

00:14:40: Es gibt natürlich nämlich das gleiche Gibt's als Gegenstück Humanizer also Tools in denen du da eine KI-generite Texte reinschmeißen kannst, und dann kommen die raus.

00:14:49: Wenn sie gut genug sind werden die von einem KI-Detektor wiederum nicht mehr erkannt.

00:14:52: Sie haben dann menschliche Muster!

00:14:55: Und ich hab mal gerade einen Text gelesen über jemand, der halt verglichen hat und gesagt hat es ist völlig irre was dieser Humanizer macht.

00:15:00: Er schreibt ja ein paar Begriffe um, die für uns eigentlich beide passen.

00:15:05: Beide begriffe sind, die man vielleicht auch verwenden würde aber das sind diese Muster.

00:15:09: Das heißt... Da ist nach meinem Eindruck auch relativ viel so.

00:15:14: Ja, wie in der Art Beliebigkeit drin.

00:15:17: Das weiß man ja auch.

00:15:18: Begriffe die KI viel nutzt.

00:15:19: DELF ging lang mal durch die Medien.

00:15:21: Da hab ich auch mein Intro dazu gemacht.

00:15:22: Let's Delfin oder so was.

00:15:24: Da sagt man das wird viel von KI genutzt.

00:15:27: aber auch da kann man natürlich nicht sagen... Die KI nutzt diesen Begriff weil Menschen das getan haben ne?

00:15:33: Das ist ja der ganze Punkt!

00:15:34: Die ist trainiert darauf so menschlich möglich zu schreiben.

00:15:36: Die hat ihr ganzes Wissen von Menschen

00:15:39: d.h.,

00:15:39: es ist nicht so dass Menschen diesem Begriff gar nicht benutzen und damit

00:15:43: diesen langen Bindestrich.

00:15:45: Also ich habe die vorher nie benutzt, deswegen hat es mich mal jetzt nicht getroffen.

00:15:52: aber ich kenne Menschen, die waren immer stolz darauf dass sie richtige Binderstriche benutzen.

00:15:57: Ich hab glaube ich den falschen benutzt.

00:15:59: tatsächlich

00:16:01: und die waren jetzt so ja und jetzt denkt jeder alles von der SKI geschrieben!

00:16:08: Aber es ist ja so, die KI hat das Schreiben von uns gelernt.

00:16:10: Und also schon daraus wird eigentlich klar dass man nicht klar unterscheiden kann zwischen so schreiben Menschen und so schreibt eine KI weil die KI versucht genauso zu schreiben wie die Menschen.

00:16:20: und dadurch kann man eben selbst wenn jetzt dieses KI-Detektionstool für ein Text ausspuckt ich bin mir zu fünfundundzig Prozent sicherer dass der KI generiert ist kann man bei diesem einen Text nicht beweisen und auch nicht wissen, ob er wirklich KI-Generit ist.

00:16:35: Weil es eben eine statistische Methode ist!

00:16:37: Und das ist aber ja genau das was Leute jetzt gerade im Prinzip machen.

00:16:40: Die schmeißen Reden und Artikel in diese Tools und schreiben dann... auch teilweise in großem Stil und ohne die AutorInnen zu fragen schreiben, dann benutzt offensichtlich KI.

00:16:52: Und das ist unseriös!

00:16:53: Das kann man nicht machen.

00:16:54: Und dass machen sie aber natürlich weil Pernagramm und die anderen Tools sich so verkaufen.

00:16:58: Die sagen dann wir sind zu neunundneinzig, neun Prozent zuverlässig.

00:17:02: Und dazu muss man wissen, dass diese Zahl allein gar nix aussagt.

00:17:05: Also dieses Zuverläßigt du hast ja mal zwei ... Das geht ein bisschen tief in die Statistik.

00:17:09: Vielleicht höre ich da wieder auf damit, aber nur kurz um einmal klarzumachen, dass dann viel mehr dahinter steckt.

00:17:14: Du hast immer zwei Größen, die da mit reinspielen nämlich die sogenannten Force Positives also dein Text wird von dem Tool als KI generiert markiert Aber ist in Wirklichkeit nicht... Also ist von dir geschrieben.

00:17:25: und die Force Negatives du hast deinen Text mit KI geschrieben, aber das Tool merkt es gar nicht.

00:17:29: Und zwischen diesen beiden Dingen muss man quasi einen Optimum für sich persönlich finden so wie man möchte wie dieses Tool ob das lieber Texte übersieht oder ob es lieber Menschen fälschlich beschuldigt.

00:17:41: Und selbst wenn man das so einstellt, dass man die Forstpositives niedrig hält, also dieses Menschen falsch beschuldigen gehen sie aber nicht weg.

00:17:49: und ich habe ein bisschen in die Studien reingeschaut mit denen Pangram wirbt weil immer Leute sagen ja, die haben doch unabhängige Studien belegen... Immer

00:17:58: gut!

00:17:59: Unabhängiges Studium ist immer

00:18:00: gut.

00:18:01: Und dann habe ich mal geschaut Bei Weitem nicht alle Studien, die PENGRAM selbst verkauft als unabhängig.

00:18:08: Weil in einer, es gibt eine, die besagt das neun Prozent aller US-Newsartikel KI generiert sein sollen und die wird gerade in den USA ganz viel zitiert.

00:18:17: Und da ist halt die Hälfte der AutorInnen von der Studie arbeitet bei PEN GRAM.

00:18:21: also die ist schon mal überhaupt nicht unabhängig.

00:18:24: Und dann zitieren sie sich noch dazu selbst.

00:18:29: ihre eigene, ein eigenes früheres Paper.

00:18:31: Die gleiche Kerngruppe und die Pangram-Mitarbeiterin – also das sind da quasi in Anführungszeichen wirklich unabhängige Wissenschaftlerinnen – zitieren sich selbst aber wiederum als unabhängige Studie so mit dem Argument auch andere Studien sagen dass Pangram besonders gut ist.

00:18:46: Aber ich würde sagen zu wirklich anders ist es ja nicht wenn's eigentlich die gleichen AutorInnen sind.

00:19:04: Und dann, jetzt komme ich doch noch mal ganz kurz zu der Statistik.

00:19:07: Weil das so absurd ist, ja?

00:19:09: Also Pangram in diesem angeblich unnachlichen wissenschaftlichen Paper wird eine false positive Rate zitiert von null einmal Null Null Eins Prozent und für die gibt

00:19:20: es

00:19:20: Keinerlei Beleg, der einzige Beleg ist ein Blog von Pangram selbst.

00:19:24: Also was heißt die Autorin in der Studie bei denen Pangram Leute dabei sind?

00:19:27: Zitieren eine Zahl, die angeblich gemessen und unabhängig ist.

00:19:31: Die ist auch vom Pangram.

00:19:32: also da gibt es keinerlei neutrale Messung.

00:19:35: Und dann kommt die Studie macht dann noch eine eigene Messung und kommt halt zu einer hundertfach höheren false positive Rate von nämlich Null Komma Eins.

00:19:43: Und eine wirklich unabhängige Studie kommt auf eine ... Also tatsächlich, da gab's keiner zumindest.

00:19:48: Ich hab jetzt auch nicht ewig recherchiert, aber da gab es keinen offensichtlichen Zusammenhang zwischen Pengram-Mitarbeiterinnen und Forscherinnen.

00:19:55: Kommt zu dem Schluss bis zu zwei Prozent false Positive Rate.

00:19:59: Das ist für die ersten schon mal ganz schön viel.

00:20:01: D.h.,

00:20:01: nämlich zwei von hundert Texten werden falsch deklariert.

00:20:05: Es gilt nur für diese alten Texte also alles was Menschen vor Zweiundzwanzig geschrieben haben.

00:20:12: Und wenn man mal schaut und dazu habe ich auch schon recherchiert, dass Studien zeigen wie sich Sprache verändert mit der Chatbot-Nutzung.

00:20:18: Dann wird auch klar das es für heute überhaupt nicht relevant sein kann.

00:20:21: Also dieses Muster was die KI entdeckt hat ist viel zu alt um für die heutigen Texte in die sich natürlich auch, weil Menschen viele mit Chatbots interagieren und weil wir überall KI generierte Texte lesen, in der sich auch die menschliche Sprache verändert hat.

00:20:35: Das heißt, wenn du heute ein Text schreibst, isst er mit hoher Wahrscheinlichkeit viel näher an KI.

00:20:41: Die muss dann dran, als wenn du ihn vor dem Jahr zwanzig geschrieben hast und diese Tools entdecken.

00:20:47: Also die wissen das nicht und man kann sie auch nicht updaten weil du eben keine neuen Trainingsdaten generieren kannst.

00:20:53: Weil im Netz du nicht mehr weißt was von Menschen geschrieben ist.

00:20:56: Das zeigt doch wie sinnlos das ist.

00:20:58: also ich finde am Ende dass aber da kommen wir so ein bisschen wieder zu dem zumindest was ich letzte Woche auch schon gesagt

00:21:05: habe

00:21:06: Das ist am Ende ja darauf ankommt, dass es ein guter Text ist den du gerne liest und der keine Worthülsen beinhaltet.

00:21:14: Und der was sagt und der was meint und ob denen dann deine Katze geschrieben hat deiner Mutter oder deine KI oder du mit einer KI?

00:21:21: Oder ob dir KI Ideen gegeben hat für dich nebensächlich.

00:21:25: eine wichtige Frage habe ich aber noch Was hat denn die Firma dazu gesagt?

00:21:29: Pengram selbst hat noch nicht viel zu der Frage dieser alten und neuen Daten gesagt, aber eine Sache fand ich total interessant.

00:21:37: Und zwar das Wall Street Journal die angefragt weil eben in einer ihrer Studien auch drei AutorInnen von Leitartikeln vom Wall Street-Journal beschuldigen KI zu nutzen und übrigens die auch nicht vorher gefragt haben.

00:21:50: also das finde ich auch interessant.

00:21:53: diese drei Autoren haben gesagt sie haben nicht mal eine Info bekommen, dass Inami veröffentlicht wird mit der Beschuldigung.

00:21:59: Obwohl ja selbst wissen müsste, dass das eben Wahrscheinlichkeiten sind und man auf der Basis niemand beschuldigen kann.

00:22:05: Und dazu hat Panogramm sich nicht geäußert zu der Frage ob die angeschrieben worden sind.

00:22:08: aber die Autorhöhlen sagen nein sie haben bis zur Veröffentlichung nichts davon gehört.

00:22:12: Und der zuständige für die Leitartikel James Taranto bei dem Wall Street Journal hat gesagt, sein Eindruck ist das Spezielleitarticle.

00:22:21: Besonders anfällig sind für False Positives, weil sie ja immer auf eine ähnliche Art und Weise geschrieben sind.

00:22:25: Die haben gleich einen Aufbau, sind eigentlich recht handwerkliche Art von Texten.

00:22:31: speziell noch mal drauf geachtet und geschaut, ob es eben für bestimmte Texte höhere Möglichkeiten gibt.

00:22:38: Für Force Positives.

00:22:39: Und da haben sie gesagt nein also Leitartikel haben die nicht gesondert angeschaut.

00:22:42: das finde ich zeigt so ein bisschen ja diese die Leichtfertigkeit auch wie damit umgegangen wird mit solchen Themen und auch solchen Vorwürfen die ja durchaus für Journalistinnen ernsthafte Konsequenzen haben können ja auch für die Glaubwürdigkeit.

00:22:57: Also da ist viel.

00:22:58: Ich denke, es liegt viel im Argen.

00:23:03: Wenn's anders wäre oder wenn auch Journalistinnen darüber schreiben, kritischer wär ein kritischer Nachfragen und versuchen würden zu verstehen, was eigentlich das bedeutet?

00:23:12: Also was so ein Detektor kann und was eben nicht ...

00:23:16: Es geht so bisschen in die Kerbe, dass es egal ist, ob das jetzt stimmt oder nicht.

00:23:22: Aber überhaupt jemand hat etwas falsch gemacht!

00:23:24: Also ich weiß nicht, es erinnert mich auch sehr an die Debatte rund um KI-generierte Bilder, KI-erzeugte Fotos.

00:23:32: Es gab ja dieses ganz bekannte während eines Hurricanes in den USA.

00:23:36: Ich war so ein Mädchen was von Hundewelten rettet.

00:23:39: das war wirklich unendlich süß und es hatte eine offiziellere Person hat das auf X getreilt offensichtlich KI-generiertes Foto, und sie hat dazu einen Text verfasst.

00:23:51: Schaut doch nur so ist es irgendwie so dramatisch in der

00:23:54: Art.".

00:23:54: Und dann wurde sie darauf angesprochen nach dem Motto hey!

00:23:57: Wieso teilzusehen?

00:23:58: offensichtlich KI generiert das Foto mit so einer Message?

00:24:01: Die Person hat gesagt, dass es mir egal ... denn es ist ja das was ich sagen wollte.

00:24:09: Wow, okay.

00:24:10: Ja das ist natürlich auch nicht ... da wollen wir nicht hin.

00:24:12: also diese Beliebigkeit geht natürlich auch noch nicht oder?

00:24:14: Also wo

00:24:15: du es einfach nur dient im Monzipanlass.

00:24:17: also man sagt ok ich hab was.

00:24:20: Es ist jetzt ein Anlass zur Empörung.

00:24:22: ja und ich wollte mich empören über irgendetwas weil mir irgendwas nicht gefällt oder ich einen Missstand bemängeln möchte und nehme das so her als Möglichkeit mich über die Medien zum Beispiel oder die Politiker zu empören.

00:24:37: Aber deswegen gut, dass es dich gibt und du solche Recherchen machen kannst.

00:24:50: Wir wollen zum Abschluss noch zu einem kleinen Fancy-Projekt kommen denn ihr habt uns ja einige Sachen geschickt die ihr in der letzten Zeit mit KI gemacht und programmiert habt.

00:25:03: und da hat uns Phil was Spannendes geschickt

00:25:06: Genau!

00:25:06: Und zwar hat er uns jetzt schon ... auch letzte Woche hatten wir glaube ich angeteasert eine E-Mail geschickt mit seinem Projekt.

00:25:13: Er hat gesagt, er ist seit rund zwanzig Jahren Web-Entwickler.

00:25:16: Vor allem im Frontend und ist gerade arbeitslos und hat sich vorgenommen KI Frontrunner zu werden und hat also einfach losgelegt.

00:25:24: Also hat die Zeit genutzt, sich selbst Learning by Doing vorzubilden angefangen als mit dem Python Script das Marketingideen generiert und sich eben von der KI selbst bewerten und verbessern ließ.

00:25:33: ich meine da Da ist im Prinzip das, was viele Menschen machen.

00:25:37: Und da ist ihm aber aufgefallen, sagt er, dass er so ein kleines selbstlernendes System gebaut hat.

00:25:42: und dann ging es Schlager auf Schlage, hat in einer einzigen Woche einen Live-Deepfake Filter gebaut der sein eigenes Gesicht deepfaked und hat gesagt, das funktioniert sogar.

00:25:51: dann eine Videokonferenz Aber alles auf einem alten Laptop und ohne... Also er sagt, es geht alles ohne, dass man jetzt wahnsinnig viel Geld investiert.

00:25:57: Das finde ich schon eine interessante Botschaft.

00:26:00: Die Fakes allerdings war dann doch, kam nicht so gut an.

00:26:02: Er hatte ein bisschen Gegenwind bekommen und hat das erst mal gelassen.

00:26:06: Viel spannender hat jetzt einen kleinen Roboter gebaut.

00:26:08: Und zwar hat er ein Lego Arduino-Bot darauf sein Smartphone gepackt.

00:26:12: Das hat ja Kamera quasi in Rechner, Newellandverbindungen usw.

00:26:17: Dieser Roboter fährt durch seine Wohnung und lernt ... die Welt zu verstehen, würde ich sagen.

00:26:25: Der sollte in der roten Linie folgen und hat dann aber ... Das hat Phil jetzt geschrieben, dass er, obwohl er das so oprogrammiert hat diese Linie ignoriert hat oder hat also Hitmaps gebaut um man auch sehen kann.

00:26:36: Also diese ganzen klassischen Fails von Machine Learning kann man schön an diesen Projekten auch sehen.

00:26:40: Er hat dann diese roten Lignien ignoriert, hat Ritzen im Boden stattdessen detektiert und so Zeug sich ein Möbeln orientiert und er hat dann das ganze Modell noch mal gewechselt Auch Trainingsdaten nochmal neu gemacht.

00:26:52: Er hat gesagt, er hat in seine Trainings-Daten reingeschaut und gesehen dass die auch nicht funktionieren können.

00:26:57: Also so eine Ein-Mann-Show sozusagen, die versucht es alles noch mal nachzuvollziehen was bisher grob gesagt im Machine Learning passiert ist.

00:27:08: Sehr sehr spannend!

00:27:09: Ja, da macht es wirklich das was ich gerade so von den Menschen die sagen wir sind so Early Adopters.

00:27:16: Also Leute, die sich einfach wieder mit beschäftigen was ich an allen Ecken sehe dieses viele Anfangen so wirklich kleine Programme zu bauen.

00:27:25: und grade gestern saß ich auch in einem Pendelvortrag Und dann hat mir mein Nachbar eine kleine Webseite gezeigt, die er so schnell gevipecoded hatte wenn ich aus der Hitze fliehen möchte in Europa, wo müsste ich dahin?

00:27:41: Und dann könnte man da auf der Webseite einstellen irgendwie wie viel Grad.

00:27:45: Also eine Temperaturregel.

00:27:47: Was hat er gerade noch so?

00:27:48: Ja,

00:27:48: Räckja-Wick war die Antwort ja.

00:27:51: also nach Räkja weg müsste man sein.

00:27:53: danach kann irgendwie Bergen und eben andere Städte oder Ortschaften, die vor allem im Norden Europas liegen.

00:28:00: Das war wirklich so so im Prinzip so ne kleine Kleine Fingerarbeit, irgendwie nach dem Motto wir bauen mal eine kleine Seite die mir eine bestimmte Aufgabe lösen kann.

00:28:14: Ich bin sehr gespannt was das für ein IT-Umfeld bedeutet weil viele Unternehmen haben eigentlich die letzten Jahre damit zugebracht IT möglichst zu vereinheitlichen Nicht tausende Programme und Tausende Sachen irgendwie auf den Rechnern zu haben.

00:28:28: Einfach weil man dann das ganze Update, das ganze Security-Sicherheitsmanagement ist natürlich besser wenn alle einen System benutzen ein.

00:28:37: Du hast ein Programm für alles Und nicht jeder macht so ein bisschen sein eigenes Flickwerk.

00:28:42: Und jetzt explodiert es komplett in die andere Richtung.

00:28:45: und natürlich muss man aus Security Perspektive sagen, es ist immer wichtig sich selbst klar zu machen was macht dieses Ding?

00:28:51: Was ich gerade gebaut habe?

00:28:52: also ich hab ja schon viel zu Weib gekoteten Sicherheitslücken recherchiert und ich glaube aber man kann das schon wenn man so ein Bastler Typ ist wie jetzt Phil zum Beispiel oder wenn man selbst Dinge machen möchte.

00:29:02: man kann dass eigentlich mit einer eigenen Matrix im Kopf ganz gut hinbekommen den man sie hat überlegt.

00:29:06: was macht mein System was schiefgehen kann.

00:29:09: Habe ich eine Datenbank eingebaut, dann ist es schon wieder wirklich wichtig genau zu gucken sind die Daten, die nicht raus sollen auch wirklich geschützt.

00:29:17: also da habe ich große Probleme gesehen bei Wipecoding und Ähnliches.

00:29:21: ne?

00:29:21: Solange du Zeug machst, was irgendwie Sicherheitshandschuhe überhaupt nicht heikel ist klar weil macht eine Webseite aber vielleicht keine KI braucht um rauszubekommen.

00:29:28: das ist gerade den Rekjavik besonders angenehm ist im Vergleich zu den anderen ganzen heißen Gegenden.

00:29:34: Aber genau Ich denke ja auch Es wird viele.

00:29:35: Wir werden viele Dinge sehen Die Leute bauen bis er vielleicht einfach nicht gemacht hätte, weil es aufwendig ist und jetzt probieren Leute aus.

00:29:41: Und lernen viel!

00:29:42: Das fand ich wirklich an der E-Mail von Phil interessant, dass man eben selbst dann damit eigentlich bisher nichts zu tun hatte.

00:29:47: Es schafft mit Zeit und ja auch viel Spaß sich wirklich viel zu lernen über maschinelles Lernen und viel ausprobieren kann.

00:29:56: und warum nicht?

00:29:57: Sehr

00:29:58: cool haben wir uns sehr gefreut und damit sind wir für heute am Ende und freuen uns wenn ihr uns weiterhin schreibt kommentiert liked Teilt, damit tut er unseren Riesen gefallen.

00:30:09: Hält diesen Podcast weiterzuwachsen?

00:30:11: Empfehlt ihn

00:30:12: euren

00:30:12: Freundinnen und Freunden.

00:30:14: Ja, da freuen wir uns.

00:30:15: Schickt uns weitere spannende Geschichten.

00:30:17: Dinge die ihr macht, Themen, Ideen, Kritik natürlich auch!

00:30:19: Wir sind wirklich offen für alles und freuen uns über Feedback.

00:30:23: Gut, dann würde ich sagen bis nächste Woche.

00:30:27: Macht's gut!

00:30:27: Gute Woche euch!

00:30:28: Kühlenkopfbewahren auch außerhalb von Rekja Wick Ciao.

00:30:33: Das war Day Talk Tech, ein CT-Podcast von Eva Wolf-Angel

00:30:37: und ... Swergkart!

00:30:38: Musik und Produktion Marco Pauli.

00:30:40: Tschüss.

00:30:41: Tschüs.