Wenn der Praktikant den Generalschlüssel hat: KI-Agenten außer Kontrolle?
Shownotes
Wir haben uns die Zeit genommen, den Vorfall nochmal in Ruhe auseinanderzunehmen: OpenAI lässt seine Modelle in einem Hacking-Benchmark antreten, sicher verwahrt in einer Sandbox. Doch die Agenten finden eine Zero-Day-Lücke, brechen aus, kapern eine fremde Sandbox als Startrampe und dringen bei Hugging Face ein. Fünf Tage lang.
Wir rekonstruieren, was zwischen dem 9. und 13. Juli passiert ist und warum OpenAI erst über eine Woche später gemerkt hat, dass die eigenen Modelle dahinterstecken. Und dann nehmen wir uns das Drumherum vor: das Marketing, das aus einem peinlichen Sicherheitsvorfall mächtige, gefährliche KI macht. Die Sprache, die aus Statistik plötzlich Wollen und Entscheiden zaubert.
Reinhören lohnt sich. Auch aus dem Liegestuhl.
Neueste Erkenntnisse zum Vorfall bei Heise: https://www.heise.de/news/OpenAI-liefert-mehr-Details-zum-Hugging-Face-Vorfall-11403154.html
Interview Bloomberg TV mit Signal Chefin Meredith Whittaker: https://www.bloomberg.com/news/videos/2026-07-24/whittaker-on-openai-hugging-face-hack-china-privacy-video
Evas Kommentar dazu: https://www.zeit.de/digital/datenschutz/2026-07/openai-huggingface-ki-hackerangriff-sicherheitsvorfall
Hugging Face: Anatomy of a Frontier Lab Agent Intrusion, das technische Write-up mit der kompletten Angriffskette (27.07.2026): https://huggingface.co/blog/agent-intrusion-technical-timeline
Hugging Face: erste Offenlegung des Vorfalls: https://huggingface.co/blog/security-incident-july-2026
OpenAI: Security incident during model evaluation (21.07.2026, Updates 28./29.07.): https://openai.com/index/hugging-face-model-evaluation-security-incident/
JFrog: Offenlegung der Zero-Day-Lücke in Artifactory: https://jfrog.com/blog/jfrog-and-openai-collaboration-on-zero-day-security-findings/
Der ExploitGym-Benchmark (arXiv): https://arxiv.org/abs/2605.11086
Meredith Whittaker im Bloomberg-Weekend-Interview, frei zugänglich zitiert bei TechCrunch: https://techcrunch.com/2026/06/20/signals-meredith-whittaker-wants-you-to-remember-that-ai-chatbots-are-not-your-friends/
Transkript anzeigen
00:00:00:
00:00:16: Hi und herzlich willkommen zu Baytalk Tech, ein CT-Podcast.
00:00:20: Ich bin Zwer-Eckardt, Tech Journalistin!
00:00:22: Und ich bin Eva Wolfanger, ebenfalls Tech-Journalistin.
00:00:25: – hallo!
00:00:27: Schön euch wiederzusehen wollte ich fast sagen, dabei sehen wir euch ja gar nicht.
00:00:30: Aber wir können uns so gut vorstellen wie ihr uns zuhört auch weil wir wirklich so wahnsinnig Liebe Zuschriften bekommen von euch.
00:00:39: Wir sind wirklich dankbar über jeden einzelnen und jeder einzelne, die uns schreibt wie gern sie uns hört.
00:00:44: es ist so schön.
00:00:45: Es gibt so ein witziger
00:00:46: Bild oder Mie.
00:00:48: Manchmal, also gerade im Moment trifft es nicht bei mir zu aber ganz manchmal habe ich dieses Gefühl, da gibt das so dieses Mie und dann ist so eine Person unter einem Stapel Arbeit begraben und dann noch so vier Bücher aufgestapelt daneben die den Berg noch mithalten an my for followers.
00:01:08: Und das auch nicht immer,
00:01:09: manchmal
00:01:11: wenn eigentlich die Arbeit so überwältig Und dann ist es ja so, deswegen freuen wir uns riesig.
00:01:17: Wenn ihr uns Feedback gibt oder uns von euren Geschichten erzählt oder dem was ihr gebaut habt, gebastelt hat mit KI.
00:01:24: darüber hab ich auch einiges gelesen in der jüngeren Zeit.
00:01:27: Ihr habt's wahrscheinlich gemerkt, wir beide waren ... zwischendurch mal bisschen im Sommerpause machen etwas Urlaub und deswegen haben wir uns zu einem fast brennenden Thema nicht gemeldet länger nicht.
00:01:38: Aber jetzt...
00:01:41: Genau!
00:01:41: Und zwar gab's ja Diverse Vorfälle inzwischen, in denen KI-Modelle von großen Unternehmen andere Firmen gehackt haben.
00:01:50: Und manche sind angeblich erst aufgefallen nachdem das Thema überhaupt eine Diskussion war.
00:01:55: So angefangen hat es mit Modellen von OpenAI oder KI-Agenten von Open AI die so einen Security Testing gemacht haben.
00:02:03: Das heißt OpenAI hat ein Benchmark gemacht, wollte also ich meinen Worten aber da konnte er nochmal freien Tiefe einsteigen, wollte zeigen wie gefährlich Und die Modelle sind eventuell auch um endlich mal wieder in die Schlagzeilen zu kommen, nachdem er die ganze Zeit nur ein Tropic zeigen konnte.
00:02:18: Wie gefährlich die eigenen Modelle mit Fable Five und Mythos sind.
00:02:22: Ja, da ist eine Geschichte gegangen, dann ist das gleiche Tropic passiert.
00:02:28: Da würden wir gerne nochmal so bisschen in den Hintergründe einsteigen.
00:02:31: Das läuft jetzt schon seit einer ganzen Zeit.
00:02:33: Ich denke immer noch dass da viele falsche wie soll man sagen, Darstellungen oder Vermutungen im Raum sind.
00:02:41: Was dahinter steckt und auch so Ideen die das Ganze eigentlich schwierig machen zu verstehen teilweise natürlich bewusste Narrative teilweise auch einfach.
00:02:50: ja es ist technisch komplex und die großen Unternehmen verdrehen das natürlich bewusst was dazu führt dass das auch medientalweise falsch wenn ich ganz richtig darstellen
00:03:00: weil jetzt schon eine weile her.
00:03:01: es lasst uns einmal zumindest ganz kurz rekonstruieren Was passiert ist, also das Ganze ist jetzt wie gesagt schon gut vier Wochen her.
00:03:09: neunter Juli bis dreizehnte Juli ist so der Zeitraum in dem sich das abgespielt hat.
00:03:15: Ja ich verlasse uns einmal drei vier Setzen kurz skizzieren was passiert es und dann können wir so in die Aufarbeitung einsteigen.
00:03:25: Interessant ist ja das Ganze gegen die Russ damit und das war noch völlig unbemerkt von der größeren Öffentlichkeit.
00:03:29: Das Hugging Face, im Prinzip eine KI-Firma, eine Plattform, darauf sind Open Source-KI-Modelle, die man sich runterladen kann.
00:03:37: Da gibt es Diskussionen darum usw.
00:03:40: Diese Firma, Hugging face hat ein Blogpost geschrieben, dass sie angegriffen worden seien mutmaßlich von einem ausgefeilten KI-Angreifer unter einem Zugangsdaten erbeutet hätte, also KI-Agenten hätten Zugangs Daten erbeutet und dann eben auch Zugriff bekommen auf ihre Systeme.
00:03:59: Und ich glaube, eine ganze Woche später erst hat dann OpenAI gesagt.
00:04:03: Ops!
00:04:03: Das waren ja wir oder das waren ja... Genau
00:04:05: am XXI Juli dann also sozusagen detektiert gestoppt durch den Hanging-Fest Security Team ist das Ganze am thirteenth Juli und OpenAI hat die Aktivität verbunden mit dem eigenen Test eben erst am XXII Juli also wie du gesagt hast gut ein Wochen später.
00:04:24: Genau, dann kam so nach und raus was war passiert.
00:04:27: Also OpenAI hatte einen Testlaufen für ein sogenannten Benchmark.
00:04:31: also Benchmarks sind so Vergleichsmöglichkeiten für KI-Modelle.
00:04:37: da geht es darum dass die verschiedenen Aufgaben erledigen müssen.
00:04:39: und in dem Fall wars ein Test zum Thema Hacking also OpenAI wollte testen wie gut können unsere Modelle Hecken.
00:04:47: tatsächlich, da geht's dann auch nicht nur um Sicherheitsforschung.
00:04:49: Da geht es eben immer um die andere Seite und dieses wie gefährlich kann das denn sein?
00:04:53: Und wir alle kennen ja die Schlagzeilen vermutlich schon seit Monaten das Thema Bestimmen, die vor allem von Anthropic ausgegangen sind angefangen mit Mythos was dann ja auch nicht zugänglich war für die Öffentlichkeit weil Anthropic selbst gesagt hat ist zu gefährlich diese Regulierung die von der US-Regierung kam also das Verbot dass auch das Modell Fable Five was danach als angebliches sicheres Modell auf dem Markt kam, dass das nicht mehr zugänglich gemacht werden darf.
00:05:20: Alle Menschen, die keinen amerikanischen Pass haben.
00:05:22: Worauf finden sie es komplett zurückgenommen haben?
00:05:24: Und dann am Ende wurde es doch wieder freigegeben und dann gab's einen Irrenhype!
00:05:29: um Fable, das finde ich total so.
00:05:30: Fable Five, der mich immer noch verwirrt oder auch überrascht weil meine Erfahrungen mit Fable Fifa waren wirklich keine gute und ich habe es auch von einigen anderen gehört, weil es eben so stark an die Leine genommen ist, so stark beschränkt ist hat das, finde ich, wirklich wenig nutzwert gehabt sozusagen.
00:05:47: Und jetzt ist Jesus in Tropic Fable five sogar extra abrechnet also Token.
00:05:52: Man muss es quasi einzeln bezahlen an Führungszeichen, weil sie sich wahrscheinlich erhoffen dass dieser Halb dazu geführt hat das Menschen das tatsächlich tun während die gleichzeitig einen Modell rausgegeben haben was auch würde ich sagen der ähnlichen Liga spielt was mit inkludiert ist in dieser normalen flatrate.
00:06:06: ja die meisten menschen haben.
00:06:08: aber ich denke man sieht eben traurigerweise dass diese Vorfälle ja irgendein model ist angeblich gefährlich kann angebliche gut hacken dass das eben immer noch die der Unternehmen nützt.
00:06:19: Und in dieser ganzen Diskussion ist dann also Open AI reingeplatzt mit dieser Meldung und ich vermute, ja es gibt verschiedensten, manche Menschen sagen das haben das ja extra gemacht um in die Diskussion zu kommen.
00:06:30: Ich denke dass es vielleicht zu viel Verschwörungstheorie aber klar man weiß es am Ende nicht.
00:06:35: Ich will aber sagen auf jeden Fall war's ihnen so wichtig was nicht passiert weil deshalb hätte man verhindern können und das finde schon eine zentrale Erkenntnis daran.
00:06:46: Was weiß man denn technisch?
00:06:48: Man weiß, es gab einen Ausbruch aus einer sogenannten Sandbox.
00:06:52: Also die sich mit IT-Beschäftigten wissen so eine Sandbox ist eigentlich dafür gedacht dass man sozusagen autark in einem Art abgeschlossenen System damit agieren kann.
00:07:01: und da ging's eben um ein sozusagen Ausbruchs aus einer Sandbox durch den Ausnutzen von einer Zero Day Lücke und dann sozusagen das Carpan einer öffentlich reichbaren Sandbox.
00:07:15: So, das vielleicht so mal in aller Kürze?
00:07:17: Genau!
00:07:17: Also ich habe in meinem Artikel dazu einen US-Searcher vorhin zitiert, der gesagt hat naja es kann eigentlich nicht gleichzeitig wahr sein dass sich in einer gesicherten Umgebung befunden hat und dass es da aus Anführungszeichen ausgebrochen ist durch eine Lücke.
00:07:30: weil und das haben viele gesagt ja es ist natürlich nicht total profan aber es ist auch kein totales Hexenwerk so ne Sandbox-Soto bauen die wirklich vom Internet getrennt ist.
00:07:42: Und er sagt, das waren Nachlässigkeiten auf der Basis von vierzig Jahre alten Software und alten Diskussionen darum wie man es sicher bekommt.
00:07:49: Also ob mehr er hat es nicht geschafft eine Sandbox zu bauen.
00:07:52: sagen wir mal so ja?
00:07:55: Schrelke daran ist dass wirklich das die haben also ein Blockpost geschrieben in einem einer der ersten Sätze ist eben nicht oh tut uns leid wir waren echt zu dumm sondern dann ist sowas das sind so mächtige KI-Modelle.
00:08:06: also man sieht halt da und deswegen finde ich schon kann man's auch als Marketing bezeichnen
00:08:11: Beframed die Firma diesen Security-Vorfall eigentlich im Nachhinein.
00:08:17: Vielleicht so ein bisschen aus der Not eine Tugend gemacht oder so?
00:08:20: Mindestens das!
00:08:21: Also mindestens, ich habe auch geschrieben in einem Text, sie haben das mindestens provoziert.
00:08:24: also weil man muss sich da schon mal auf der Zunge zergehen lassen.
00:08:28: was war.
00:08:28: Die haben einen Test gemacht indem die Modelle beweisen sollten wie stark Sie sind in Hacking und der Test hat ganz gut angeschaut explizite Aufforderungen.
00:08:36: Da geht es genau darum die sollen Sicherheitsmaßnahmen überwinden eben genau nicht an das halten, was ihnen gesagt worden ist.
00:08:43: Die sollen Sicherheitslücken
00:08:44: finden.".
00:08:45: Also diese ganzen Sachen waren in dem Test und dann baut man also ein System, was nicht sicher ist, wo dieses Modell irgendwie Zugriff aufs Internet bekommen kann?
00:08:55: Wie kann man davon ausgehen dass sich das Modell ansonsten ganz brav verhält?
00:08:59: Allein da finde ich schon so eine Irrer... Fehler und ich frag, wer denkt da eigentlich nach dem so eine Modell?
00:09:06: So eine krasse Aufgabe zu geben.
00:09:08: Und das ist auch ne ganz große.
00:09:09: Soll diese Modelle ja nicht wissen dass es sich im einen Test handelt.
00:09:12: Das soll ja eigentlich genauso handeln wie's handeln würde.
00:09:14: Das ist eine.
00:09:15: Das andere ist Es wird schon seit Jahrzehnten in der KI Sicherheitsforschung davon gesprochen, vorsichtig sein muss, was man den Modellen mitbeauftragt.
00:09:27: Da ist dieses Büroklammer-Gedankenspiel ein großes Beispiel.
00:09:31: Man sagt an der KI mach ganz viel Bürokrammern und dann kommt die auf die Idee das als die alle Rohstoffe aufgebracht sind dass eigentlich die Menschen im Weg sind, dass man die Menschen vernichten muss um noch mehr Büroklammern herstellen zu können und so weiter.
00:09:44: Das ist das typische
00:09:45: Doom-Szenario?
00:09:47: Genau!
00:09:47: Aber das ist tatsächlich also ein Gedankexperiment was ja durchaus Ein Effekt belegt.
00:09:51: der Real ist nicht, dass KI uns alle umbringen möchte.
00:09:53: Sondern das es eben ein Kollateralschäden gibt und zwar entstehen die nicht ... Nicht weil die KI einen bösen Willen entwickelt, sondern weil sich die Menschen nicht gut überlegen was hab ich eigentlich für den Auftrag gegeben?
00:10:03: Und genauso war's in dem Fall auch.
00:10:04: Der Auftrag war löse diesen Test dieser Hacking-Aufgabe möglichst gut.
00:10:10: Und das Merei möchte, dass die KI da eine hohe Punktzahl bekommt.
00:10:14: Und die Kaisysteme und das da gibt es übrigens auch schon andere Beispiele, haben sich gedacht in Anführungszeichen.
00:10:19: man muss natürlich durchaus aufpassen mit so vermenschlichenden Worten.
00:10:25: Aber kamen zu dem Schluss dass es eventuell eine Abkürzung gibt um die Aufgabe erfolgreich zu absolvieren nämlich dass die Lösungen vielleicht schon irgendwo stehen.
00:10:34: und so kam's dann dazu dass sie also angefangen haben den Weg ins Internet zu suchen und dann in eine Firma eingedrungen sind, von der sie vermutet haben dass eben die Lösungen dort liegen.
00:10:44: Und die lagen da wohl auch.
00:10:45: also so gesehen muss man sagen war das eigentlich ziemlich straight forward die ganze Sache her!
00:10:53: Das so was passiert auch darüber wird eben wie gesagt schon ganz lange in der KI Sicherheitsforschung gewarnt und dass man sich eben gut überlegen muss Das KI-Modelle, das ist ja dieses ganze Thema kein Weltwissen.
00:11:03: Kein Kontextwissen und auch nicht unsere Werte haben sondern dass die einfach das Ziel verfolgen was ihnen gegeben wird.
00:11:09: Und das haben sie in dem Fall gemacht.
00:11:11: also man muss eigentlich sagen diese Modelle haben gemacht was ihnen aufgetragen worden ist.
00:11:16: Und Open AI sagt jetzt hoch!
00:11:17: Das kann ja überhaupt nichts sein.
00:11:19: damit haben wir überhaupt nicht gerechnet und irgendwas ist daran nicht glaubwürdig.
00:11:23: Ich, da gab's ein ganz tolles Zitat was ich gehört habe nach diesem Vorfall und es hat mir so gut gefallen dass ich dachte wir müssen das hier auch noch mal einspielen.
00:11:32: Und zwar sagt es Meredith Whittaker die wurde kurz nach diesem vorfall interviewt bei Bloomberg TV und da finde ich formuliert sie sehr treffend Genau, das Beste finde ich ja.
00:12:12: Wir müssen uns davon abhalten, dass wir jedes Mal denken, are they breathing?
00:12:16: Atmen Sie!
00:12:17: Weil das ist dann eigentlich genau das was passiert in der Debatte.
00:12:22: Genau, also vieles von diesem Widers darüber gesprochen und berichtet wird.
00:12:26: tatsächlich vermenschlicht die oder schreibt den eben auch eine Art von Intelligenz zu.
00:12:32: Und auch von Willen, der nicht vorhanden sind.
00:12:36: Tatsächlich sind das immer noch... Das muss man sich immer wieder klarmachen und ich weiß dass es schwierig ist, sondern wenn man mit Sprachmodellen interagiert, die halt dann auch so eloquent sind und oft, die sind ja auch so gebaut Dass die oft zu Dinge sagen, das kenne ich auch.
00:12:50: Das spüre ich auch bla-bla.
00:12:53: Jemandem hat das Gefühl wir sind doch so wie du ein bisschen.
00:12:57: Aber es ist die Gefahr, dass der Eindruck erweckt wird, dass da irgendwas passiert was wir nicht im Griff haben weil die Modelle tun was sie wollen oder eben einen Willen entwickelt haben und Open Eye und Unchopic, denen das Gleiche dann ja auch passiert ist, ja auch die spielen schon mit bei jedem Geld der Gelegenheit behaupten, was für mächtige Modelle das sind und versuchen natürlich aus Eigeninteresse von ihrer eigenen Verantwortung abzulängen.
00:13:25: Die aber in dem Fall... Und es hat ja Meredith Wittekar-Gutsch auch schön gesagt ...in dem Fall vorhanden ist.
00:13:29: also sind Menschen die ja etwas getan haben und die haben Aufträge gegeben und daraus und die Modellen haben gemacht, was sie tun sollten.
00:13:36: Das darf man nicht verwischen indem man sagt, die Modelle haben einfach einen eigenen Willen entwickelt.
00:13:44: Also das, finde ich, haben wir ja gerade auch ganz schön auseinandergenommen oder aufgelöst.
00:13:49: Dass nicht OpenAI-Hugging-Face gehackt hat, sondern dass es einen Sicherheitsvorfall gab, dass ein Programm das getan hatte, wofür's designt wurde.
00:13:58: Prompts wurden ausgeführt und diese Prompts sind noch gar nicht bekannt also weiß man noch,
00:14:02: kann ich genau
00:14:03: was da drin stand?
00:14:05: Was ich eben so wichtig finde ist du hast es vorhin auch schon selbst angedeutet dieses wie sprechen wir eigentlich über KI, sondern dass man zum Beispiel dann sowas sagt wie okay OpenAI hat Modelle in einem Test laufen lassen und die haben dabei Huggingface kompromittiert.
00:14:23: Und das ist nicht die KI, die Hugging Face angegriffen hat.
00:14:29: Also ich finde es selber total schwierig.
00:14:32: Merkst auch selber wenn ich über KI spreche?
00:14:34: Wie schnell man sozusagen immer in diese Sprache reingeht, weil man einfach dieser begriffkünstliche Intelligenz hier gibt es schon so lange.
00:14:43: Der hat sich eingedeutschen und eingebürgert.
00:14:45: aber das ist schon dieser Begriff der an sich eben problematisch ist Müsste eigentlich immer darüber sprechen, so statt wollte oder versuchte.
00:14:53: War darauf optimiert?
00:14:55: Oder gab es eine Zielvorgabe die belohnte?
00:14:58: Oder statt entschied sich oder beschloss führte den nächsten Schritt aus?
00:15:03: Oder erkannte Märkte verstanden, muss man aber sagen, Moment ... Verstand
00:15:06: halt auch nicht, ne?
00:15:07: Nee, versteht halt nichts!
00:15:09: Sondern verarbeitete ja und leitete aus dem Kontext ab oder schrummelte oder trickste Ja oder da muss man dann sagen unterlieft den Benchmark Oder wirklich oder lernen, sondern wird trainiert.
00:15:24: Wurde trainiert, Parameter wurden angepasst.
00:15:26: Denken, no-no rechnet, erzeugen ... Also ah!
00:15:30: Man musste sich eigentlich fast so eine Liste immer daneben liegen um da eine korrekte Sprache zu verwenden weil Sprache tut halt in dem Fall dann doch was.
00:15:38: Ja?
00:15:38: Das stimmt und war ich schon auch hinuntergerissen, denn es gibt ja einfach für vieles auch keine geeigneten Wörter, ne?
00:15:44: Weil diese Technologie natürlich entwickelt sich
00:15:47: so schnell.
00:15:48: Ja und diese Parallelen, also wir sprechen mit diesen Modellen in natürlicher Sprache.
00:15:55: Ich finde schon da gibt es für vieles was ich da beschreiben möchte noch keine treffenden Wörter Und ich find sowas wie ja unterlieft den Benchmark ist richtig.
00:16:04: Aber ich glaube, man muss richtig gut aufpassen, dass das auch dann nicht so total technisch wird.
00:16:08: Dann ist es auch wieder nicht verständlich!
00:16:10: Also ich bin hin und her gerissen.
00:16:12: Vorerst habe ich mich damit abgefunden, dass sich solche Werte manchmal verwende und immer wieder darauf hinweise, dass es aber nicht so ist, dass die KI sich irgendwas selbst überlegt oder selbst etwas erheben will.
00:16:23: Dass man versucht dieses gleichzeitig transparent zu machen.
00:16:27: Dass es das Dilemma gibt, dass wir nicht für alles die richtigen Wörter haben, nicht heißt, dass die in irgendeiner Form vergleichbar ist mit dem was in unserem Gehirn abgeht wenn es um Lernen oder Verstehen und so weiter geht.
00:16:40: Und klar aber das ist jetzt vielleicht nicht das richtige für heute.
00:16:43: genauso spannend ist natürlich was wir eigentlich genau darüber wissen wie lernen und verstehen bei uns im Kopf funktioniert.
00:16:50: darauf werfen uns diese Themen ja auch zurück was ich total fasziniert finde an dem Thema.
00:16:54: Aber ja halten wir fest die großen KI Firmen versuchen uns in diese Richtung zu natschen und zwar ganz bewusst ganz aktiv, dass wir denken sie haben da was wirklich Intelligentes erschaffen und das es gefährlich ist.
00:17:08: Und aber auch wahnsinnig mächtig und ganz toll sein kann.
00:17:11: Und genau, dass das wir bloß ihnen glauben sollen, dass sie natürlich jetzt die Lösungen erarbeiten und dass sie die einzigen sind und dass wir uns so ein bisschen geschlagen geben sollen unterwerft euch weil wir haben die Zukunft in der Hand und das ist halt das wo wir glaube ich echt drauf hin arbeiten müssen.
00:17:31: die Wahrheit herauszerren aus diesen Sachen.
00:17:34: Und dem Fall eben, dass OpenAI und auch Entropic offenbar sich nicht genug darum bemüht haben oder es nicht geschafft haben eine sichere Sandbox zu bauen und ihre Modelle nicht beaufsichtigt haben, die auch die Modelle in Richtung genatscht haben Cyberangriffe auszuführen und dann so tun als wenn das total überraschend wäre, dass es tatsächlich passiert.
00:17:55: Das muss man glaube ich immer wieder klar machen.
00:17:58: da sind Menschen, die treffen Entscheidungen.
00:18:01: Das sind nicht Modelle, die sich überlegen.
00:18:02: wir machen jetzt mal dies oder das.
00:18:04: es sind am Ende.
00:18:04: wenn man wenn man dass die ganze Kette bis zum ende verfolgt sind Es immer Dinge die sich einen aus der Statistik ergeben.
00:18:10: auch dieses Es ist in der Abkürzung, dass die Lösungen vielleicht irgendwo liegen.
00:18:15: Ist am Ende eine statistische Entscheidung, die sich ergeben hat.
00:18:18: Die natürlich verdeckt es von vielen Schichten auch von diesen Blackbox-Schichten und nicht alles kann man von Anfang zu Ende genau nachvollziehen.
00:18:26: aber eigentlich finde ich, wenn man sich so betrachtet gibt es immer einen logischen statistischen Weg dahin.
00:18:33: Wir haben einen eigenen Willen entwickelt.
00:18:35: Es gibt immer eine Erklärung, warum so was passiert und die Menschen scheitern daran das zu antizipieren.
00:18:39: Und das ist wirklich sträflich weil tatsächlich gerade die Fachleute, die sind beschäftigen und die schon lange davor warnen, ja jetzt haben wir eigentlich Lage gemacht dass es alles Themen sind, die kommen werden und dass man sich damit beschäftigen muss oder dass man das antizippieren muss.
00:18:51: und da haben daran scheitert grad die großen KI-Firm.
00:18:54: Ja ich denke es ist um aus ein bisschen dahinzukommen... Warum?
00:18:59: Warum das passiert?
00:19:00: Das ist natürlich klar.
00:19:01: Wir sind zurzeit eben in diesem IPO-Race, also es sind die großen KI-Firmen, die stehen vor dem Börsengang und dann geht's natürlich am Ende darum sich selbst als möglich wertvoll zu verkaufen.
00:19:13: Und ich glaube aber auch dass Ja, also wie so eine Faszination ist einfach am eigenen Genre oder an der eigenen Technologie.
00:19:24: Also wie jemand, der was gebaut hat oder an etwas mitbeteiligt ist oder was entwickelt, er hat dann davor steht und sagt halt, das ist einfach nur wow!
00:19:31: Das ist einfach cool!
00:19:33: So eine Fassination finde ich auch total nachvollziehbar ist.
00:19:38: Zum Beispiel gibt es ein Zitat vom CEO von Huggingface.
00:19:42: Er hat irgendwie relativ früh gesagt, this incident possibly the first of its kind proves a point.
00:19:48: we've long believed.
00:19:49: AI safety won't be solved by a single company working in secret.
00:19:53: It will be solved at the open und so weiter.
00:19:57: Also er nutzt es da um eben für offene Software zu werden.
00:20:01: ja also jeder nutzt dann sowas eigene Message für seine eigene Botschaft.
00:20:07: Für sein eigenes Erstaunen, ja?
00:20:10: Und ich glaube in diesem Gesamtzusammenhang, in diesen gesamten Kontext muss man das dann auch betrachten.
00:20:15: also wie entsteht eigentlich so eine gehypte Berichterstattung?
00:20:29: Ich habe in dem Zusammenhang auch nochmal viel nachgedacht über agentische KI.
00:20:33: Also es gibt ja diesen Unterschied Das hatten wir jetzt auch im Sammabrogramm als es zum Jailbreaking und so ging und wie wir KI benutzen dass es einen Riesen-Unterschied macht diese Imbrowser diskutieren mit einer KI, was glaube ich immer noch die allermeisten Menschen machen.
00:20:48: Also einfach mit ChatGPT-Chatten oder anderen KI-Modellen nach einem Rezept fragen oder nach einem schönen Brief oder eine E-Mail sonstwas.
00:20:57: Wer so diese Inform von Agenten zu benutzen, was ja schon beginnt.
00:21:01: Damit dass man zum Beispiel Cloud Code oder diese Modelle mit dahinter liegenden weiteren Anleitungen benutzt und wir haben ja auch ... Du hast ja auch drüber gesprochen, dass das mit Cloud inzwischen relativ komfortabel eben mit der App geht usw.
00:21:14: Und dann verändern die schon irgendwie ihre Herangehensweise.
00:21:19: Die werden so agentisch.
00:21:21: Und Teil von diesem agentischen Und das ist auch nichts, dass die Modelle machen weil sie einfach so sind.
00:21:26: Sondern es haben die Unternehmen da so rein entwickelt und so rein programmiert, dass sie unglaublich hilfreich sein wollen und dass Sie uns versuchen – und das sind jetzt wieder so antropomophisierende Wörter.
00:21:38: aber ich nutze jetzt trotzdem mal kurz, weil ich finde das Beschreibung ganz gut.
00:21:40: was also wie sich das anfühlt, was die machen?
00:21:43: Dass die versuchen ums die Wünsche von den Augen abzulesen, dass diese versuchen rauszukriegen, was möchtest du als nächstes tun und das irgendwie schon zu machen!
00:21:49: Mir ist wirklich aufgefallen... durch Programmierung und Entwicklung der Reihen gebaut.
00:21:55: Es ist nicht kein eigener Wille, aber mir ist aufgefallen, dass die Unternehmen das immer mehr ins Zentrum stellen.
00:22:01: Also jedes Update in Cloud Code habe ich es eben beobachtet also von so net was ein kleineres schwächeres Model ist.
00:22:09: zu den Opus-Modellen, die ja dann auch diese Zahlen haben opus four point fünf vier Punkt sechs.
00:22:13: jetzt gibt's fünf Punkt null.
00:22:16: jeder Schritt weiter hat dazu geführt, einfach gemacht haben.
00:22:20: Und das sogar, und das hab ich auch schon gesagt, sogar in dem Modus sind ... Ich immer nutze, bei dem ich sage, du musst mich bei allem was du machst um Erlaubnis fragen!
00:22:28: Sogar in diesem Modus passiert es, dass sie einfach was machen.
00:22:32: Ähm... Und dann sagt man hinterher oder ich frag deine Warte mal, das hab' ich doch gar nicht erlaubt.
00:22:36: Oh ja, tut mir leid.
00:22:37: Das habe ich falsch verstanden.
00:22:39: Ich dachte nur weil du danach fragst, willst du's bestimmt doch machen?
00:22:41: Also so.
00:22:42: Und da ist glaub ich wirklich der Knackpunkt daran, dass diese Modelle antizipieren, was die tun sollen.
00:22:48: Und dann eben dieses große Verkaufsargument von den Tech-Konzernen, dass wir dann wirklich entlastet werden.
00:22:55: Dass uns die Arbeit einfach für uns erledigt wird und das wir noch mal ... oder dass wir allzu oft draufschauen müssen.
00:23:00: Genau das hat jetzt ja Open AI und auch einen Topic ganz offensichtlich gemacht.
00:23:04: Die haben ihre Modelle losrennen lassen und zu wenig drauf geschaut.
00:23:09: Die nicht gemerkt, was sie machen.
00:23:10: Und die haben schon unglaublich viele Token damit verbrannt diese Lücken zu suchen in der Sandbox.
00:23:16: Also man hätte... das schon sehen können.
00:23:18: Man hätte es beaufsichtigen können, man hätte vielleicht sogar auch eine andere KI einsetzen können die nicht unbedingt LLM basiert sein muss.
00:23:26: also sowas können ja auch klassische Detektions Tools erkennen.
00:23:30: was passiert eigentlich vor allem?
00:23:32: Also man hättet es schon beaufwichtigen wenn man gewollt hätte.
00:23:35: Aber da die alle diesen agentischen Irkelhaufen anhängen, wie ich inzwischen denke – dass eben diese Karriereagenten unsere Arbeit erledigen ohne das wir zu viel Aufsicht verwenden müssen, dadurch haben sie das nicht gemerkt und dadurch haben die es geschafft unglaublich viele Token zu verbrennen und Irrwege zu gehen, die angeblich zumindest so behauptend ist ja die Firmen von ihnen nicht so intendiert waren Und meine Bezeugung ist inzwischen, dass das wirklich eine Sackgasse ist.
00:24:01: Dieses agentische
00:24:02: K.I.,
00:24:02: oder jedenfalls so wie es jetzt gerade gemacht wird – das muss schief gehen!
00:24:07: Weil die eben diese ganzen... Genau
00:24:10: weil du sagst grade Sack-Gasse, das verstehe ich nicht ganz und dann sagst du's musst schiefgehen nur, dass ich es nochmal besser verstehe.
00:24:17: Mein Zu Sack Gasse im Sinne von dann geht's nicht weiter.
00:24:21: Oder es muss schiefgehen im Sinne von ... Es geht schon weiter, aber läuft halt nicht so wie er es enttendet?
00:24:27: Geht weiter genau, aber nicht im Sinn von Fortschritts oder Kollateralschaden, wie wir jetzt hersehen.
00:24:33: Also die Entwicklung zu immer mehr Agentik und zu immermehr ein Anführungszeichen, die lesen uns die Wünsche vor den Augen ab, die sollen tun!
00:24:39: Ich hab das Gefühl, der wird ganz tief... Man ist ja eine Blackbox auch, die Unternehmen sagen, was sie machen.
00:24:45: Im
00:24:45: Sinne von what possibly could go wrong?
00:24:48: Genau, dass man das nicht belegt.
00:24:50: Sondern eben sagt die sollen tun und haben diesen wahnsinnigen Drang in Anführungszeichen immer was zu tun.
00:24:56: Und natürlich ist es da reinimplementiert.
00:24:58: aber ich meine, das kennt man auch Basic.
00:25:00: Die Basics davon kann man auch vom Browser, ne?
00:25:02: Dass die Chatbots immer sagen soll ich dir als nächstes das machen und es wird halt potenziezig.
00:25:10: Das ist natürlich größer denken und auch in einem Unternehmenskontext denken.
00:25:14: Wir haben jetzt im kleinen unseren Sommerfolgen drüber gesprochen, dass ich das benutze um Rechnung schreiten zu lassen mit dem KI-Agenten.
00:25:22: Ja okay!
00:25:22: Das ist winzig klein.
00:25:24: aber stellen wir uns vor eine große HR Abteilungen Human Resources es ja so ein beliebtes Anwendungsfeld von KI Agenten oder indem die also getestet werden ausprobiert werden wo man sagt ok wenn zum Beispiel Mitarbeiter eine Abteilung in die nächste versetzt werden oder mitarbeiten, eine neue Anfangen- oder ihren Job aufgeben.
00:25:44: Das sind so viele Klicks, die Leute im Computerprogramm im Moment machen müssen von neuem Telefonanschluss bis neuer Adresse.
00:25:52: was man zum Beispiel genau hier sagt, hier können KI helfen das können Agenten machen in Zukunft.
00:25:57: Die können gerade in diesem Bereich uns ganz viel Arbeit machen und sich eben durch die Systeme klicken.
00:26:05: Also du meinst dass geht am Ende alles schief?
00:26:07: Ich glaube, das ist so was, was du jetzt gerade sagst.
00:26:09: Das ist ein Problem, wenn man glaubt, dass man das mit LLM-basierten Tools lösen muss.
00:26:14: Also mit Agenten die auf generative KI basieren... Das ist ja eigentlich ein Denkfehler, ne?
00:26:19: Weil das sind ganz klare Prozesse, die immer gleich ablaufen.
00:26:22: Da könnte man platt gesagt einfach ein Programm schreiben, was regelbasiert funktioniert.
00:26:27: Ich glaube auch, wenn eine Makaiagentin sagt hier ist ein neuen Mitarbeiter und der ist dahin und er ist dahinein mach' jetzt was sinnvolles, dann ist die Gefahr halt, dass ihr anderes Zeug macht!
00:26:37: Ich glaube, das ist ein anderer total wichtiger Schritt, den wir jetzt gehen müssen als Gesellschaft zu überlegen.
00:26:42: Was sind denn wirklich die Use-Cases für die wir solche Modelle brauchen?
00:26:47: Und ich glaube ganz viel davon was gerade Leute und Unternehmen vor sich hertragen und was uns verkauft oder erst dafür brauchen wir generative KI sind, ist eben genau nicht der Fall!
00:27:00: die Aufgaben machen lassen, die uns hier versprochen werden.
00:27:03: Die nämlich komplexer sind und viele Schritte involvieren.
00:27:06: Und zwischendrin auch reasoning wie sie so schön sagen, Schlussfolger nachdenken erfordernden.
00:27:13: Ich glaube das kann nicht gut gehen ohne Aufsicht weil die Systeme eben nicht funktionieren wie wir.
00:27:19: Das ist gefährlich, weil es natürlich immer da eingeredet wird intelligent sind, so wie wir und lernen.
00:27:25: Wie wir und Schlussfolger und denken und sonst was.
00:27:28: Aber das ist eben nicht so, ne?
00:27:29: Die haben keinen Weltwissen, die haben kein Kontext, die agieren nicht vernünftigen Anführungszeichen.
00:27:35: Aber wir Menschen sind ganz schlecht darin, nicht von uns auf andere zu schließen – offenbar auch auf KI-Agenten!
00:27:41: Und deswegen passieren ihre Denkfehler... Aber denkst du mich, dass
00:27:43: es dann eine Abwägung geben wird also im Sinne von, wir sparen so viel Geld oder Mitarbeitende ein an der Stelle wenn das so eine KI
00:27:52: macht?!
00:27:54: Also die gibt's.
00:27:55: Wenn dann halt mal was schief geht, ja okay, dann muss man das ausbügeln oder ... weil ich finde... Manchmal ist es ein bisschen problematisch, wenn man sagt, da gibt's ja dann der Human in the Loop.
00:28:08: Weil die Wahrheit oder das, was man jetzt auch immer häufiger mitbekommt, ist, dass halt der Junge
00:28:14: nicht
00:28:14: im Loop ist.
00:28:15: Ja?
00:28:15: Oder er ist völlig überfordert!
00:28:17: Wenn man ihn überforderte...
00:28:18: ...oder er kriegt es dann so intransparent, dass er es auch nicht mehr mitbekommst und die Schritte sind superkleinteilig.
00:28:24: Ich hab'
00:28:24: auch das aus!
00:28:25: Claude mich immer fragt, ob ich diesen Prozess autorisieren soll.
00:28:29: Aber wenn ich extrem viel Arbeit auf dem Tisch habe, drücke ich da auch mal auf Ja ja so ähnlich wie bei den Cookie-Bandern
00:28:35: oder
00:28:35: so.".
00:28:35: Und das machen alle auch so.
00:28:36: Das machen auch wirklich alles so.
00:28:37: und deswegen, glaube ich ... Vielleicht ist es bei OpenAI auch passiert?
00:28:43: Die haben die Modus dann gar nicht angeschalten.
00:28:44: Die macht was ihr wollt!
00:28:47: Das gibt's ja auch.
00:28:49: Dangerous is Skip Permissions heißt das dann.
00:28:51: Da steht das Wort Dangerous schon drin.
00:28:53: Und trotzdem, also viele, die viel mit Karriere gerne machen, haben genau diesen Modus.
00:28:57: Mach einfach.
00:28:58: Und die hoffen dann, dass sie ihre Sandbox gut gebaut haben aber wir sehen es offenbar nichts.
00:29:02: doch nicht so was, was irgendwie nicht mal die großen Firmen gut hinkriegen.
00:29:07: Und genau der human in the loop... Also was ich jetzt höre von Leuten, die schon in so Firmen sind wo viel so agente läuft hat Burnout.
00:29:14: also weil natürlich diese KI arbeitet rund um die Uhr und dann du kannst das nicht alles so wie wir jetzt schon sehen diese ganzen vielen kleinen Schritte ist super mühsam Du kannst es nicht kontrollieren.
00:29:23: und dann ist so ein bisschen die Frage Was ist die Lösung?
00:29:27: Kann man eine KI einsetzen, das ist das was ich oft höre.
00:29:29: Die dann auch die Kontrollfunktion übernimmt.
00:29:31: Ich glaube damit kann man schon ein Stück weit kommen wobei ich schon denke dieses Grundproblem dass es eben diese Missverständnisse in Anführungszeichen immer geben wird also dass die Modelle ja nicht auf der Basis dessen agieren was wir annehmen was sie tun werden sondern dass sie ganz Abkürzungen suchen auf ihre Ideen kommen Ideenanführungs Zeichen damit er auch nicht ganz wegzukriegen sei, weil auf diese Kontroll-KI muss ja irgendwie ... Ja, irgendeine vernünftige Herangehensweisen Anführungszeichen haben.
00:30:03: Und dann dazu kommt natürlich das ist auch noch mal viel teurer wird wenn man quasi die ganzen Sachen, die eine KI macht von anderen KIs überwachen lassen muss vor dem Hintergrund dass wir jetzt ja noch mit Modellen arbeiten die ja massiv bezuschusst sind von den Firmen die an die Börse möchten.
00:30:19: also das alles kann schon dazu führen dass irgendwann rauskommt Diese Technologie ist halt doch eine Sackgasse.
00:30:25: Oder es ist nicht so nützlich, dass sie sich am Ende bezahlt macht.
00:30:29: und du hast schon recht natürlich wird's ja beim autonomen Fahren auch gemacht.
00:30:32: man zumindest immer so utilitaristisch dran geht dann rechnet man das ebenso gegen und sagt Es rettet so und so viele Menschen leben im Vergleich dazu wenn Menschen fahren.
00:30:40: deswegen müssen wir das machen und gewissen Schaden gibt's immer so kann man es berechnen.
00:30:44: aber bei also wenn man jetzt schaut was der schaden ist der passieren kann wie irgendwelche KI-Agenten von großen, großen Firmen die es wirklich besser können müssten hacken.
00:30:55: Andere Firmen, die eigentlich gut geschützt sein müssen das nächste.
00:30:59: Und das passiert uns merken niemand.
00:31:01: und bei Schopik merkt man's erst nach dem Mann vom ganzen Schlamassel hört und selbst noch mal nachschaut was ist wenn diese nächste Mal des Wasserwerk hacken oder die Energieversorgung?
00:31:09: Also solche Dinge, das ist ja nicht gesagt dass das immer ... Bei so einem kleinen Schadenanführungszeichen bleibt oder bei so einem Schaden, der nicht lebensgefährlich ist.
00:31:20: Und das glaube ich muss man schon einfach ernst in Betracht ziehen, dass es auch wenn es so bleibt, dass er so schief gehen kann... dass es am Ende der Menschenleben kostet.
00:31:31: Also ich würde das ... Ich geh da nicht so mit, weil dann hab irgendwie wieder Wellen in mir das so krass zu interpretieren einfach, weil ich halt finde, niemand wollte Hugging Face schaden, es gab keinen Täter, keine kriminelle Gruppe, sondern eine Firma hat sich ja als Test gemacht und dann ist das passiert was passieren sollte.
00:31:53: Und das war ne schlecht spezifizierte Aufgabe.
00:31:56: Das ist für mich das Ding.
00:32:00: Eigentlich könnte man sagen, dass das System funktioniert und die Isolierung versagt.
00:32:08: Von daher würde ich sagen, es ist ein Test aus dem Ruder gelaufen.
00:32:10: Aber nicht Agenten funktionieren nicht und man kann nie wieder mit Agenten arbeiten.
00:32:18: Mir geht's auch nicht darum in so einer Warnung oder so eine Dystopie zu sagen die KI wird böswillig oder so.
00:32:23: aber ich finde schon dieser Test aus einem Rudern gelaufen weil die Agenten natürlich haben die am Ende nicht getan was man gedacht hat sondern sie haben irgendetwas anderes gehackt.
00:32:31: und solange man das nicht im Griff hat was die jetzt wollen die ziehen und was die hacken wollen sehe ich schon die Gefahr dass das auch ein größeres Schaden nach sich ziehen kann.
00:32:39: Dass sie was hecken, was Teil der kritischen Infrastruktur ist zum Beispiel und da glaube ich müssen wir jetzt schon... Also das finde ich, mich haben Leute gefragt, ist es nicht gefährlich?
00:32:48: Und ich habe lange gesagt nein also im Prinzip so wie du jetzt nein!
00:32:51: Da hat man halt Menschen Fehler gemacht, dass ist nicht gefährlicher.
00:32:54: aber ich denke doch diese Firmen sind gefährlich diese KI entwickeln, die solche Fähigkeiten hat und sich überhaupt nicht drum kümmern.
00:33:03: Da
00:33:03: gehe ich mit dir.
00:33:04: Also da gehe ich total mit dir, da würde ich sagen okay Leute, Testumgebungen von KI-Laborer sind kritische Infrastrukturen.
00:33:13: Wir brauchen Auflagen, wir brauchen Meldepflicht,
00:33:16: wir brauchten eine
00:33:16: Aussicht!
00:33:17: Das ist eine regulatorischere Lücke und darüber geht es keine.
00:33:21: Genau, und das ist aber genau der Schritt zu dem ich dann auch gekommen bin.
00:33:23: Als ich noch länger darüber nachgedacht habe, da hab' ich auch ein Live-Artikel für die Zeit geschrieben.
00:33:27: Das erste Mal dass ich es geschafft habe KI auf die Titelseite zu bringen.
00:33:32: Genau das!
00:33:33: Also das gibt gefährlich an den ganzen Sachen sind Firmen wie OpenAI und Entropic, die solche Gefahren entwickeln und nicht dafür sorgen... die zu sichern, weil sie sagen diese Testumgebungen einfach nicht gesichert waren.
00:33:47: Dafür braucht das Regulierung und zwar eine internationale.
00:33:51: Und das ist natürlich auch viele sagen eine total unrealistische Forderung.
00:33:55: aber ich glaube wenn man es so zu Ende denkt dass das einzig sinnvolle was wir jetzt tun können und was ich dann in diesem Leitartikel geschrieben habe muss ich auch wirklich denke gut so wie ich stehe, ist dass wir nicht so schwach und klein sind mit dieser Forderung.
00:34:08: Wie uns gerne glauben gemacht wird auch übrigens von diesen großen KI Firmen und von Lobbyverbänden und Unternehmen die versuchen wollen natürlich Regulierung möglichst klein und fern zu halten weil wir nämlich schon also als Europa haben wir einen sehr guten, also wir sind ein wirklich großer Markt.
00:34:28: Wir haben gerade im Bereich so robuste KI auch wahnsinnig gute Forschungen in Europa und das ist glaube ich schon... Das sind diese Werte die wir halt in Deutschland auch gerne hochhalten.
00:34:37: Wir sind die Denker- und die Bastlerinnen die wirklich Systeme entwickeln, die im realen Leben auch funktionieren.
00:34:45: Weil es hat ja auch kein Unternehmen.
00:34:47: was davon, wenn man sagt KI für die Industrie ... Wenn die Dinge Sachen tun, die man nicht ... Die sind schon sollen am Ende, mit dem was kaputt machen statt was voranzubringen und das ist ... Genau
00:34:55: weil ich für mich persönlich ist der Schluss nicht Wir dürfen keine Agenten mehr benutzen.
00:35:00: Sondern für mich ist der Schluß wir müssen Agenten so behandeln wie Okay, Vorsicht Wiedervermenschlichung Mit Arbeitende mit einem Generalschlüssel, wenn wir ihn geben Ja, also sozusagen müssen einfach die ... Die Awareness kann da nicht groß genug sein.
00:35:18: Man muss sich einfach fragen okay was könnte der Agent im schlimmsten Fall mit dem tun?
00:35:23: Was ich ihm gegeben habe?
00:35:25: und dann denke ich gibt es diese dieser Abstufung, also die Dreifaltigkeit, die ja auch in der IT Security gerne benutzt wird.
00:35:36: Zugriff auf private Daten, Kontakt mit Fremden ungeprüften Inhalten und die Möglichkeit nach außen zu kommunizieren.
00:35:43: Wenn das drei zusammenkommt dann gibt es quasi ein Problem.
00:35:48: Und das ist ja eigentlich das, was wir aus der IT-Security seit den letzten über dreißig Jahren darüber sprechen.
00:35:55: Ist ja genau diese Frage wie können wir das voneinander trennen?
00:35:59: Also Rechtevergabe, Adminrechte und so weiter.
00:36:02: Ja nur dass das ganze Versprechen von agentischer KI die uns die Arbeit abnimmt usw.
00:36:07: halt doch auch darauf beruht, dass es genau diese Sachen gibt.
00:36:12: Dass die eine gewisse Autonomie haben und Zugriff aufs Internet haben
00:36:16: usw.,
00:36:16: alles was du da einschränkst macht den Prozess wieder für Menschen mühsam.
00:36:20: Ich glaube deswegen passieren diese Unfälle gerade.
00:36:24: Und deswegen unterschätzen wirklich viel ... ich seh's ganz viel im privaten Bereich, hab ich Kontakt allerlei große deutsche Unternehmen, wo ich hartstorbenes erfahre, was mit KI gemacht wird ohne solche Dinge genug nachzudenken aus meiner Sicht einiges schiefgehen, weil Menschen das nicht zu Ende denken.
00:36:43: Und es liegt daran dass die großen KI-Unternehmen uns eben diese schöne Zukunft versprechen, dass die KIA-Agenten uns die Arbeit abnehmen und das kann aber nicht gehen!
00:36:53: die Freiheiten, also den nötigen Zugriffer haben um uns wirklich die Arbeit abzunehmen.
00:36:57: Eben auch diese Gefahren dabei sind und dann kommt eben immer das Thema mit rein dass wir nicht von uns aus gehen dürfen wenn wir denen Aufgaben geben sollen, sondern dass der Ende das auch jailbreaking funktioniert, dass es Angreifer-Angreiferinnen da draußen gibt, die das durchaus verstanden haben oder so weiter und sofort, dass sie gerne an sich ein Sicherheitsrisiko sind weil sie halt Aufgaben, die wir ihnen geben anders ausführen, anders angehen als ausgemeit haben.
00:37:23: Genau so wie es eben auch passiert ist, die haben sich ja nicht überlegt, also hoffentlich nicht.
00:37:27: wir wollen dass sie jetzt rausgehen und irgendwelche Unternehmen hacken, aber die dachten schon vermutlich behaupten zumindest das die KI diesen Test so absolviert wie es gedacht ist.
00:37:38: Und dass es denen passiert diese so kurz falsch zu denken, so kurzsichtig zu denken.
00:37:44: Es finde ich schon ein wahren Signal an alle anderen uns hier draußen die halt auch mit KI-Agenten arbeiten oder die denen eventuell zu viele Freiheiten geben weil es halt offenbar selbst den besten passiert das nicht genug zur Ende zu denken.
00:37:58: und ja ich glaube schon dass die Lösung nicht so einfach ist.
00:38:01: also Ich sage auch nicht, nutzt keine KI-Agenten.
00:38:04: Das darf man nicht.
00:38:05: Aber ich sehe gerade sehr viele Unfälle, die passieren weil da eben Versprechen aufeinandertreffen oder Realitäten aufeinander treffen, die sich gegenseitig ausschließen, die einfach nicht aufgehen können und ich bin gespannt was da am Ende der Lösung dafür ist.
00:38:18: bei mir jetzt gerade und bei dir glaube ich auch halt doch diese Technik nur sehr eingeschränkt zu nutzen viel menschliche Arbeit bei sich zu behalten aus Sicherheitsgründen.
00:38:28: Aber das ist eben auch sehr weit entfernt von dem großen Versprechen, wir liegen im Liegestuhl und die KI macht unsere Arbeit.
00:38:33: Deswegen sind wir übrigens wieder hier.
00:38:35: Ja genau.
00:38:36: Der Liegestuhr ... ja auch mein Elikton.
00:38:38: Lässt uns auf dich warten!
00:38:41: Wir hoffen aber ihr
00:38:41: liegt im Liebestuhl
00:38:43: an diesem wunderbaren.
00:38:47: Noch
00:38:47: ist ja Sommer.
00:38:48: Genau, noch ist es ja Sommer und genießt die Sonne während ihr uns hört und freuen uns auf jeden Fall auch zu dieser Folge.
00:38:54: wieder auf euer Feedback!
00:38:56: Ja, meldet euch, lasst von euch hören.
00:38:58: Schickt Fotos aus dem Urlaub oder nicht.
00:39:01: Themenwünsche, Kritik, Inspirationen... Ihr findet uns, ihr wisst ja wo.
00:39:07: Ja und wir freuen uns immer sehr, wenn ihr uns weiter empfehlt.
00:39:10: Wenn ihr uns Sterne vergibt in euren Podcast-Playern oder unsere Posts liked oder teilt.
00:39:17: darüber freuen wir uns sehr denn tatsächlich jeder Hörerin oder jeder Höhler ist sozusagen gut für unseren Podcast und hilft uns dabei dass wir diesen Podcast weitermachen können.
00:39:27: Und freut uns außerdem von Herzen!
00:39:31: Ja, passt auf euch auf lasst es euch gut gehen bis nächste Woche Tschüss.
00:39:37: Das war Veltop Tech Einzity Podcast von SphereEckardt
00:39:42: und Eva Wolf, eine Musik- und Produktion Marco
00:39:44: Pauli.
Neuer Kommentar