Teure KI und Schwachstellen-Hype - mit Cybersicherheitsforscherin Haya Schulmann

00:00:15: Hallo und herzlich willkommen zu

00:00:18: The

00:00:19: Talk Tech Ein-CT Podcast.

00:00:21: Ich bin Svereika Tech-Journalistin

00:00:23: Und ich bin Eva Rolf Angel, ebenfalls Tech Journalistin.

00:00:27: Schön, dass ihr wieder eingeschaltet habt.

00:00:28: Dass ihr da seid wie jeden Mittwoch und für mich verging irgendwie diese Zeit besonders kurz, liebe Eva weil ich hab dich ja abonniert auf LinkedIn und das hat die ganze Zeit Ding-Ding-Dingo gemacht und ich hatte das Gefühl du begleitst mich durch die ganze Woche weil Du hast mich gemenschend in einem Artikel der sehr viele Kommentare verursacht hat.

00:00:49: man könnte fast sagen wir reingegangen in unseren kleinen Dimensionen

00:00:52: Für meine Verhältnisse schon mein Linken ist nicht so erfolgreich.

00:00:58: Sag doch mal ganz kurz, was hast du gepostet und was ist danach passiert?

00:01:03: Ja das ist ein bisschen lustig.

00:01:04: Weil ich war ja im Plus-Minus-Podcast sogar aus der ARD, so einen Wirtschaftspodcast und die haben mich eingeladen zum Thema KI-Agenten weil alle sagen KI Agenten verändern alles und sie haben gesagt wir würden gerne darüber reden mit dir was sich wirklich verändert was für Potenzialer es Und darin habe ich viele schlaue Dinge gesagt, ihr könnt ihn auch verlinken.

00:01:24: Dann hat aber die Idee zwei Zitat-Kacheln gebastelt für Social Media und ich mache das sonst nie, dass hier so Bilder ein Foto von mir und darauf ein Zitat von mir.

00:01:32: So was macht man ja selbst nicht?

00:01:34: Aber das hab' ich dann also gepostet weil es ja auch schön ist und Alter schon da war!

00:01:38: Bei einem Einzitat lautet offenbar, was ich oft mal gesagt habe, günstiger wird KI vermutlich nicht.

00:01:43: Das übrigens die große Falle, wo wir jetzt gerade stehen, dass KI nicht so billig ist wie es jetzt gerade wirkt.

00:01:49: Und das funktioniert nur, weil die Firmen und Investoren es gerade noch massiv bezuschussen.

00:01:55: Das hat mich unter anderem erinnert – so kam dein Name in diesen Posts und ich fiel Notifications zu dir!

00:02:01: Also an verschiedenen Folgen unseres Podcasts unter anderem aber vor allem auch an denen mit Friderick Kallthäuser, die nämlich diesen Gedanken in meinen Kopf gebracht hat vor ein paar Monaten zum allerersten Mal.

00:02:13: Nämlich der Gedanke und den habe ich seit er immer wieder überprüft – und ich glaube, der stimmt immer noch -, dass KI-Konzerne also OpenAI oder einfach Google oder Microsoft mit ihren großen Sprachmodellen und KI-Anwendungen gerade kein Geld verdienen, sondern da Geld reinbuttern.

00:02:30: Weil es eigentlich viel, viel teurer ist diese KI zu betreiben als sie weitergeben an Kosten.

00:02:35: Das heißt die Leben von Investoren.

00:02:37: Genau vielleicht einmal ein bisschen die Zahlen für den Back... Open AI

00:02:41: z.B.,

00:02:42: wird dieses Jahr voraussichtlich vierzehn Milliarden US-Dollar verbrennen, das heißt also jeder API Call, jede Anfrage an die KI, die wir für Cent Bruchteile kaufen, wird im Prinzip gerade von Investoren subventioniert.

00:02:57: Das ist genau das was du damit sagen wolltest.

00:02:59: Genau und meine große Sorge ist – und das finde ich bisher völlig unterschätzt auch von den deutschen Unternehmen -, dass die ja irgendwann realistische Preise verlangen werden.

00:03:10: Das geht ja auch schon los.

00:03:13: Ich finde, ich merke das auch.

00:03:14: Also ich mache ein bisschen was mit Cloud Code und man merkt dass man viel schneller in die Grenze kommt also viel schneller kommt dieses du kannst jetzt nicht weiter machen warten paar Stunden oder war sogar bis zum nächsten Tageabjahr.

00:03:26: also dass man eben gut ich habe nur dieses zwanzig Dollar Abo weil es natürlich mein Beruf ist zu programmieren aber also auch für dieses ein bisschen Ruhm experimentieren was man so als Journalist den nebenbei vielleicht macht merkt man finde die Kosten steigen oder dass die Grenzen eben schneller kommen.

00:03:41: Und Leute unternehmen bauen ganz, ganz viele Anwendungen gerade auf KI auf.

00:03:45: Ich habe ja verschiedenste Freundinnen und Kontakte, die bei großen deutschen Unternehmen arbeiten.

00:03:49: Die sagen alle Ja hier die Ansage ist nutzt KI wo immer es geht baut.

00:03:54: wir bauen alles um Cloud Code oder Microsoft Copilot und alle anderen sind bei uns tief in den Systemen drin.

00:04:00: Wir können auch nicht mehr zurück.

00:04:01: also und dabei wird halt Manche sagen dann, wir müssen aber im Auge behalten.

00:04:07: Dass wir abhängig sind und dass wenn die Kosten steigen das Rechnung noch mal ganz neu gemacht werden muss?

00:04:13: Und es wird einfach ignoriert so, das wird schon gut gehen!

00:04:16: Aber die Kosten werden ja massiv steigen müssen, wenn sich das tragen will.

00:04:19: Genau also beide auf dem AI und Anthropic werden ja voraussichtlich an die Börse gehen?

00:04:24: Das ist ja das was ansteht worauf alle warten.

00:04:27: Und dann kommt sozusagen dieser Punkt wann eben öffentliche Investoren mit einsteigen Gewinnwachstum verlangen.

00:04:36: Und dann werden wahrscheinlich die LLM-Unternehmen ihre Preise erhöhen müssen, da gibt es so Schätzungen von zwölf bis vierundzwanzig Monaten bis zur Preiskorrektur nach oben.

00:04:47: ja keine Ahnung.

00:04:47: also auch Kaffeesatz lesen aber das ist so was man weiß denn das ganze Modell ist ja vertraut oder bekannt.

00:04:55: also wird so das Uweprinzip genannt.

00:04:58: also das heißt erst mal subventionieren reinbuttern den Markt einnehmen dann rausfinden, wie man Geld verdient.

00:05:05: Also erst günstige Überfahrten anbieten und dann Preiserhöhungen sobald die Konkurrenz plattgemacht ist.

00:05:11: Und jetzt einfach genau die Frage läuft bei KI gerade dasselbe nur größer?

00:05:15: Was ich noch zu bedenken gebe Eva, wenn man sich zur Entwicklung anguckt der tokenpreise also der preise für die KI, dann ist es ja doch aber auch rapide nach unten gegangen.

00:05:26: Das kann man schon sehen auch an den Statistiken das KI immer günstiger wird.

00:05:31: Also von daher Das sind zwei gegengläufige Entwicklungen irgendwie.

00:05:36: KI ist massiv subventioniert, aber KI wird gleichzeitig günstiger durch effizientere Modelle durch die Veränderung, die es gibt.

00:05:44: Wobei man schon sagen muss ... Die Modelle, die richtig stark sind, sind eben nicht so effizienzend.

00:05:50: Für schwierige Aufgaben wechsel ich hoch, z.B.

00:05:52: nicht Opus-Fürpunkt sechs oder je dem jeweils neuesten und dann geht's ganz schnell, dass die Token verbraucht sind.

00:06:00: Für manche Use-Cases oder für viele Use-cases kann man kleinere Modelle verwenden, die weniger Ressourcen verbrauchen.

00:06:08: Aber das sind halt auch Use-cases, die jetzt nicht die Welt zu revolutionär verändern.

00:06:13: Das war so ein bisschen die Diskussion, die sich unter dem LinkedIn-Post dann ergeben hat und ich finde schon ... Manche Leute verstehen den dann falsch oder wollen ihn falsch verstehen und sagen nach dem Motto, ist doch totaler Quatsch!

00:06:25: Es gibt doch schon voll viele sinnvolle Anwendungen.

00:06:29: Und mein Punkt ist aber, ich glaube sobald wir die realen Kosten dafür bezahlen müssen und das hat eben auch Friedrich Kaltheuner gesagt.

00:06:36: Eigentlich habe ich das von ihr muss ich fairerweise sagen.

00:06:38: Sobald sich die Realenkosten zahlen wird es sich noch mal stark verändern welche Use Cases wirklich... wirtschaftlich auch umgesetzt werden können mit KI.

00:06:50: Ganz, ganz viele Dinge sind ja ... Man generiert irgendwelche Bilder.

00:06:52: Leute machen Slides mit diesen KI-generierten Bildern.

00:06:55: Also so ganz, ganz viel Dinge sind glaub ich Sachen, die halt nicht so viel Gewinn bringen wie sie dann nachher kosten würden, die man einfach da nicht mehr macht wenn das teuer wird.

00:07:05: Natürlich!

00:07:05: Ich bin nicht so

00:07:06: ein klugen Gedanken weil er jetzt die Frage ist, wenn wir im Unternehmenskontext denken nach dem Motto okay welche Prozesse stellen wir denn um oder wo bauen wir auf Sand?

00:07:16: Wenn ich jetzt an so was denke, wie Bilder generieren.

00:07:18: Das haben wir früher ganz viel mit Stockfotos gemacht und mit großen Verträgen ... Mit Anbietern von Stockfoto.

00:07:24: Man sagt, ah, brauchen wir das nicht mehr!

00:07:26: Stock-Fotografie braucht kein Mensch?

00:07:28: Wir haben jetzt KI und wir lassen jetzt jedes Bild mit KI generieren.

00:07:31: Und da ist natürlich dann tatsächlich die Frage, ist das nicht einfach Quatsch?

00:07:35: Weil wir eben noch nicht die realen Kosten zahlen für diese KI- ... Generierten Bilder.

00:07:40: davon abgesehen, dass ich gar nicht so ein Powerpoint-Präsidion mit KI-generierten Bilder gar nicht mehr so cool finde.

00:07:46: Ich kann's echt auch nicht mehr sehen.

00:07:48: Weil man es tatsächlich nicht mehrsehen kann und man immer das Gefühl hat, oh!

00:07:53: Aber Eva du hast ein KI-Generiertes Bild benutzt für deinen nächsten LinkedIn der auch schon wieder so anfängt zu polarisieren.

00:08:01: Da hab ich mich tatsächlich gefragt, ob du dich grade irgendwie selber darüber aufregst, was du eigentlich gerade so aktuell erlebst?

00:08:08: Also was ich halt finde schon mal unter diesem ersten

00:08:11: Pause

00:08:11: mit der Kachel von der ARD auch passiert ist, ist das halt speziell auf LinkedIn gibt es viele Menschen die seit Ende des Jahrzehnt zwanzig oder zweitausenddreiundzwanzigzig KI-Berater nennen ja, die gesehen haben ui neuer Hype da kann ich vielleicht Geld damit verdienen.

00:08:27: Und natürlich, das muss auch nicht verwerflich sein.

00:08:29: Es ist auch okay.

00:08:30: Aber natürlich haben diese KI-Berater und es sind meistens Männer deswegen gender ich jetzt gar nicht so viel, haben ein eigenes Interesse daran dass nicht jemand kommt wie ich und ihnen die KI madig macht und sagt viele Use Cases werden wir in Zukunft gar nicht bezahlen können.

00:08:44: Und die haben halt unter dem Post erstaunlich häufig so Dinge geschrieben also entlarvende Dinge geschrieben Wie?

00:08:49: So wie Sie das hier schreiben.

00:08:50: daraus kann ich sehen dass sie gar kein echter Experte sind weil Ich sehe das anders und es ist ein bisschen lustig wenn man sieht dass die Leute seien seit zwei, drei Jahren KI-Berater sind.

00:08:59: Und ich beschäftige mich seit inzwischen fast fünfzehn Jahren mit dem Thema und wird schon behaupten ... Dann ist es schwer zu behaupte als KI Berater der noch dazu eigene Mitresse, dass ich alles falsch verstanden habe oder nur Sie alles richtig verstanden

00:09:10: haben.".

00:09:11: Und dann hab' ich also gestern in so einer Eingebung ChatGPT einfach gefragt, magst du mir mal ein lustiges Bild machen?

00:09:17: Point of View!

00:09:18: Du beschäftigst dich seit fünfzehnt Jahren mit KI und willst deinen Wissen

00:09:21: teilen?".

00:09:22: Und dann kommen eben KI-Beberater die vom Heil profitieren.

00:09:26: Wenn Sie das anders sehen als ich, dann sind sie kein echter Experte.

00:09:29: Und dieses Bild, was da entstanden ist ... Im Meer hab' ich nicht vorgegeben und es ist einfach ein saulästmäßig lustiges Bild geworden.

00:09:38: I

00:09:38: kenne dich einfach.

00:09:40: Die kennt nicht mich, die kennt diese Situation.

00:09:44: Aber das ist schon dein normales Chatchi-Pity oder?

00:09:47: Also was du immer benutzt also mit dem du auch sonst ... Ich hab

00:09:50: einfach hemsärmlich und wie gesagt der Plan war gar nicht unbedingt sofort zu veröffentlichen sondern einfach... Das war so eine Eingebung.

00:09:55: ein bisschen prokrastinieren ja einmal kurz gucken was würde eigentlich Chachipiti draus machen?

00:10:00: Und das Bild ist es schon.

00:10:02: da sitzt so ne Frau.

00:10:03: also zuerst hat Chachie Pitti einen Mann generiert obwohl ich halt für dieses POV ist er eigentlich klar dass es um mich geht und Chatty mit dir weiß genau, dass ich eine Frau bin.

00:10:11: Aber gut das ist natürlich der Bayer, der in dem System ist.

00:10:13: also hat einen Mann als Experten generiert, der da sitzt.

00:10:17: Und dann hab' ich das eben noch gesagt, also machte ne Frau draus so.

00:10:20: Es ist ne Frau die hat ne Tasse, da steht drauf set KI seit Zwei Tausend Zwölf weil da ist mein erster Artikel erschienen.

00:10:27: Die hat zum Beispiel so ein Post-It auf ihrem Laptop hinten drauf, Verstehen statt Verkaufen.

00:10:33: Und vor ihr steht so ein Typ eben der KI Berater.

00:10:36: Der schreit sie an und hat auf seinen Proli AI Solutions mit Zetchen dran stehen.

00:10:41: Man hat einen Schild in der Hand, auf dem steht zwei Tage Kurs zum KI Go.

00:10:48: Ich finde, Chatchi Bt ist richtig lustig geworden.

00:10:49: Der schreit eben diese Frau an.

00:10:51: Wenn sie das anders sehen als ich, dann sind die kein richtiger KI-Expert.

00:10:54: und dahinter sind Leute, die haben Schilder und sagen, Chachy Bt löst alles oder disrupts oder sterbt!

00:11:00: Das fand ich noch mit am lustigsten.

00:11:03: Oder Proms statt Plan.

00:11:04: Also so, Tatsy Bidi hat sich sofort ... Das ist auf jeden Fall vermenschlichend und auch nicht richtig, aber hat sich darüber lustig gemacht über diese KI-Berater.

00:11:12: Und es hat mich schon gefreut, sodass ich diesen Post ohne Kommentar einfach dieses Bild gepostet hab.

00:11:19: Da habe ich wahrscheinlich viel auf Positivseatback bekommen.

00:11:22: Warum denkst du, polarisiert das so stark?

00:11:25: Weil

00:11:27: es überhaupt die Frage ist, muss das zu polarisieren.

00:11:31: Das Thema künstliche Intelligenz entwickelt sich einfach so schnell und oft ist es auch so ... gar nicht sofort immer alle Informationen vorliegen haben.

00:11:40: jetzt mal so an dem Beispiel mit Mythos, wo wir gleich auch nochmal mit einer hervorragenden IT-Security Expertin drüber sprechen werden.

00:11:49: Ist ja genauso ein Beispiel.

00:11:51: da gibt es Pressemitteilung von Unternehmen, da gibt's Studien aber dann sind die noch verblindet also dass man sozusagen gar nicht alle Ergebnisse wirklich auswerten kann.

00:12:00: vieles ist in den Markt einfach nicht transparent.

00:12:03: Also ich war schon auch erstaunt, dass es so politisch ist.

00:12:05: So mal dieses Zitat jetzt ja auch nicht... das ist ja total kein total krasses Zitat.

00:12:12: und also dieses neue KI wird teurer werden und das haben wir nicht im Blick.

00:12:16: Ich würde auch behaupten, das ist erstaunlich wenig umstritten.

00:12:19: Deswegen hat's mich auch gewundert.

00:12:21: Ich glaube ein Teil davon ist halt natürlich der Algorithmus Der solche Posts mit Bildern und Claims irgendwie mehr verbreitet.

00:12:28: Und ein Teil sind halt KI-Berater, die wahrscheinlich gerade irgendwelche Unternehmen in Deutschland eine KI-Lösung verkaufen und denen vergessen haben zu sagen, dass es sein kann, dass sie teurer wird.

00:12:36: Natürlich ist das für die doof, wenn ich das jetzt sage!

00:12:40: Die kämpfen um ihre wirtschaftliche Überleben mit allen Mitteln.

00:12:44: Ja von daher glaube ich, ist es ein guter Kommentar und ein gutger Post der awareness kreiert da, wenn mich meine neueste KI-lösung irgendwie implementiere und aufs ganze Unternehmen ausrolle, das einfach von vorne mitzudenken.

00:12:57: Und zu überlegen okay gibt's da vielleicht ein lokales Modell was wir dann erfahren können um diese Anwendung an dem?

00:13:04: weil ich glaube eben für ganz viele Anwendungen werden auch lokale Modelle werden günstige Modelle ausreichen.

00:13:11: also jetzt über sowas wie zusammenfassen von Texten ja ganz viele Sachen brauchen wir gar nicht immer so das Gefühl wir schießen mit Kanonen auf Spatzen mit den ganzen großen Sprachmodellen.

00:13:21: Ja, und das muss man einfach jetzt anfangen.

00:13:23: Und es ist wirklich ... Ich krieg das mit von vielen Unternehmen aus Hintergrundgesprächen, dass das eben nicht mitgedacht wird, ne?

00:13:29: Dass alles umgebaut wird auf generative KI- und eben halt Cloud Code oder Microsoft oder die US-Anbieter ohne ... das gleich mit einzuplanen.

00:13:37: Und auch dieser Umbau kann natürlich teuer werden, wenn man irgendwann merkt, leider können wir uns das nicht mehr leisten.

00:13:43: Deswegen ist es schon super wichtig und ein Service von mir darauf hinzuweisen auf LinkedIn, dass das jetzt wirklich wichtig wäre für die Unternehmen da mit dran zu denken.

00:13:53: Wir bleiben im Thema.

00:13:55: Wir haben gleich eine herausragende IT-Security Forscherin zur Gast, Haier Schulmann.

00:14:01: Bleibt dran!

00:14:10: Ja, aktueller Anlass für das Gespräch hier mit Haja Schulmann ist ein neues Paper von Google.

00:14:17: Ich habe vor ein paar Tagen von der Google-Pressestelle eine Mitteilung bekommen, dass Googleforscher den ersten bekannten Beweis dafür erbracht hätten, dass Angreifer KI erfolgreich zur Entwicklung einer Zero Day Schwachstelle eingesetzt haben.

00:14:32: und das ist natürlich ein weiteres Paper in der Reihe alarmistischer Claims von KI-Unternehmen, wie gefährlich jetzt alles wird und wie verloren wir sind.

00:14:44: In Paper selbst ist es dann nicht mehr ganz so dramatisch.

00:14:47: Da wird auch geschrieben, dass nur vermutlich KI verwendet worden ist – und das wird auch klar, dass dieser Angriff überhaupt nicht fertig gebaut worden ist sondern, dass die eben erwischt worden sind von den Google Forschern weil sie KI typische Formulierungen in ihrem Code hatten.

00:15:04: Ganz kurz Eva heißt das sozusagen.

00:15:06: Google wertet einfach alles aus, was man zum Beispiel mit Gemini schreibt und wenn es um so etwas geht dann fließt es in so ein Paper ein.

00:15:13: Es ist beides.

00:15:14: Einerseits gucken sie was Gemini, Leute mit Gemini machen aber sie gucken auch als Sicherheitsforscherinnen sonst, was die so sehen.

00:15:22: und dieser Fund der Zero-Day, der wird rot offenbar nicht auf Gemini.

00:15:26: Sie schreiben mir was ich vermute das es nicht Gemini war.

00:15:28: Meine Vermutung aus der Beschreibung in dem Paper ist dass es vermutlich Cloud Code war was die Angreifer benutzt haben Genau!

00:15:35: Aber sie haben jedenfalls als Sicherheizforsche diesen Angriff gesehen.

00:15:40: Der hat ganz viele andere Bedingungen noch, die nicht umgesetzt waren.

00:15:43: Das heißt diese Angriff hätte keinesfalls so funktioniert aber er hat eben einen logischen Fehler in einer Open Source Anwendung gefunden und versucht auszunutzen.

00:15:53: Und das war es.

00:15:54: im Prinzip war dass die Geschichte.

00:15:55: und von daher haben wir uns gefragt was ist eigentlich dran?

00:15:59: Was wissen denn Wissenschaftlerinnen und Wissenschaftler über die Reale Gefahr die entsteht durch KI für die Cyber-Sicherheit und was daran ist Marketing.

00:16:10: Und dafür haben wir uns eine Expertin eingeladen, einer der renommiertesten Cyber Sicherheitsforscherinnen in Deutschland nämlich Haia Schulmann.

00:16:19: Genau, Haia ist Professorin von Informatik an der Goethe Uni in Frankfurt und sie isst Mitglied im Direktorium des Nationalen Forschungszentrums für angewandtes Cyber Sicherheit Athene.

00:16:30: vielleicht noch einmal zum Hintergrund das es wirklich eines der weltweit führenden Forschungszentren, wo es um Cyber-Sicherheit geht.

00:16:41: Sie hat den Deutschen IT Sicherheitspreis gewonnen.

00:16:45: Ich hab mit ihr schon mehrere Interviews geführt.

00:16:48: Und ich kenne sie seit Jahren, und es geht immer eben um diese Frage herauszufinden, wie gehen Angreifer vor?

00:16:56: Wie funktionieren Angriffe ... Das ist tatsächlich Ihr Forschungsthema seit vielen, vielen Jahren!

00:17:01: Deswegen sind wir besonders froh und stolz, dass du heute hier bist.

00:17:04: Herzlich willkommen, Haia.

00:17:05: Hallo und guten Morgen unter dem Dank für die Einladung.

00:17:10: Vor ein paar Tagen hat mir die Google-Pressestelle ein Paper gesteckt von den SicherheitsforscherInnen von Google.

00:17:16: Ha, ja du hast es auch gelesen.

00:17:18: was denkst du dazu?

00:17:20: Dieser Claim?

00:17:21: ist es so!

00:17:21: Ist das jetzt

00:17:22: passiert?!

00:17:22: Die große gefährliche Zero Day Schwachstelle also eine unbekannte Sicherheitslücke wird erfolgreich ausgenutzt weil es KI gibt?

00:17:30: Also es gibt natürlich... Das ist nicht das erste Bericht wie Du schon Elfa wie Du erwähnt hast.

00:17:37: Es gab andere Berichte Von Anthropik und OpenAI ist derzeit ungefähr so Februar auf April.

00:17:47: Sie berichten über Experimente staatlicher Akteure, wie sie mit KI experimentieren in der Santa Weissel.

00:17:57: Das ist wirklich sehr ähnlich wie das man in einer Wissenschaft sieht oder auch wir firmen die Forschung machen in diesem Bereich auch ähnlich.

00:18:07: So ist es nichts anderes, aber natürlich sind spannende Einblicke in was passiert.

00:18:13: Gut sie zeigen das.

00:18:15: staatliche Akteure oder zeitbar kriminelle benutzen KI als Unterstützung und es zeigt auch wie sehen dass KI... Es gibt ganz viele Befürchtungen, man wird uns nicht mehr brauchen.

00:18:30: die Menschen weil es gibt die KI.

00:18:32: aber wir sehen dass DKI ersetzt menschliche Etheks, wer diese nicht.

00:18:42: Und sie verschiebt einfach den Schwerpunkt.

00:18:46: Sie macht angreifbar und verteidiger Entwickler schneller und hilft schneller Code zu produzieren.

00:18:54: mehr Code, mehr Automatisierung.

00:18:56: aber das ist halt Unterstützung in diesem ganzen Pipeline.

00:19:00: Es gibt mehrere Gründe dafür, warum es ersetzt die Menschen oder die Entwickler nicht.

00:19:06: Und was ich sehr interessant aus diesem Bericht ... Was in diesem Berichts für mich sehr interessant ist, dass wir genau diese Anbieter sehen, welche Fragen wir stellen und was wir machen.

00:19:25: Und obwohl sie sagen, naja, Sie gucken nur was die so staatliche Akteure machen.

00:19:29: Aber wie unterscheidet man?

00:19:31: Wenn einer Eva versucht zu verstehen ob eine Software verwundbar ist und das sind die Probleme oder ein staatlicher Akteur und wie ganz genau kann man sagen dass es ein staatlichen Akteuer ist?

00:19:42: Das hat natürlich Bedeutung für uns in Europa und in Deutschland weil wir verwenden diese Werkzeuge für sehr auch sensiblen Sachen.

00:19:51: Und soll man nicht vergessen, dass die Hersteller, die Anbieter sie sehen ganz genau was wir fragen und was wir machen.

00:19:58: Sie veröffentlichen übrigens auch Statistiken zu den Anfragen.

00:20:02: das auch sagt vieles.

00:20:04: Das heißt Google liest eigentlich mit genau was da passiert?

00:20:07: Von daher haben sie zumindest teilweise auch sehen können wie Teilweise auch staatliche Akteure offenbar ihr Sprachmodell, also Geminal benutzt haben und versucht haben das zu überreden Schadsoftware zu kreieren.

00:20:19: Das liest sich teilweise ganz lustig in dem Paper weil die so ähnlich wie es auch in Chopics schon vor Monaten berichtet hat natürlich den Sprachmodellen sagen wir sind in Wirklichkeit sind wir Sicherheitsforscher.

00:20:27: wir brauchen deswegen müssen rauskriegen ob unsere Systeme sicher sind und es klappt nur teilweise.

00:20:34: aber du sagst und dass ist wichtig das stimmt dass wir natürlich daraus auch ablesen können dass Google mitliest bei allem was wir machen

00:20:40: Schnell Google.

00:20:42: Sagt mal, eine so ganz entscheidende Frage ist doch in dieser ganzen Debatte auch rund um die großen Modelle und Sicherheitslücken.

00:20:52: Inwiefern können KI-Modelle Zero Days nicht nur finden?

00:20:57: Also Zero Days Schwachstellen, die bisher noch niemand je zuvor gefunden hat sondern auch fast ohne oder sogar ganz ohne menschliche Hilfe ausnutzen.

00:21:06: Das wird da so als Holy Grail der Sicherheitsworschung beschrieben, die Horror-Warnvorstellung sozusagen ist ja... Du drückst auf einen roten Knopf und das KI-Modell zieht in die Welt und verrichtet seinen Schaden.

00:21:20: Vielleicht kannst du uns da einmal eine Einschätzung geben?

00:21:23: Wo stehen wir denn aktuell?

00:21:25: Ist denn dieser Holy Graile schon gefunden?

00:21:28: Ja wo sind wir in dieser Debatte?

00:21:30: Also das

00:21:30: sind... Ich

00:21:31: seh doch.

00:21:33: Nein, nein!

00:21:37: Das ist eine exzellente Frage.

00:21:38: Aber eigentlich, da sind viele Fragen in einer Frage und dann meine Antwort kann sein lang sein?

00:21:44: Es wird versuchen sie so strukturieren.

00:21:46: Okay also Zero Days als erstes.

00:21:50: Das ist natürlich ganz viel wird jetzt über Zero Days geredet und dass die Zeit zu Patch jetzt ist total oder Ausnutzung sehr reduziert und deshalb ist es sehr wichtig zu patchen.

00:22:01: Und das ist eine Debatte, und dann hast du gesagt okay also zero days und dann das innerhalb eines Angriffs dass es halt läuft automatisiert alles und uns angreift.

00:22:14: Also ein wichtiger Thema und wird ganz viel darüber geredet und vielleicht fange ich damit an Zero Days.

00:22:20: Zero Day sind unbekannte Schwachstellen, für die es noch keine Patches gibt.

00:22:25: Das heißt das gibt der Hersteller hat noch nicht etwas entwickelt, dass könnte dieser Schwachstelle diese Luke schließen und so lange die ist nicht geschlossen kann man sie ausnutzen.

00:22:37: bedeutet bis, also sobald es ein Patch gibt dann ist das End-Day und Zero Days heißt Camp-Patch.

00:22:43: Und das ist gefährlich weil dann kann man nichts dagegen... Das

00:22:47: Corona Virus sozusagen der

00:22:50: Ohne Maske.

00:22:51: Security, ohne Maske!

00:22:54: Interessanterweise finde ich nur kurz weil du gesagt hast das heißt ein End Day sobald es ein Patch gibt.

00:22:58: und es klingt ja als wenn dann wenn es ein patch gibt alles gut ist und das spannende oder abgefahrene an diesem Wort ist ja dass es eben nicht so ist sondern es gibt einen patch Und dann sind alle viel zu langsam darin, diesen Patch zu implementieren und ihre Systeme zu updaten.

00:23:14: Also nicht alle aber viele!

00:23:15: Das hattest du ja auch in dem Artikel geschrieben über den wir letztes Mal gesprochen haben als wenn wir über dich gesprochen haben dass das größere Problem eben eigentlich nicht Zero Days sind sondern Sachen die schon gepatcht sind eigentlich schon gepatched sind.

00:23:29: oder was heißt das größte Problem?

00:23:29: Dass die meisten Angriffe jedenfalls über solche Schwachstellen laufen, für die es eigentlich schon Patches gibt.

00:23:35: Und das ist vielleicht sogar der erste Denkfehler wenn wir solche Sachen wie Mythos oder eben dieses Paper von Google bekommen, dass alle immer sagen, es ist so gefährlich weil die KI kann ja Zero Days finden.

00:23:46: und ob das wirklich so ist können wir nachher noch besprechen.

00:23:49: aber wenn ich dich richtig verstanden habe ist ein anderes eventuell umfangreicheres Problem das eben auch schon gepatchte schwachstellen systematisch ausgenutzt werden und wir da offenbar nicht gut geschützt sind.

00:24:01: Also Eva, du machst deine Hausaufgaben?

00:24:05: Und

00:24:05: du hast schon vor mir geantwortet.

00:24:07: Entschuldigung!

00:24:09: Nein.

00:24:09: also gut erst die Tatsache dass es ein Patch gibt bedeutet nicht das er die Lücke schließt.

00:24:15: erstmal weil oft Patches gibt es Patches aber eigentlich sie machen neue Features und da ist nichts um Schwaste Stelle zu schließen.

00:24:25: Das ist natürlich ein wichtiger Aspekt.

00:24:27: Aber sagen wir es gibt Patches die wirklich schliessen.

00:24:30: das Hauptproblem Das ist ja nicht dieses Yodais.

00:24:33: Also erstmal in meisten Angriffen benutzen die Angreifer... Nicht die Zero Days.

00:24:40: Weil es gibt einige Probleme mit Zero Days, zum Beispiel diese nicht zuverlässig und man kann nicht wirklich wissen wie sie sich verhalten, wie das System reagiert.

00:24:48: Vielleicht hat der das Opfer einer anderen Konfiguration oder er hat andere Systeme gleichzeitig laufen oder eine andere Firewalls regeln oder anderer Segmentierung und dass alles jeder Kleinigkeit keine Auswirkungen haben.

00:25:04: Und für staatliche Akteure auch für Cyberkriminell Erfolgreiche Angriffe sind die, die nicht entdeckt werden.

00:25:11: Bis die Angreifer das wollen oder überhaupt wollen sie gar nicht vielleicht?

00:25:15: Zum Beispiel in der Pressung angriffen.

00:25:17: Wenn der Angriff ist entdeckt bevor die angreifers sich verbreitet haben und haben alles verschlüsselt dann kann man das verhindern Und ist der Angriff nicht erfolgreich.

00:25:26: Das heißt wenn Sie eine Zero Day ausnutzen um den Angriff durchzuführen und es scheitert weil das System verhält sich nicht wie Sie erwartet haben dann ist das gescheitert.

00:25:38: Deshalb hat es erst mal Nachteile Zero Days auszunutzen für solche Angriffe und tatsächlich die meisten Angriffen werden mit Fishing, mit Zugangsdaten oder ganz bekannten Schwachstellen.

00:25:49: Warum ganz Bekannte?

00:25:50: Also ein End-Days weil diese sind schon ausprobiert.

00:25:55: Es gibt Kondautomatisierung, Werkzeuge, die sie ausnutzen und es ist viel weniger KI zu verwenden, um eine Zero-Dale zu finden oder auszunutzen.

00:26:03: Es ist sehr teuer.

00:26:05: das Forschungsinstitut von der Regierung in Großbritannien, AISI Sie haben an Tropic zum Beispiel Mythos analysiert und sie konnten bis hundert Trocken gehen und schon ganz viele Sachen da gefunden weil es ist so teuer.

00:26:19: Sie haben gesagt okay kann man gut mehr machen aber es ist also teuer.

00:26:22: so sie haben nicht mehr gemacht.

00:26:24: Vor Angreifungen sind die gleichen Fragen.

00:26:27: Warum sollen wir das machen, wenn es so teuer ist?

00:26:30: Zweite Sache mit Suchen nach Zero Days mithilfe von KI oder Codeschreitend automatisiert mit Hilfe von KI ist dass es sehr fehlerhaft ist.

00:26:40: Es gibt in unserer Forschung und Forschung von anderen Gruppen kann man sehen sie zeigen, dass wenn man das analysiert versucht zum Beispiel KI zu nehmen und Code mithILFE von KI zu erzeugen.

00:26:52: oder gibt KI Ein Code, der richtig ist und gut ist und etwas ausführt.

00:26:57: Dann KI wird im Nacht besser so dass es dann besser ist.

00:27:01: aber in ungefähr siebzig oder sogar mehr Prozent der Fäden Und besonders in Java haben wir gesehen das ist ein Problem Das es wird dann Bugs und Lücken einbauen.

00:27:14: Und warum ist das so fragt man sich?

00:27:17: Weil KI Werkzeuge sind sehr geschwärtsig.

00:27:21: Sie produzieren Also, wenn die Text produzieren mit Hilfe von KI ist es sehr, sehr lang und ausführlich geschwärzig.

00:27:30: Ähnlich wie Code.

00:27:31: Wenn man Code produziert mit Hilfe vom KI, ist das auch sehr geschwerzig.

00:27:34: Und tatsächlich sieht man in diesem Bericht von Google, dass da sind ganz viele Sachen, manche hallucinierten mit WSS, also wie schlimm eine Lücke ist... ...und mit Kommentaren und mit Code – sehr ausführlig!

00:27:47: Das Problem ist, beim Code schreiben je mehr Code hat man… desto mehr Möglichkeiten, dass da eine Look erst entstehen und dadurch wenn man KI benutzt um Koto schreiben.

00:28:00: Dadurch eigentlich hat man Fehler hatten kurz typischerweise oft Und das bedeutet, dass die Hacker eigentlich eher würden nicht KI benutzen um Zero Days automatisiert auszunutzen?

00:28:12: Und dann die Frage geht es also ist diesen Bericht vom Kugeln sagen sie gar nicht, dass Sie haben mit dass die KI die Zero Days entdeckt hat sondern Es war als Unterstützung.

00:28:22: Das heißt zum Beispiel, ein Mensch vielleicht ... Ja?

00:28:26: Ich sag Möglichkeit!

00:28:27: Weil ich weiß nicht... Sie haben nicht geschrieben wie es war aber sie haben nicht geschrieben, wie das nicht war und einen Menschen vielleicht könnte die Luke entdecken.

00:28:36: und dann hat mit Hilfe von KI Kond geschrieben um das auszunutzen dass zum Beispiel machen wir oft Wir entdeckt machen eine Lüse, entdeck den Schwachstellen und dann mit Hilfe vom KI schreiben wir Punnization sozusagen Ein Code der diese Schwachstelle ausnutzt.

00:28:51: Das ist erster Teil mit Zero Days und zweite in unserer IT in Deutschland, egal wo man schaut eine öffentliche Verwaltung im Bund, in Ländern an Universitäten selbst in der Wirtschaft.

00:29:07: es gibt ganz viele Schwachstellen und die sind nicht neu.

00:29:10: Sie sind bekannt, für die gibt es Perches aus zum Beispiel im Bund.

00:29:14: Wir haben kritische Schwachstellen gefunden, die sogar mehr als zehn Jahre alt sind und das sind sechzehn Ministerien.

00:29:23: Wir werden unsere Studie dazu bald veröffentlichen.

00:29:26: Und das heißt, warum sollen die Hacker Zero Days überhaupt ausnutzen?

00:29:30: Für KI-Zahlen und so unzuverlässig.

00:29:33: das alles machen mit Zero Days?

00:29:34: Das vielleicht kann man nicht abschätzen, wer das sich verhält wenn man so viele Zugangsdaten hat und Schwachstellen, Lugen und Fehlkonfigurationen die man ausnutzen kann in Angriffen.

00:29:46: Und jetzt der letzte Teil das Dass du gesagt hast, der Holy

00:29:51: Grail.

00:29:52: Ich warte schon die ganze Zeit.

00:29:54: Nee,

00:29:54: also ... Da kommt er auch noch zu sehr gut.

00:29:56: Du hast gesagt, okay, das ist Zero Days.

00:29:59: und dann was bedeutet das innerhalb eines ganzen Angriffs?

00:30:02: Weil jetzt die Angriffe sind automatisiert und das lesen wir überall.

00:30:07: Diese Berichte sagen, die Angriffen sind automatiziert!

00:30:10: Dieser Key leucht autonom und greift uns an und wir müssen gar nichts machen.

00:30:14: Also die Hacker müssen gar nix machen sitzen und drucken auf Knopf und das war's.

00:30:19: Das Ende ist da.

00:30:20: Und es gibt keine Schwachstellen mehr und es gibt keiner Zugriffwärts.

00:30:25: Es ist so nicht ganz was Neues, weil wenn wir siebzehn Jahre zurückblicken auf Stuxnet – das war… und es nehme ich als Beispiel, weil es war so bekannt und hat auch etwas in überall verändert.

00:30:40: Auch die Regierungen Staaten plötzlich realisiert haben, was die Digitalisierung bedeutet?

00:30:44: Dass mit Hilfe eines Scouts eine Software Kann man die physische Welt beeinflussen?

00:30:50: Vielleicht sage ich

00:30:51: hier ganz kurz ein und erkläre einmal für die, die Stuxnet nicht kennen.

00:30:54: Weil für uns ist das so... Das ist das Riesending!

00:30:56: Aber ich habe die Erfahrung gemacht dass es tatsächlich für uns die sich für IT-Sicherheit interessieren nur so ist und dass Menschen da draußen von Stuxnets teilweise noch nie gehört haben.

00:31:03: Also StuxNet war, ich glaube, im Jahr zwei Tausend zwölf weil der erste große und tatsächlich automatisierte Angriff.

00:31:11: Und zwar in dem Fall auf das iranische Atomprogramm, also nachdem alle Verhandlungen nicht geholfen haben wie man heute weiß.

00:31:16: die USA und Israel sagt zwar immer noch niemand öffentlich aber ich denke es gilt als erwiesen dass die us-a und israel gemeinsam des iranischen atomprogrammen angegriffen haben mit einer cyberwaffe die dann aber wiederum in der physischen welt dazu geführt hat dass vor Ort Dinge kaputt gehen in eine orale anrechterungsanlage in natanz.

00:31:34: genau dass da Dinge physisch kaputt gehen.

00:31:37: Das ist bis heute umstritten, wie viel das wirklich das Iran-Schatonprogramm aufgehalten hat.

00:31:42: Aber das Spektakuläre daran aus IT-Sicherheitssicht ist schon dass es eben möglich war diese Cyberwaffe bis in den Iran bis nach Natanz in eine ganz konkrete Anlage zu schicken und dort, wie du sagst, autonom handeln zu lassen?

00:31:57: Also da hat einfach funktioniert kein Mensch mit gereist, sondern vor Ort hat die

00:32:02: diese Waffe funktioniert.

00:32:05: Was war das denn?

00:32:05: Er gab eine Oran-Einreichung, ein Lager wie du gesagt hast.

00:32:11: Die Malbe wurde über einen Diskom-Key, also OSB Stick eingeschleust und war total autonom.

00:32:19: Und hat dann PNC, also Steuerungen... von Siemens angekriegt und sabotiert.

00:32:26: Und die Sabotage war so, dass es war nicht ... Man könnte das nicht sehen.

00:32:30: Erst mal für die Betreiber dort hat die Schad-Softer alles gezeigt, also ob es alles normal läuft.

00:32:38: Eigentlich hat die Drehzahl ... der Zintrifugen verändert.

00:32:42: Man schneller, man langsamer, schneller und langsame.

00:32:45: Und das ist so kein Standardangriff, dass man würde sagen OK IDS, d.h.

00:32:50: Erkennungssysteme würden das erkennen?

00:32:52: Weil es ist kein Angriff wirklich.

00:32:54: Das einfach wird schneller, langsaber.

00:32:55: aber das ist was ich sabotiert habe.

00:32:59: Interessanterweise in dieser Wahl war Autonom automatisiert.

00:33:03: Autonom sozusagen da war kein Mensch dort Es war abgeschontet.

00:33:06: D.h.,

00:33:07: es musste alleine selbstständig dort laufen und Sachen erkennen, und funktionieren.

00:33:13: Und natürlich jetzt gab es eine Aufklärungsphase lange, dass man herausfinden musste genau wie diese Anlage funktioniert.

00:33:22: Welche Symptome da sind?

00:33:24: Das heißt das die Angreifer mussten das alles aufbauen.

00:33:27: Und bestimmt hat das ganz viel gekostet was aus meiner Sicht Zeit auch, dass es um Jahre gedauert war ein staatlicher Akteur.

00:33:36: aber Schon damals sehen wir das automatisierte autonome Angriff der Gabas.

00:33:42: Das heißt, was ist neu heute eigentlich?

00:33:45: Also eigentlich was Neues heute, dass wir haben mehr Werkzeuge.

00:33:49: Schon damals hatten die Hacker-Werkzeuge benutzt und es gab Umgebungen und Werkzeugen in denen man Angriffe entwickeln konnte.

00:33:55: Es gab Automatisierung zum Beispiel.

00:33:58: Es gibt Umgebung mit Metasploits und anderen... Und jetzt gab Maschine das Lernen!

00:34:02: Heute haben wir noch dazu KI-Werksäuger.

00:34:06: Das heißt, das macht die Arbeit von Entwicklern, Angreifern und Testern alles schneller.

00:34:14: Aber es verändert eigentlich nicht wirklich etwas, weil automatisierte Angriffe und autonome Angriffen gab es schon damals.

00:34:21: Und obwohl die Menschen vielleicht das nicht realisieren, aber diese Sache dass die Angriffsautonom laufen können... Das ist nicht wegen LLM oder KS.

00:34:32: Es gab schon damals.

00:34:34: man konnte mit Hilfe von Algorithmen und anderen Methoden das alles schon entwickeln.

00:34:40: Ich habe mich sogar gefragt, ob nicht vielleicht die KI heute sogar ein Problem ist für die Angreifer.

00:34:46: Wenn man diesen Google-Bericht liest steht da auch drin sie haben das erkannt diese angebliche Zero Day Lücke Den Griff, den die Kriminellen versucht haben zu entwickeln anhand des leerbuchartigen Codes.

00:34:58: Also das heißt LLMs schreiben Codes ein bisschen wie so einen Anfänger, vielleicht der Praktikante schreiben also dokumentieren ausführlich schreiben immer ganz genau rein im lehrbuchartig was es alles macht und das scheint ja die Angreifer tatsächlich am Ende Verraten zu haben, ja.

00:35:13: Das heißt da war ein Code.

00:35:14: der hat dir vielleicht viel unnötige Dinge du hast gesagt.

00:35:16: Da war eine hallucinierte Wert drin die Schwere der Schwachstelle angebt er aber offensichtlich von der KI halluciniert war und ich habe mich gefragt ob das vielleicht dann sogar Ein Rückschritt ist für Cyberangreifer.

00:35:29: Oder ob solche Tools ... Das ließ man in dem Bericht auch, dass die wurden erwischt.

00:35:34: Sie haben offenbar mehrere Fehler begangen.

00:35:36: Dieser Angriff ist nie fertig geworden und die Lücke sind gepatcht.

00:35:39: Ich hab mich gefragt, ob das nicht ein Problem ist?

00:35:42: Dass die KI benutzen und dadurch einfacher zu erwischen sind.

00:35:46: Erstens weil der Code so auffällig anders ist.

00:35:48: Da ist viel mehr geschwetzig, da ist mehr drin als eigentlich nötig ist.

00:35:52: Und zweitens, weil eben die Angriffe ... auch nicht gut funktionieren.

00:35:56: Und das sehen wir ja auch, wenn legale Legitime Entwickler-Entwicklerinnen KI benutzen machen die auch Fehler.

00:36:01: Ich habe gerade erst eine große Recherche gehabt über Sicherheitslücken, die entstehen weil Menschen KI benutzt.

00:36:06: Das heißt, wenn kriminelle oder staatliche AngreiferKI benutzen haben sie vermutlich genau die gleichen Probleme und ich hab mich gefragt ob es überhaupt sinnvoll ist aus der Perspektive?

00:36:16: Ja, es ist eine excelente Frage oder exzellenter Punkt eher.

00:36:21: Du hast recht genau die gleiche Probleme, die wir haben natürlich den Angreifer.

00:36:24: auch wenn man KI benutzt muss man KI Ergebnisse kritisch kontrollieren weil sie haben Fehler.

00:36:31: Man muss dieser Fehler erkennen und korrigieren.

00:36:34: Sie erzeugen viel Code.

00:36:35: man muss dann wirklich diesen Code analysieren Sicherheitslogik prüfen Und man muss auch das integrieren so dass es irgendwie alles zusammenläuft und genau bei der Integration auch entstehen viele Fehler.

00:36:49: So, es ist für die Angreifer genau die gleiche Herausforderung wie für uns sicher als Forscher oder für die Verteidiger.

00:36:58: Ja, das ist ein neues Werkzeug.

00:37:00: Es macht alles effizienter also programmieren effiziente Informationen sammeln effizierter aber die erzeugten neue Aufgaben.

00:37:14: Man kann mit Hilfe von KI deutlich mehr Wirkung entfalten, aber man muss dann diese ganze Sache mit Integration und Fehlererkennung und Sicherheitsloggen unanforderungen verstehen.

00:37:28: Braucht man das?

00:37:29: Und das heißt dass auch die Hacker, die Krimineller verändern ihre Strukturen und ihre Rollen.

00:37:36: Und Aufgaben, die sie haben in Erzeugung ihrer anderen Griffe genau wie bei uns.

00:37:40: Die Debatte ist okay.

00:37:41: braucht man jetzt Entwickler?

00:37:43: was braucht man eigentlich?

00:37:44: In einer Organisation eine Behörde oder in Informatik in der Wissenschaft?

00:37:49: Wie wälzt die KI um dieses das ganze Ökosystem?

00:37:53: Genau das wäre auch noch mal meine Frage an dich, weil ich denke es ist ja zurzeit schon ein sehr stark diskutierter Punkt.

00:38:00: Inwiefern bricht ein neues Zeitalter für die Cyber Security an?

00:38:09: Ich denke vieles von dem was du gesagt hast war eigentlich schon da und ist eine graduelle Veränderung, die wir sehen.

00:38:16: oder was ich mich frage heuer ist... Das ist ja oft so Weißt du, Chatbots hat es auch schon ewig gegeben.

00:38:25: Ja?

00:38:25: Viele viele Jahre!

00:38:26: Und trotzdem war dann als ChatGPT auf den Markt kam ein Punkt erreicht von vielen langsamen Veränderungen wo man gesagt hat jetzt stehen wir auf einer neuen Stufe.

00:38:35: ja jetzt haben wir quasi eine neue Leiterstufe erreicht und das würde mich interessieren wie da deine Einschätzung ist im Bezug auf KI und Cyber Sicherheit?

00:38:45: haben wir da ne neue Leiterstufe erreichte mit vielen kleinen Schritten von Staxnet bis heute, die gegangen wurde?

00:38:52: oder welchen Unterschied macht hier die KI derzeit?

00:38:55: Die neuen Modelle.

00:38:56: Wie schätzt du das ein?

00:38:58: Okay, es sind die erste ... Der erste Teil ist eigentlich, du fragst so was wäre ein Sprung?

00:39:05: und da hol ich Gräle wie du gesagt hast also zur Zeit und in der Vergangenheit wir könnten Angriffe automatisiert gegen ein konkretes Ziel durchführen.

00:39:17: Du nimmst einen Opfer, eine Organisation, ein Ziel und die Häker dann machen einen Angriff das gegen dieses Ziel funktioniert so zu sagen Tailord-Angriff.

00:39:29: Gegen diese Natanzuranreicherunganlage in Iran oder mit Stuxnet oder SolarWinds gegen ein Ziel oder Operation Aurora gab gegen Sourcecode, Repositories.

00:39:44: Nimmst dein Ziel und baust ein Angriff der funktioniert gegen dieses Ziel.

00:39:50: Das Problem mit dem anderen Ziel wird es nicht funktionieren.

00:39:52: Du musst dann neues Tailoring machen weil vielleicht hat er das andere Konfiguration, hat das andere System, anderes Betriebssystem, vielleicht andere Anwendungen Und Holigrail wäre oder ich würde sagen da ist jetzt ein Fortschritt dass du mir ein Werkzeug gibst und du sagst egal welches Zielen Du diesen Werkzeug gibst, es wird funktioniert.

00:40:14: Und das haben wir nicht weil selbst aus dem Bericht wenn man den Bericht liest sieht man dass die Hacker benutzen KI als Unterstützung bekommen etwas was genau auch die Wissenschaftler Forscher oder in der Wirtschaft wenn man in diesem Bereich entwickelt oder benutzt KI für Entwicklung auch was wir bekommen sozusagen etwas was man kontrollieren muss überprüfen muss reduzieren muss verstehen muss testen muss und dann integrieren muss.

00:40:42: Das ist was wir heute haben, es ist nicht so das die Hacker haben jetzt... Sie entwickeln manuell ein Werkzeug und sie nehmen dieses Werkzeug Und sie können das gegen einen Opfer einsetzen.

00:40:54: Also in Bericht sagen sie Es würde funktionieren gegen mehrere aber sie zeigen dass es hat gegen zwei funktioniert.

00:41:02: Das ist noch nicht da.

00:41:05: Dass man ein Werkzeuge hat und egal welches ziehen.

00:41:08: Dieses Werkzeug mit Hilfe von KI würde sich adaptieren und Tailor'n, um ein Organisation zu infiltrieren oder anzugreifen.

00:41:17: Und der nächste Schritt nach diesem Schritt – wenn wir einen Werkzeug haben für jedes Ziel, gegen jedes Ziel funktioniert!

00:41:26: Der nächste Schritt wäre das, dass man dieses Werkzeug nicht manuell entwickelt.

00:41:30: Dass du eine KI hast und dieser KI entwickelt, ein Werkzeug automatisiert und dass dieses Werkzeug automatisiert gegen jedes Ziel eingesetzt werden kann.

00:41:41: Das sind die zwei Schritte, wenn wir sie haben dann das ist diese Sache, dass wir haben eine KI, die wirklich einen Fortschritt oder zwei Fortschuhe der Holy Grail von Angreifern, dass Sie würden ein Werkzeug haben, das von KI automatisiert entwickelt wurde.

00:41:59: man hat keine Hacker- oder Programmiererentwickler dazwischen gebraucht es hat alles selber gemacht.

00:42:05: Und jetzt kannst du das nehmen oder das musst du gar nicht, weil es wird von allein automatisiert eingesetzt gegen verschiedene Ziele und die Angriffe durchführen.

00:42:13: Und da sind diese sozusagen Angriffen, die die Berichte versuchen dann Eindruck zu erzeugen dass es so ist.

00:42:21: natürlich Das ist das Ziel, dass wenn wir das erreicht haben, das ist ein Problem.

00:42:27: Wir müssen deshalb unsere Idee unserer Infrastruktur Resilienz professionalisieren und sicher machen, sodass es alles wird nicht so einfach, weil alle diese Berichte auch übrigens auch von einem Tropic.

00:42:38: Sie zeigen dass diese Werkzeuge sie funktioniert gegen Testumgebungen die nicht geschützend ohne irgendwelche Sicherheitskonfigurationen nicht gegen echten Organisationen die selbst ganz basic Basis Mindeststandards machen wie Firewall Rules.

00:42:57: So heute funktioniert das nicht auch gegen verwundbare Organisationen aber die Mindest Standards machen.

00:43:03: Und das heißt aber, dass zeigt uns... Das trotzdem zeigt uns wie wichtig es ist unsere IT zu professionellisieren.

00:43:11: Weil interessanterweise also wir machen eine Analyse von IT in Deutschland und in anderen Ländern.

00:43:17: und wenn wir vergleichen Deutschland mit anderen Ländern, in Deutschland haben viel mehr Sachen on-premise als in anderen Ländern.

00:43:24: Wir haben vielmehr on- Premise, viel weniger auf einer Cloud.

00:43:28: Die Idee des IT deshalb viel heterogener auch, weil die haben Appliances und Service.

00:43:35: Und kurz

00:43:36: zu Übersetzung, On-Premise heißt quasi selbst gehostete Dinge.

00:43:38: ne?

00:43:38: Ein Unternehmen übergibt seine Daten oder seine Programme nicht jetzt Google oder Amazon oder anderen oder Microsoft sondern hostet sie selbst immer noch auf der Basis der großen Konzerne oft aber eben mit eine abgeschirmtere Version des Programms.

00:43:56: Richtig?

00:43:56: Ja!

00:43:57: Ja, genau.

00:43:57: Also Microsoft Exchange kann man on-premise hosten und natürlich auf einer Cloud haben.

00:44:02: Das ist E-Mail-Server Und es gibt manche die nehmen auf Microsoft, aber ganz viele Servers sind On-premises auch wenn man schaut in Ministerien oder in Bundesländer oder Universitäten oder sonst in der Wirtschaft.

00:44:20: wir haben ganz viel On-Premise und die Idee sehr heterogengewarzen.

00:44:25: Man kann anhand der Ethie sehen, zum Beispiel Fusionen zwischen Organisation oder Ministerien, die fusioniert wurden.

00:44:31: Das sieht man in den Ethier des Hinterlass-Spuren.

00:44:34: und dieser Heterogenität hat zusätzlich auch Probleme, dass ganz viel Ethier ist veraltet.

00:44:45: also wir haben ganz viele Legacy-Ethier.

00:44:47: das heißt das Legacy End of Life bedeutet es gibt keine Patches mehr für diese Ethie Die läuft.

00:44:53: aber Das heißt,

00:44:54: es gibt keine Sicherheitslücken, die nicht mehr gestopft werden können.

00:44:57: Weil sich die Firma nicht mehr darum kümmert?

00:45:01: Es gibt keinen Support mehr und diese IT haben wir auch.

00:45:05: Und wir brauchen ... Wir müssen dieser IT professionellisieren!

00:45:09: Zur Zeit wird geredet von Zertifizierungen, ISMS oder IT-Grundschutz.

00:45:17: Und das ist alles wichtig.

00:45:19: aber man muss verstehen dass dieser Werkzeug, wir machen die IT eine Idee nicht sicherer.

00:45:24: Die sind da, um eine sichere Idee und professionelle Idee zu verwalten aber sie von sich erzeugen keine Sicherheit.

00:45:33: Und das heißt dass man muss erstmal die T-Infrastruktur sicher machen und professionalisieren unmodernisieren und erst dann diese Werkzeuge können das sicher verwalten.

00:45:44: und leider alles was wir sehen von Digitalisierung Strategien und Cyber Sicherheitsstrategien.

00:45:50: Sie reden darüber neue IT draufzubauen, neue Schichten darauf zu bauen.

00:45:57: Neue Portale draufzubau und da sieht man auch über ganz unser Studiensehen wie das die IT wächst.

00:46:02: also Digitalisierung wächst aber gleichzeitig End-of-Life-Systeme und verwundbarer Systeme wachsen überoperzional.

00:46:12: Die bleiben damit drin, es bleibt unsicher.

00:46:15: Es wird was draufgebaut und vergessen, was darunter was Unsicheres ist.

00:46:19: Vielleicht mal ganz kurz zurückzukommen zu dem Holy Grail, weil das gerade so schnell ging.

00:46:22: Du hast gesagt, dass die Berichte versuchen den Eindruck zu erwecken, dass hier eine wie so eine autonome SuperKI ist, die selbst Angriffe entwickelt.

00:46:30: Nach dem Motto der Andere muss nur sagen, greif jetzt hier mal den Bundestag an Angriff.

00:46:37: Und das ist aber nicht so, ne?

00:46:38: Das ist am Ende muss man sagen wirklich wieder Marketing der großen US-Tech Unternehmen.

00:46:43: Aber

00:46:44: wir müssen aufpassen dass wir in Deutschland die deutsche Behörden, dass die deutsche Politik nicht die Werbe aussagen.

00:46:52: Werbeargumente eines Herstellers übernehmen.

00:46:56: Weil dann übersehen wird, dass wir so viele Probleme in den darunter liegenden Schichten haben wie du gerade gesagt

00:47:01: hast.

00:47:02: Natürlich das ist erst Deutsche Behörden und deutsche Politiker sollen natürlich ... uns in Deutschland sagen, wie es ist was gebracht werden soll.

00:47:12: Also das heißt wir sollen erst mal überprüfen und helfen dann die Strategie machen und nicht einfach die Argumente eines Herstellers übernehmen.

00:47:20: und das war's ohne zu schauen was das ist und dass die Bedeutung ist.

00:47:24: natürlich glauben die Menschen wenn sie das hören weil das klingt sehr offiziell.

00:47:28: wenn einer Behörde oder ein Politiker sagt aus Sicht eines Menschen der keine Expertise in diesem Bereich hat wird sagen okay vermutlich.

00:47:37: Und dann glauben die Menschen.

00:47:38: Das bringt nichts, erzeugt Panik und auch keine wirklich sinnvolle Strategie ist.

00:47:45: Auch kein Druck in die richtige Richtung natürlich.

00:47:47: Wenn man sich zurücklehnen kann sagen jetzt ist die super KI draußen es tut uns echt leid wir können irgendwie haben richtig im Problem.

00:47:52: Dann vergessen die Leute vielleicht dass sie die Bundesverwaltung dran erinnern wollten das da viele ungepatchte Schwachstellen in den Systemen.

00:47:59: Wobei

00:47:59: das wäre jetzt nochmal meine Frage weil ich beschäftige mich gerade viel mit Hype oder mit dieser Hyptematik.

00:48:07: Es gibt auch Menschen, die sagen, Hype hat eine wichtige Funktion.

00:48:13: Aufmerksamkeit auf ein Thema lenkt.

00:48:16: Und nach dem Motto KIT Security ist wichtiger denn je, es gibt einen offenen Brief von vielen auch renommierten IT-Sicherheitsforscherinnen die fordern so eine Art Grant Challenge also das heißt im Prinzip so'n Art Wettbewerb wo man sich versucht noch besser aufzustellen in den ganzen Bereich IT Sicherheit.

00:48:38: Also das frage ich mich schon ob nicht dieser ganze Hype so negativ wie der aussahen mag oder ob das nicht auch hilft, Dinge anzuschieben und aufmerksam zu machen.

00:48:49: Auf genau solche Probleme die wir haben weil ich meine wir sprechen ja jetzt auch drüber ne?

00:48:54: Ja also wir sprechen Durium zu erklären was das eigentlich ist.

00:48:58: und aus der einer Seite hast du recht auf der anderen Seite diese ganze Initiativen und Capture the Flag oder KI Analyse von welcher Schwachstellen in KI es gibt oder was kann man mit Hilfe von KI machen?

00:49:12: Es gibt das schon, es gibt in Deutschland einige die so was machen.

00:49:15: Wir machen das auch solche Herkartons und das ist nichts Neues.

00:49:21: also ich denke Panik zu verbreiten das bringt wenig.

00:49:26: wir müssen strukturiert vorgehen Und das mit Thema mit KI-Thema.

00:49:32: Das ist nur ein Symptom für Für viele andere Sachen.

00:49:36: Wir müssen strukturiert vorgehen, wir müssen entscheiden was sind die Prioritäten in Deutschland?

00:49:42: Was sind die Prauritäten für unsere digitale Souveränität?

00:49:47: Was ist unserer Strategie und was brauchen wir?

00:49:51: Und dann einen Umsetzungsplan und strukturierend vorgehen.

00:49:55: KI ist ein wichtiges Thema.

00:49:56: Es ist überhaupt kein Zweifel, aber diese ganze Debatte dass jetzt eine autonome KI kommt und macht uns alles alle platt hilft nicht.

00:50:05: Was wir brauchen?

00:50:06: Ist einer Infrastruktur.

00:50:07: Wir brauchen einen nationale KI oder europäische KI.

00:50:12: Dass wir auch eigene Sachen entwickeln Nicht das wir denken was bedeutet die ganze Zeit mit Sachen von anderen Sondern dass wir auch lernen und dass wir eigene Expertise haben in diesem Bereich eigene Infrastrukturen haben.

00:50:26: Wie gesagt, wir haben damit angefangen dass eigentlich was bedeutet diese Berichter?

00:50:30: Sie sehen alles was sie machen oder sie sehen was wir fragen und es gibt auch ein bisschen so einer eine angespannte Atmosphäre zwischen USA und Europa oder Deutschland.

00:50:42: richtig stellt euch vor da sie sagen okay ab jetzt bekommt Deutschland nur Zugang auf schwächere Modellen Was wird das für uns bedeuten?

00:50:53: Oder überhaupt keinen Zugang oder Zugang auf etwas, dass wirklich nach uns ganz in insignifikante Asymmetrie hält.

00:51:01: Und das ist natürlich schon so, dass es ein Werkzeug macht alles effizienter, automatisierter und einfacher, das ersetzt großen Teams.

00:51:10: Und das ist so eine Frage, dass ich als Politiker würde sagen... Okay.

00:51:15: Was bedeutet das jetzt für mich?

00:51:17: Erst mal würde ich ... Ich wäre nicht ein Politiker, meine Weise!

00:51:21: Meine Empfehlung wäre ich als politiker.

00:51:23: Ich hätte gedacht, okay erst will ich verstehen was, was ist das wirklich?

00:51:27: Was bedeutet es und was sind die Sachen, die dringend gemacht werden sollen?

00:51:33: Und langfristig kurzfristig, langfristige.

00:51:36: Langfristig würde ich verstehen ok diese Sache Tatsächlich macht vieles effizienter.

00:51:42: Spartgeld kann viele Sachen beschleunigen in vielen Bereichen.

00:51:46: Das ist eine Technologie, das kann uns in der Zukunft souveränner machen und unsere Wirtschaft unterstützen.

00:51:54: Das müssen wir haben!

00:51:55: Dann würde ich alles einsetzen um sowas hier aufzubauen.

00:52:00: Und wenn wir nicht in Deutschland können dann auch für europäische Ebene einer europäischen Ebene ein europäischer KI-Infrastruktur Die wirklich aber so mächtig ist, wie die Modelle in den USA.

00:52:11: zurzeit gibt es sowas nächste in Europa.

00:52:13: Und in Deutschland auch nicht!

00:52:15: Wir hatten alle auf Alfa auch akquiriert und die KI-Firmen in Deutschland haben Probleme.

00:52:20: Alle eigentlich.

00:52:21: Auch die Belf.

00:52:23: Das ist was man sieht... das heißt Die Politiker müssen sich überlegen, was ist die richtige Strategie?

00:52:29: Was bedeutet das?

00:52:30: Wo wollen wir in fünf Jahren sein?

00:52:32: Nicht so nur vier Jahre Gedanke.

00:52:34: Weil das ist halt meine Zeit, in der ich... Nächsten Mal, ja!

00:52:38: Genau und nächstes mal ist egal, was denken wir danach?

00:52:42: sondern langfristig, was wird Deutschland voranbringen?

00:52:46: Aber ich

00:52:47: verstehe für einen solchen alarmistischen Paper quasi eigentlich sogar auf zwei Ebenen in eine falsche Richtung.

00:52:52: Das Eine ist, dass man eventuell aktuelle Reale gefahren übersieht weil alle vor der großen Super KI warnen und wie so erstarren davor das man ja eh nichts machen kann und dazu das wird vielleicht auch übersieht welche Gefahren die Abhängigkeit von US-Anbietern für uns bringen.

00:53:10: Und das finde ich wirklich, hast du ja vorgesagt.

00:53:12: Das Paper beruht unter anderem darauf, dass Google eben bei Jami Nine mitlesen kann was Leute machen und Du hast richtig gesagt es machen.

00:53:18: Die anderen Anbieter natürlich auch.

00:53:19: In Shopic hat das jetzt ja auch schon ein paar Mal gezeigt.

00:53:22: Nur haben sie eben nicht davon besprochen, dass Sie mitlesen was wir machen oder was vielleicht unsere Unternehmen machen.

00:53:27: Wie viel Intellectual Property da reinfließt?

00:53:29: Sondern sie sprechen natürlich immer nur darüber, was die Cyberkriminellen damit machen.

00:53:34: Aber das im Kopf zu haben ist super wichtig!

00:53:37: Genau und damit würde ich fast sagen... Haben wir es ganz schön gediebt Deift von den Problemen angefangen über historischen Backlash, über die Frage nach wie viele Schritte auf der Leiter oder auch nicht sind wir vorangekommen bis hin zu.

00:53:56: Wir brauchen eigentlich eine eigene deutsche oder europäische Lösung für das Thema.

00:54:02: Deswegen viel vielen Dank lieber Haia.

00:54:04: Schöntest du bei uns warst.

00:54:05: Toller Deep dive!

00:54:07: Sehr gerne.

00:54:08: Vielen Dank.

00:54:10: Ich

00:54:10: bin spannend.

00:54:11: Hätte noch weitergehen können.

00:54:14: Ich werde vielleicht nur eine letzte Frage.

00:54:15: Wann ist es denn so weit her?

00:54:17: Wann kommt die SuperKI, die auf Sprachkommando den Bundestag hackt oder die NSA?

00:54:23: Wie lange dauert's noch?

00:54:26: Die Frage von wie macht man eine Software sicher oder ein Code sicher, das ist eine fundamentale Frage und die Informatiker beschäftigen sich damit seit dann ... ich denke Achtziger.

00:54:37: Es war schon ein Problem in der Wissenschaft und es ist immer noch ein Problem.

00:54:42: Und das ist ein hartes Problem,

00:54:44: d.h.,

00:54:46: man hat gezeigt, dass man kann das nicht lösen.

00:54:48: Man kann nicht sagen mit Sicherheit was eine Software ausführt oder was ein Code, ein Programm ausführen.

00:54:55: D.h.

00:54:56: es ist ein Thema, das ist überhaupt nicht sicher, dass irgendwann wird in einem Zustand sein, dass wir sagen können okay diese Software wurde von KI produziert und ich vertraue hundert Prozent daran, dass es macht was es sagt das machen wird.

00:55:12: Ob wir da irgendwann sein werden weiß sich nicht weil ich denke ist halt ein ungelöstes Problem.

00:55:18: wie gesagt deshalb würde ich denke es wird immer ein Mensch sein in der Loop aber es wird sich beschleunigen Es wird sich verbessern und man sieht auch dass es verbessert sich Auch die Texte verbessern sich Die Qualität des Codes verbessert Aber es ist noch weiter davon entfernt, dass wir ja einen Mensch aus dem Loop haben können.

00:55:39: Deshalb denke ich für kritische Sachen, für Integration, für wirklich diese Gesamtwelt und Überfrühung wird man halt tatsächlich immer Menschen brauchen müssen.

00:55:48: nur der Unterschied ist das der Mensch wird ganz viel Expertise brauchen.

00:55:53: also um wirklich das Beste aus den aus der KI zu bekommen braucht man Expertise muss man das verstehen muss man alle diese Sachen verstehen, die die KI ausführt oder macht.

00:56:04: Und dann mit Hilfe von KI kann man signifikant den Prozess beschleunigen.

00:56:09: Das wird weiter einfach in dieser Richtung gehen und mit Schwachstellen vermutlich.

00:56:15: zurzeit kann die KI konkrete Arten von Schwachstellern erkennen.

00:56:19: Vermutlich wird das natürlich weiter sich entwickeln, dass sie werden neue Klassen und Arten vom Schwachstell entdecken können Und man wird mit Hilfe von KI-Signifikant auch die Qualität vom Code verbessern können und sich verteidigen können.

00:56:34: Und natürlich, auch die Hacker werden mit viel Hilfe von Ki mehr Schwachstellen finden können aber immer als Unterstützung.

00:56:42: Du sagst das ist die gute News sozusagen zum Ende dieses Podcasts?

00:56:45: Wir sind ... wir werden nicht komplett ersetzt, die Menschen werden immer gebraucht.

00:56:48: Das ist sogar doppelt gute News wenn wir an Cybercrime und Pionage denken weil auch das heißt nicht jedes der hergelaufene sagen jetzt mal Blöd, Skript-Kiddie kann die Zero Day gegen den Deutschen Bundestag finden mit KI.

00:57:01: Weil es eben Expertise braucht!

00:57:04: Vielen lieben Dank!

00:57:06: Das finde ich wirklich gut.

00:57:07: News zum Ende unseres Gesprächs.

00:57:10: Danke euch für das spannende Gespräch, das war's interessant und ein tolles Detail.

00:57:14: Vielen Dank, mach's gut, tschüss!

00:57:23: Und das wars von uns von Baytalk Tech, ein CT Podcast.

00:57:27: Schön, dass du da warst.

00:57:28: Liebe Haia!

00:57:29: Und auch schön, dass ihr uns zu unseren Folgen schreibt.

00:57:33: Wir haben einige Sachen gelesen auf Master Nine.

00:57:35: Gabs ein paar Mansions und eben ja auch auf LinkedIn.

00:57:38: Wir freuen uns sehr darüber.

00:57:40: Irgendwann machen wir mal bisschen eine gesammelte Folge dazu...

00:57:43: ...und

00:57:43: packen das alles

00:57:44: zusammen.".

00:57:45: Genau, wir hatten ja gesprochen über Vibecoding und Frage was ihr macht so mit VibeCoding.

00:57:48: Und wir haben auch viel weiter rumprobiert und wir planen eine Folge dazu.

00:57:53: Da werden wir eure Feedback- und Eure Beispiele nennen.

00:57:56: Das heißt wenn Ihr noch mehr Beispiel habt das macht Ihr denn mit KI?

00:57:59: Was denkt Ihr dazu?

00:58:00: Schreibt uns gerne da kommt eine Folge auf euch zu!

00:58:04: Das ist ein schöner Cliffhanger.

00:58:05: vielleicht schon beim nächsten Mal mal schauen.

00:58:08: Bis dahin,

00:58:08: macht's gut,

00:58:09: tschüss!

00:58:10: Macht's gut.

00:58:10: passt auf euch auf bis bald.

00:58:12: Das war Day Talk Tech, ein CT-Podcast von Svia Eckert und Eva Wolfange.

00:58:17: Musik und Produktion Marco Pauli.