Shitbait, Sehnsucht, Superintelligenz: KI Realitätscheck mit Miriam Meckel

00:00:17: Hallo und herzlich willkommen zu The Talk Tech.

00:00:19: Ein CT-Podcast, ich bin Svea Eckert, Tech Journalistin.

00:00:23: Und ich bin Eva Wolf-Angel, auch Tech-Journalistin.

00:00:26: Obwohl ich etwas fremde klinge.

00:00:27: Heute muss ich sagen, ich bin's.

00:00:28: Ich

00:00:30: bin heiser.

00:00:31: Genau.

00:00:32: Wir wollen euch keinen Stimmenklon von Eva verkaufen.

00:00:36: Der

00:00:36: würde auch für dich klingen.

00:00:38: Du hast dich heiser gesprochen auf einer spannenden Konferenz, auf der du gerade warst.

00:00:43: Hab ich gesehen.

00:00:45: Ja, genau, ich bin auf dem German Ovasp Day und da hab ich geredet.

00:00:49: Seitdem bin ich heiser, offenbar war meine Rede doch zu pessimistisch.

00:00:53: Das ist die Strafe wahrscheinlich, weil ich ... Ich hab über das Code Dark Age gesprochen.

00:00:59: Und meine Prognose ist eigentlich in der Vorbereitung, als ich den Talk angekündigt und abgesprochen hab, dachte ich, na ja, gut, ist da noch so eine Prognose, das Code Dark Age kommt noch.

00:01:09: Und als ich den Talk vorbereitet hab, währenddessen hab ich gemerkt, ich hab das Gefühl, wir sind schon ... quasi da und wurde immer pessimistischer.

00:01:17: Und genau

00:01:19: darum soll es heute gewesen.

00:01:20: Um The Next Age sozusagen oder auch ein bisschen um das Zeitalter, in dem wir gerade sind und genau was kommt, gerade in Bezug auf KI.

00:01:30: Und da haben wir auch gleich einen spannenden Gast, nämlich Miriam Meckel, also für Yvonne Micher so ein bisschen.

00:01:38: Die Mutter der KI, die Computerpaps sind oder wie man es nennen möchte, die uns schon ganz lange begleitet.

00:01:44: Eine deutsche Kommunikationswissenschaftlerin ist inzwischen Professorin in St.

00:01:49: Gallen an der Universität, aber ist auch bekannt, weil sie Chefredakteurin war, zum Beispiel von der Wirtschaftswoche über eine Zeit, weil sie zahlreich, echt spannende und gute Bücher geschrieben hat.

00:01:59: Also ein Riesending und sehr, sehr cool, dass sie gleich bei uns ist.

00:02:03: Ja, doch freut mich echt auch mega.

00:02:05: Ich hab sie erst mal kurz in meinem echten Leben getroffen.

00:02:07: Das fand ich echt auch lustig, weil ich schon, genau, der Name schon so lange in meinem Kopf ist.

00:02:11: Ja, wie schön, dass es geklappt hat, dass sie zugesagt hat.

00:02:18: Aber vorher, Eva, musst du mich einmal mitnehmen ins Dark Age.

00:02:21: Was hast du denn da erlebt?

00:02:22: Was ist denn der Geisterbahn der Zukunft?

00:02:25: Genau, so ein bisschen geisterartig war's.

00:02:27: Nee, genau, also die ... Die Bitte von der Konferenz war, der Keynote zu halten, so ein bisschen in die Richtung, was kommt denn auf uns zu?

00:02:33: Mit, klar, Code und KI, so, was sind so die großen Trends?

00:02:39: Und dann war in den Vorgesprächen immer so die Rede davon, wir sind ja trotzdem optimistische Menschen, vielleicht kannst du ein bisschen Optimismus reinbringen.

00:02:46: Und,

00:02:47: ja, ich mach die Folien rosa.

00:02:50: Genau.

00:02:51: Nee, hat auch nicht geklappt, die sind eigentlich auch ziemlich düster geworden.

00:02:54: Genau, das war der OWAS, bis ja die Open Source Foundation for Application Security.

00:03:00: Also Menschen, die sich die Open Source mögen und Sicherheit mögen.

00:03:04: Also eine richtig, richtig nette Community.

00:03:06: Es war richtig schön.

00:03:08: Es hat mir echt auch Spaß gemacht.

00:03:09: Die sind auch ja richtig mitgegangen mit dem Vortrag.

00:03:11: Haben sich gefreut auch über die ... die einen oder anderen düsteren Witz.

00:03:15: Der Optimismus kann vielleicht über das Lachen rein.

00:03:18: Aber während der Vorbereitung ist mir eben klar geworden, dass es gerade, wenn es um Coding und generative KI steht, wir wirklich einfach denkbar schlecht dastehen.

00:03:26: Die vielen Sicherheitslücken, die KI-Generator-Code generiert, erst mal.

00:03:30: Ich hab ja viel mit Entwickler und Entwicklerinnen gesprochen, die gesagt haben, bei ihnen macht der Job eigentlich keinen Spaß mehr, weil sie jetzt so viel solche KI-Tools nutzen und so, dass sie ... die kreative Arbeit einfach kaum noch selbst machen, sondern vor allem halt hinter der KI, hinterherräumen.

00:03:48: Und dann natürlich dazu kommen die ausgefeiteren Cyberangriffe, die wir ja auch sehen, die eben diese Natur von KI-Systemen nutzen, diese Social Engineering nutzen, also die Chatbots überreden, Dinge zu tun, die sie nicht tun sollen.

00:04:00: Und bei all diesen Dingen ist mir zu klar geworden, die sind Dinge, die liegen in der Natur dieser System und wir können die nicht... Also wir werden da nicht drüber hinwegkommen, selbst wenn die Anbieter noch so oft sagen, wir brauchen nur mehr Daten, wir brauchen nur mehr Rechenkapazität, dann wird das alles, sowie eben auch Haltsinationen.

00:04:16: Also die Natur dieser Systeme beruht ja auf Statistik letztlich oder eben keinem Verständnis.

00:04:22: Also das heißt auch diese Sachen, dass der Output der Systeme ... immer Qualitätsmengel aufweisen wird oder dass man ihn zumindest nicht überprüfen kann oder ja nur nutzen kann, wenn man ihn wirklich selbst überprüfen kann.

00:04:35: Und damit wird eben der Use Case wirklich sehr, sehr schmal.

00:04:38: Das ist mir auch noch mal so klar geworden, nachdem wir mit Frederik gesprochen

00:04:40: haben.

00:04:42: Wir fahren in einen Zeitalter der Mittelmäßigkeit hinein.

00:04:48: durch ChatGPT und andere KI-Modelle einfach so wahnsinnig viel Mittelmaß produzieren, produzieren können.

00:04:56: Und es hat irgendwie schon den Vorteil, dass Menschen überhaupt was produzieren können, die vorher nichts konnten.

00:05:01: Also vielleicht auch Stichwort Vibecoding oder so.

00:05:04: Also das enabelt ja auch viele.

00:05:06: Und auf der anderen Seite ist halt dann doch die Frage, okay, wenn wir aber eigentlich Exzellenz wollen und wenn wir Qualität wollen, also gerade ... für die Produkte, wenn was verkauft werden soll, wenn was sicher sein soll, hast du gesagt.

00:05:20: Ja, dann brauchen wir halt Exzellenz und Qualität.

00:05:23: Und da sind tatsächlich, also zumindest mit denen, denen ich gesprochen habe, ja genau, da hast du schon gesagt, da sind die Anwendungsfälle halt klein oder nicht so groß, wo man sagen kann, na ja, ist egal.

00:05:34: Ich habe mir ein paar GPTs gemacht, also ein paar Dinge automatisiert, die ich so mache in meinem Leben.

00:05:46: Klar, ich habe was schon funktioniert.

00:05:48: Gerade wenn du sagst, Enabler, weil man Sachen nicht kann, ich kann nicht coden.

00:05:51: Aber wenn ich was machen möchte, wo man ein bisschen coden können muss.

00:05:54: Kann man schon einen Chat GPT fragen, was muss ich denn da und da machen?

00:05:56: Also nicht so dieses Schreibt mir die App, aber hier gibt's folgende Möglichkeiten oder gar einfach von vorne irgendwie, was ich auch heute bis in der Recherche gehabt, ich will wissen, wie sicher kann ich rauskriegen, wo eine Website gehostet ist oder wo ein Facebook Account wo herkommt.

00:06:10: Also solche Dinge kann man Chat GPT gut fragen und dann kriegt man quasi wird man ein bisschen an die Hand genommen, sowas funktioniert.

00:06:16: Aber dann ist Wasser halt auch schon wieder, ne?

00:06:18: Und das habe ich dann so ein bisschen ... erzählt, dann habe ich ja diese Übersetzungsdrama gehabt, über das wir, glaube ich, schon mal gesprochen haben, wo ich die GPD gebeten habe, mir Transkripte zu übersetzen, die Deutsch-Englisch-Französisch gemischt waren und das dann angefangen hat, Dinge natürlich dazu zu erfinden und so weiter.

00:06:35: Es wurde halt immer, mir wurde immer klar, jetzt habe ich alles probiert, was mir so einfällt, was ich, wofür ich diese Tools nutzen kann, um mein Leben leichter zu machen.

00:06:43: Klar, da ist so ein bisschen Produktivitätsgewinn dabei, aber doch ... eher klein.

00:06:49: Und das vielleicht liegt

00:06:50: auch daran, dass du in einem sehr kreativen Beruf arbeitest.

00:06:54: Also weil das ist, glaube ich, nämlich einfach das Ding, dass einfach genau diese sehr kreativen Sachen, da werden wir, wie gesagt, alternativ von einem Flut, einer Welle an Mittelmaß überschwemmt und Ich denke, man muss vielleicht dann schon auch noch mal an andere Bereiche denken.

00:07:11: Also zum Beispiel, ich war jetzt unterwegs bei Otto, also Versandhändler.

00:07:17: Otto Katalog kennt mein Jahr.

00:07:19: Und was ja sicher viele wissen, ist, dass Otto einfach inzwischen einfach so ein Riesen-E-Commerce-Händler geworden ist.

00:07:26: Also, da gehört ja Bombri zum Beispiel dazu.

00:07:28: Ah, ist

00:07:29: okay.

00:07:29: About you gehört dazu.

00:07:32: Das heißt, die benutzen zum Beispiel aktuell KI dafür, dass sie Modelfotos machen.

00:07:39: Das heißt also Produkte, T-Shirts, Händen, wo du vorher das Hemp fotografiert und dann haben die das reingestellt.

00:07:47: Da prompten die sich jetzt die Models dazu, weil sie halt sagen, so kannst du als Kunden besser sehen, wie es angezogen aussieht oder kriegst du eine Idee dafür.

00:07:56: Also Beispiel auch sind so Sachen wie Größe ab zweihundf vierzig.

00:08:01: So was wird in der Modofotografie einfach gar nicht fotografiert.

00:08:05: Kann man jetzt einfach darstellen.

00:08:06: Also ich Ich fand das sehr spannend, weil die zumindest für sich so in diesem ganzen E-Kümmeresbereich doch ein ziemlich großes Anwendungsfeld sehen und auch sagen, wir können dadurch halt auch natürlich Kosten reduzieren.

00:08:18: Klar,

00:08:19: auf der anderen Seite hast du so was wie Modofotografiefragezeichen, wo dann Fotografen wegfallen.

00:08:26: Gleichzeitig hast du so was wie früher, als man irgendwie nach Kapstadt geflogen und eine Kollektion durchzuschuten.

00:08:32: Heute wird das im Zweifel ... entweder im Studio durchgeschultet und dann werden die Hintergründe KI generiert.

00:08:38: Stimmt,

00:08:39: das ist quasi der erste Schritt, dass man die Menschen noch machen lässt, aber nicht mehr so weit reisen muss.

00:08:43: Ja, die Gesichter, das, was man früher geschminkt hat, wird heute einfach mit einem KI-Filter draufgelegt.

00:08:49: Das ist ja praktisch irgendwie.

00:08:51: Ja, irgendwie praktisch, aber natürlich auch so, wow, was ist da eigentlich noch echt?

00:08:56: Und was man aber, finde ich, was man sich schon bewusst machen muss, ist, dass diese Large Language Model, die sind im Prinzip wie das Interface dafür, weil ja erst dadurch, dass du so was prompten kannst, wie mach mir da ein Berg hin oder mach mir deine Wüstenlandschaft hin.

00:09:13: machen wir ein Wohnzimmer hin, das soll so und so aussehen.

00:09:15: Erst das hat es ja möglich gemacht, dass wir Bilder überhaupt so generativ so einfach erstellen können.

00:09:21: Und das Ganze, denke ich, muss man schon auch noch mal weiterdenken auf die gesamte Industrie.

00:09:25: Also Beispielroboter, die Anzeigen ablesen sollen, die einfach durchs Werk fahren und die Anzeigen ablesen.

00:09:34: Jedenfalls ich weiß, dass dieses ganze Thema KI in der Industrie eine große Rolle spielt.

00:09:40: da noch Potenziale liegen, die weit über dieses Reine, ich prompte was, ich mach mir Text halt hinausgehen und ich denke manchmal fehlt uns da vielleicht auch die Fantasie oder...

00:09:51: Ach, ich weiß nicht.

00:09:52: Ich glaub, wir haben die schon.

00:09:53: Also klar, dieses Modellding, das ist natürlich, das ist eigentlich auch relativ naheliegend und auch klar, sobald man Geld sparen kann.

00:09:59: wird es auch gemacht.

00:10:01: Und das ist, ja, muss ich auch sagen, die Models.

00:10:03: Wenn ich ein Autokatalog anschaue, was ich schon lange nicht mehr gemacht habe, ist es für mich persönlich tatsächlich ein bisschen egal, ob das echte Menschen sind.

00:10:10: Dann möchte ich doch wissen, wie fällt dieses Kleidungsstück oder wie sieht es aus, keine Ahnung.

00:10:14: Und komm jetzt mal mit was Anderem und so weiter.

00:10:17: Ich glaube, das... Können wir uns eigentlich schon vorstellen?

00:10:19: Ich habe heute mit einer Freundin gesprochen, die hat gesagt zu Support-Geschichten, Call Center, weißt du, rufst Anwalt oder irgendein, keine Ahnung, irgendein Software, nicht verstehst oder irgendwas.

00:10:28: Habe ich mit meiner Steuersoftware schon ein paar Mal durch.

00:10:30: Ich ruf an, ich finde die und die Funktionen.

00:10:31: Wo hat sie die wieder versteckt?

00:10:32: Das ist doch bescheuert.

00:10:33: Warum könnte sie sich ein bisschen intuitiver machen?

00:10:35: Und dann sind da super nette Menschen am Telefon, die einem dann sagen, guck hier, guck da.

00:10:39: Und natürlich sowas, also language Models, die man verbindet mit so einer Wissensdatenbank.

00:10:43: Die können so was auch ersetzen.

00:10:44: Und ich würde mich auch gar nicht stören.

00:10:46: Oder wäre ich sogar angenehmer, als in der Telefonwarte lange zu hängen, wenn ich sage, ich finde diese Funktion nicht.

00:10:51: Wie kann ich meine Einnahmüberschussrechnung jetzt hier verschicken, dass ich einfach einmal diesen Satz eingebe in ein Chat-Bord.

00:10:59: Und dann die Antwort bekomme oder eben die Antwort, schau, hier steht es.

00:11:03: Das glaube ich auch, dass solche Dinge natürlich voll viel Geld sparen, weil sie am Ende menschliche Arbeitskraft einsparen, nämlich die Leute, die halt im Kursinter sitzen.

00:11:10: Aber die Frage ist auch trotzdem ... ist dieser Use Case groß genug.

00:11:14: Also ich muss oft in unserem Gespräch mit Friederike Kallthäuner denken, die auch gesagt hat, der Use Case ist so schmal für das, was es kostet.

00:11:21: Das ist genau die Sache.

00:11:22: Also was gibt es für Anwendungsfälle?

00:11:25: wo es wohl ist oder wo es einfach Produktivitätsersparnis einbringt.

00:11:29: Und dann muss aber der Mensch nochmal kontrollieren.

00:11:31: Dann ist es halt so, ich hatte ja einmal gesprochen mit einem Farbenhersteller, die ganz viele Versuche brauchen, bis sie die perfekte Mischung für die Kühlschrankfarbe haben oder für eine Farbe, um ein Schiff unten zu lackieren, dass die Farbe eben widerstandsfähig ist, dass es durch Kälte fahren kann und so weiter.

00:11:51: Und die haben mir eben erzählt, dass sie diese Anzahl der Versuche, die sie brauchen, um die Farbe zusammenzustellen, um die richtigen Chemikalien zu finden, dass sie das halt signifikant reduzieren konnten, dadurch, dass die KI ihnen Vorschläge gemacht hat, wie sie es mischen können.

00:12:06: Trotzdem muss am Ende, trotzdem brauchen sie am Ende Versuche, trotzdem brauchen sie am Ende den Chemikaner.

00:12:12: Und ich denke, es wird bei vielen Sachen so sein, dass es halt nicht ... dass die KI nicht hundert Prozent die Aufgabe ersetzt, sondern dass es halt so eine Art Hybrid ist, so ein Art hybrides Zeitalter, in dem wir jetzt sind.

00:12:26: Und die Frage ist halt, genau wie du sagst, also wie groß ist das Delta?

00:12:30: Das heißt also, wie stark sind wirklich diese Effizienzgewinne?

00:12:33: Und wiegt es das auf, was das ganze Zeug kostet?

00:12:37: Aber wir sollten es nicht zu weit vertiefen, Eva, bevor wir uns verlieren, weil wir haben ja noch eine Fachfrau genau zu dem Thema eingeladen, die schon ganz, ganz früh vorher gesagt hat, was da alles heute schon da ist und was noch so kommt.

00:12:53: Und auf die freue ich mich schon richtig.

00:12:56: Ja, ich freue mich auch, Miriams Perspektive zu hören auf all das, weil sie sich ja echt schon so lange Gedanken über KI macht.

00:13:13: Herzlich willkommen, Miriam Meckel.

00:13:15: Wie schön, dass du da bist.

00:13:17: Danke für die Einladung.

00:13:18: Miriam, wir haben uns ja vor ein paar Monaten auf der Verleihung der Rudolf-Liesel-Medaille kennengelernt, persönlich kennengelernt, die du auch gewonnen hast dann für herausragende Medienkommunikation.

00:13:29: Und das ist der älteste Innovationspreis Deutschlands.

00:13:33: Ich war auch nominiert und habe erst so ein bisschen mich gerade, ob ich damit gemeint bin, weil es immer so um Erfinder ging.

00:13:39: Also die weibliche Form kam gar nicht so viel vor in der Kommunikation.

00:13:42: Es freut mich total, dass du die gewonnen hast.

00:13:45: Und vor allem fand ich es richtig schön, dich an dem Abend endlich mal persönlich kennen zu lernen, weil dein Name natürlich schon mir total vertraut war, weil du gefühlt die Frau bist, die sich schon immer mit künstlicher Intelligenz beschäftigt.

00:13:57: Also ich habe bei vielen der Themen, die ich auch behandle, immer wieder deinen Namen gesehen und ich finde es super, dass wir heute mal sprechen.

00:14:03: Und wir würden vielleicht sogar direkt mit diesen Anfängen einsteigen, weil als ich Svea davon erzählt habe, ich habe Miria Meckel getroffen, hat sie sich als Fähngirl herausgestellt.

00:14:12: Denn Siegler hat nämlich dein Buch, dein Zwei-Tausend-Elber-Buch gelesen und hat da gesagt, da hast du schon ganz beeindruckende, wie sagen wir sagen, hellseherische Fähigkeiten bewiesen.

00:14:22: oder ja, vorher sage ich, aber Svea, ich spreche du.

00:14:26: Miriam, du hast ja Next geschrieben, das habe ich gelesen, Erinnerung an eine Zukunft ohne uns.

00:14:33: Vor euch da zu viel verrate, du hast dich damals schon richtig intensiv mit KI beschäftigt.

00:14:38: Wie bist du da drauf gekommen?

00:14:41: Na ja, ich habe wie viele andere wahrscheinlich auch angefangen mit den ganzen Computertechnologie- und Digitalisierungsfragen, die sozusagen ganz stark im Vordergrund gestanden haben.

00:14:52: Damals noch.

00:14:53: Damals ist ja wirklich jetzt auch dann lockerer, twenty-fünf Jahre plus her.

00:14:58: Und bin dann aber in diese eher systemischen Fragen reingerutscht und eben auch in das Thema KI.

00:15:06: Was ja damals ein ganz anderes war.

00:15:07: Da war ja keine Rede von Transformern oder von Generative AI und man konnte mit KI auch nicht sprechen, wie wir das heute können.

00:15:13: Insofern war das ein Thema, was damals ganz oft dazu gefüttert, dass Menschen mich so angeguckt haben, wenn ich darüber geredet habe und dann gesagt haben, klingt sehr kompliziert, sehr interessant, aber ist schon auch ein Nischen-Thema.

00:15:25: Und da muss ich heute ganz oft dran denken, wenn wir über nichts anderes phasenweise reden, ob das die Wirtschaftsentwicklung ist, ob das die Frage der Blase ist, wo meint es ja alles KI, Produktivitätsfragen.

00:15:38: Und das war damals überhaupt nicht so.

00:15:39: Und ich hab das nur unglaublich interessiert, weil ... Ich schon damals gedacht habe, wenn das irgendwann so kommt, dass wir in der Lage sind, wirklich auf Milliardendatensätzen Wahrscheinlichkeiten so zu prognostizieren, dass wir daraus auch neue Wirklichkeiten machen können, dann wird das Groundbreaking, dann wird das wirklich systemverändernd.

00:16:01: Und das hat mich dann über viele Jahre begleitet und hat mich, als ich ein Jahr am Bergman-Center in Harvard war, im Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr Jahr zu schreiben.

00:16:10: Nächste Erinnerungen an eine Zukunft ohne uns.

00:16:14: Und tatsächlich denke ich an dieses Buch manchmal.

00:16:16: Ich

00:16:17: auch.

00:16:17: Ich habe sogar einen kleinen Auszug mitgebracht und ich würde mal die ganz vorne, so ganz vorne, würde mal wirklich die ersten zwei, drei Sätze vorlesen.

00:16:27: Ohne Mist, ich bin ja das einfach so krass, dass du das zweitausend, also du hast ja noch früher geschrieben, zweizehn geschrieben hast du, Leute.

00:16:34: Jetzt seh ich euch das mal vor und ihr werdet denken so, hey, das hat die doch heute geschrieben.

00:16:39: Da steht so was wie, ich weiß alles über dich.

00:16:42: Ich weiß, was du liest und was du isst.

00:16:45: Wie oft du mit der Bahn verreißt oder das Flugzeug nimmst.

00:16:48: Ich kenne deine Schuhgröße und die Farbe deiner Kleider.

00:16:50: Ich kenne alle Leute, zu denen du Kontakt aufnimmst oder die dir etwas bedeuten.

00:16:55: Ich kenne deine Kreditkartennummern und die Details auf deinem Einkaufsbonds.

00:16:59: So kann ich Dinge bestellen, die du brauchst und dir wünschst, ohne dich vorher fragen zu müssen.

00:17:04: Ich weiß, was du fühlst, was du brauchst und was du magst.

00:17:07: In Wirklichkeit weiß ich es sogar besser, als du selbst.

00:17:11: Das hast du, das ist ja eigentlich das, worüber wir heute reden.

00:17:18: Ja, und ich muss rückblickend sagen, ich bin Rowold, meinem Verlag immer noch sehr dankbar, dass sie das gemacht haben, weil der wunderbare Sachbuchleiter Michael Naumann damals sagte, es ist jetzt nicht so was, was so leicht war für den internen Vermarktungspitch im Verlag, aber er hat es trotzdem gemacht.

00:17:36: Und das Buch ist auch tatsächlich sogar ganz gut gelaufen.

00:17:39: Ich glaube, heute würde es sehr viel besser laufen, wenn ich es heute veröffentlicht hätte, weil es natürlich wirklich sehr früh war.

00:17:44: Und ich habe eigentlich ja so eine Art Mischung aus einem Sachbuch und einer ... und die selbe Geschichte aus zwei Perspektiven erzählt, aus der Perspektive eines letzten Menschen, der eben sozusagen nicht aufgepasst hat, die Entscheidung selber weiter treffen zu können über das, was KI, was Algorithmen mit uns tun.

00:18:01: Und dann eben die gleiche Geschichte nochmal aus der Perspektive eines Algorithmus, der jetzt diese Entscheidungen übernommen hat.

00:18:07: Also die KI hat übernommen.

00:18:09: Ich habe sozusagen, wenn man aus heutiger Sicht, da habe ich damals, hätte ich das nicht so beschreiben können, aus heutiger Sicht würde ich sagen, den Tipping Point zu AGI.

00:18:16: Das ist vielleicht so der Zeitpunkt, wo dieses Buch angesiedelt ist.

00:18:22: Und damals habe ich noch gedacht, das ist schon sehr Science Fiction, aber es ist gesellschaftspolitisch und systemisch eben wirklich interessant, da jetzt drüber nachzudenken, um es dann... anders gestalten zu können.

00:18:32: Faktisch gestalten wir es genauso, wie wir immer alles drauf losgestalten.

00:18:36: Aber ja, es war vielleicht tatsächlich ganz vorausschauend.

00:18:39: Ich würde gerne noch einmal auch kommen auf das Ende von dem Buch.

00:18:43: oder ich sage mal, wie auch die Geschichte so ihren Lauf nimmt, weil Ende so ein bisschen friedvoll dystopisch dein Buch, wenn ich es mal so sagen darf.

00:18:51: Nämlich also die Maschine, die findet dann heraus, dass zum Beispiel der Mensch immer besser gelaunt, dass wenn er mehr Ich hoffe, ich krieg's noch richtig zusammen.

00:19:00: Also, wenn er ein bisschen süßer ist, als er das vielleicht gesund für ihn wäre.

00:19:04: Und sie kriegt also immer mehr raus, was sie tun muss und eigentlich den Mensch gut zu tun, sagen wir's mal so.

00:19:09: Und das führt einfach immer mehr dazu, dass der Mensch immer Träger und Träger wird und sie keine Entscheidungen mehr trifft und eigentlich am Ende quasi in die Maschine eingeht.

00:19:19: und sie werden eins, wenn ich's richtig erinnere und mich für die total interessieren.

00:19:24: wie du auf dieses Ende heute schaust.

00:19:27: Weil ich frag mich, natürlich habe ich mich damals gefragt und frage mich auch heute, ist es wirklich, kann uns das passieren?

00:19:36: Ich hoffe nicht.

00:19:37: Und ich glaube auch tatsächlich nicht, dass das die Perspektive ist.

00:19:40: Aber meine Art, über sowas nachzudenken, funktioniert immer so, dass ich denke, wir müssen die Gedankenräume öffnen, aller Möglichkeiten, die wir in der Lage sind, uns vorzustellen, um daraus abzuleiten, was könnte denn kommen, um es dann eben anders oder besser zu gestalten.

00:19:55: Und das ist jetzt nicht meine Traumvorstellung, dass wir irgendwann mit der Maschine verschmelzen, wenngleich wird das ja in Ansätzen Tonia, ob das wearables sind, ob das Robotics, die sozusagen auch mit dem menschlichen Körper sich sind.

00:20:07: Ich habe ein anderes Buch geschrieben, über Brain Hacking, also über Gehirnvernetzung mit dem Internet, um eine Brain Cloud zu etablieren.

00:20:17: Auch dazu gibt es ja längst Fortschritte, die weitergegangen sind, Menschen wie Elon Musk, die das unternehmerisch gestalten, medizinische Fortschritte, die ganz toll sind für die Menschen, die davon betroffen sind.

00:20:28: Also es gibt natürlich Schritte in die Richtung.

00:20:30: Aber der letzte Punkt, den wir auch in dieser ganzen AGI-Debatte, also der um eine allgemeine künstliche Intelligenz diskutieren.

00:20:39: Den finde ich wirklich schwierig, weil ich zum einen ganz persönlich sagen muss, ich mag dieses Leben und auch diese menschlichen Friktionen und Herausforderungen und Hindernisse durchaus gerne.

00:20:51: Ich finde, das ist das Interessante an unserem Leben.

00:20:54: Und wenn alles durch Technik glatt gemacht wird und glatt gebügelt wird, dann wird das kein spannendes Leben, das wird furchtbar, glaube ich.

00:21:00: Und das andere ist, Ich verstehe nicht, dass nicht der Überlebenswillen der menschlichen Spezies eigentlich dazu gereicht, dass wir diese Debatte anders führen, weil wir reden die ganze Zeit über unsere Selbstabschaffung in dieser LGI-Debatte und das finde ich absolut weird, absolut seltsam, dass Menschen das tun, weil wir können diese Technologie nutzen in allen Eckmodenten.

00:21:23: Aber dass wir die Entscheidung darüber behalten, wie wir sie nutzen, eine Technologie, die wir selber auch erfunden haben, das wäre schon eine Voraussetzung, die für mich wichtig wäre.

00:21:31: Das musst du jetzt kurz erklären, weil du sagst, wir reden über unsere Selbstabschaffung.

00:21:34: Also du meisterst diesen dystopischen Teil der EGI, die batte diese Warnungen davor, dass das am Ende zum Weltuntergang führen kann?

00:21:42: Ja, gar nicht unbedingt Weltuntergang, sondern eher eben die Perspektive, die wir ja in so Aussagen von Ray Kurz, weil über die Singularity haben.

00:21:51: Die wäre in Aussagen von Elon Musk über die Vorbereitung, damit AGI uns nicht alle umbringend haben.

00:21:58: Vladimir Putin hat sowas gesagt.

00:21:59: Sam Altman hat solche Statements im Gepäck.

00:22:03: Ich glaube, man muss doch einfach verstehen, dass es dafür Gründe gibt, warum Menschen solche Thesen aufstellen.

00:22:09: Das hat zum einen Marketinggründe für die großen Techfirmen, weil sie damit wunderbar ablenken können von den Problemen, die wir jetzt schon auf dem Tisch haben mit diesen Technologien.

00:22:17: Und das andere ist, dass das natürlich dystopische, angstmachende Vorstellungen sind, die Menschen einschüchtern und sie dann von einer aufgeklärten Art und Weise des Umgangs mit dieser Technologie abhalten.

00:22:28: Und deshalb finde ich das so merkwürdig.

00:22:32: Und du sagst aber, wir brauchen diese Debatte um unsere Selbstabschaffung gar nicht zu führen, weil wir haben es doch in der Hand.

00:22:37: Weil die Wahlen sind ja eher so ein bisschen in die Richtung... Also diese Logik, die da oft verkauft wird, ist ja so, die Maschinen werden intelligenter als wir Menschen und dann können sie uns quasi ausspielen oder können uns quasi so hinter das Licht führen, dass wir gar nicht merken, dass sie uns am Ende zu Sklaven machen und im Zweifel abschaffen.

00:22:54: So

00:22:54: wie in deinem Buch.

00:22:55: Ja, aber das ist ja keine Logik, sondern das ist ja eine Folge von Entscheidungen.

00:23:00: die wir als Menschen getroffen haben.

00:23:02: Also ich müsste ja, wenn ich mir das jetzt als Szenario ausdenke, müsste ich ja erlauben, dass ich eine KI unkontrolliert mit auch unkontrollierten Daten zu wechseln, trainieren lasse, sie dann unkontrolliert ins Internet-Stelle dort machen lasse, was sie machen will, um dann vielleicht dahin zu kommen zu irgendetwas, was dieses typische Büroklammerbeispiel ist.

00:23:21: Wenn die KI die Zielsetzung hat, so viele Büroklammern wie möglich zu produzieren, dann macht sie die gesamte Welt zu Büroklammern und wir werden ausgerottet.

00:23:29: Das ist ein Beispiel.

00:23:32: Wir haben diese Technologie erfunden.

00:23:35: Wir haben sie weiterentwickelt.

00:23:36: Wir sind dabei, sie immer weiterzuentwickeln.

00:23:39: An jeder Stelle haben wir die Chance, die Entscheidung zu treffen, wie wir das machen wollen.

00:23:44: Wenn ich dann in der Lage bin, nicht eben das so zu tun, dass ich im Grunde genommen im Wesentlichen rein kommerzielle Motive im Vordergrund habe oder Machtmotive, die nur individuell oder unternehmensbezogen sind, sondern wenn ich vielleicht über Motive nachdenke, die für die Menschheit interessant sein würden, dann haben wir es absolut in der Hand, das zu verhindern.

00:24:04: Und nicht zuletzt auch immer noch die Frage, was kann welche KI wirklich?

00:24:10: Also Eva erlebt ja gerade ihren KI Winter, weil Eva im Moment so unbegeistert ist von all dem, was ChatGPT wirklich kann.

00:24:21: Genau, ich hatte das ja nicht so in der Vorbereitung gesagt, dass ich das mit dir total gerne besprechen möchte, weil ich, also natürlich beruflich bedingt ganz, ganz viel Rumexperimentiere, vor allem mit ChatGPT, aber auch mit anderen generativen KI-Werkzeugen.

00:24:34: Und ich habe schon lange die These oder die Hypothese, also ich glaube nicht, dass große Sprachmodelle der Weg sind, der uns immer weiter in Richtung... Intelligenz in Anführungszeichen führt.

00:24:44: Die Frage ist ja auch, ob das überhaupt möglich ist oder was Intelligenz überhaupt ist und so weiter.

00:24:48: Aber mein Eindruck ist, ich bin mir eigentlich relativ sicher, dass man eben nicht auf Sprachdaten oder dem ganzen Internet basiert, so ein Verständnis von der Welt bekommen kann oder so ein System, so ein Verständnis von der Welt bekommen kann, dass es immer weitergeht und immer besser wird.

00:25:02: Und eben dieses AGI ist ja auch nur so halb definiert, aber so eine KI, die allgemein Intelligenz in Anführungszeichen ist, kann ja auch heiß eine KI, die wirklich ... Also erst mal zumindest alle Probleme löste ich gerade mit ihr lösen möchte.

00:25:17: Meine Prädiktion war eigentlich, es wird zum Plateau gehen, wo man merkt, okay, jetzt haben wir es durchgespielt und ich hab's gefühlt, das haben wir jetzt erreicht.

00:25:22: Also ja, mit ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch-ch.

00:25:36: Und genau, hat mich gerade an den Punkt sind, wo wir merken, okay, das ist ne Sackgasse.

00:25:40: Enchidification

00:25:41: greift.

00:25:41: Genau, du hast ja, genau.

00:25:42: Von dir hab ich ein schönes Titat gesehen, hierher vor kurzem.

00:25:45: Hast du auf LinkedIn gepostet.

00:25:47: Da hast du zu Sora kommentiert, dass es eben vor allem dazu beiträgt, dass man noch mehr ... Will produziert, platt gesagt.

00:25:54: Hier muss ich die Credentials gerade kriegen, der Begriff der Entshittification kommt vom US-amerikanischen Autor Cory Doctorow.

00:26:01: Und der hat das sehr schön erklärt.

00:26:02: Und das kann durchaus sein.

00:26:03: Und das hat genau das, was wir gerade besprechen.

00:26:05: Wenn KI-Tools jetzt auch entshittified werden, da liegt es daran, dass man die ganze Zeit drüber nachdenkt, wie man sie weiter kommerzialisieren, kommerzialisieren kann.

00:26:14: Ja, jetzt kommt Werbung in ChatGPT.

00:26:17: Ich verbinde all meine Apps mit ChatGPT und führe meine erotischen ... Gespräche mit Chelsea BT.

00:26:23: Das wird nicht dazu führen, dass wir die allgemeine generelle Intelligenz bald haben.

00:26:27: Kann ich voraussagen und da würde ich meinen Vermögen darauf verwetten.

00:26:31: Insofern, erst mal stimmt das.

00:26:33: Und ich kann schon auch nachvollziehen, was du sagst, weil ich glaube, wir müssten schon irgendwann jetzt mal anfangen, den Grundansatz zu hinterfragen.

00:26:40: Ich finde diese Sprachmodelle interessant.

00:26:42: Ich finde, man kann damit eine Menge tun.

00:26:43: Ich benutze die vor allem so als strategisches Sparringspartner in Ideen, Entwicklung und so.

00:26:48: Und dafür sind sie gut.

00:26:50: Auf der anderen Seite erlebst du halt, wenn du eine einfache Rechenaufgabe oder sonst irgendwas machst, da kommt ein großer Mist raus.

00:26:56: Wenn ich nach irgendwelchen wissenschaftlichen Artikeln frage, habe ich jedes zweite Mal komplette Halluzinationen.

00:27:03: Da gibt's nichts von dem, was Gegebity zum Beispiel aber auch andere Tools mir vorschlagen.

00:27:07: Weder die Autorin noch den Titel, das Journal gibt's nicht.

00:27:10: Also das ist alles sozusagen ... falsch probabilistisch zusammengebaut.

00:27:16: Und das ist die Technologie, die eben dahintersteckt.

00:27:18: Und die wird sich auch nicht ändern.

00:27:20: Deshalb würde ich dazu sagen, ich glaube, wir haben eine Riesenschance, wenn wir mal über small is beautiful nachdenken.

00:27:27: Kleine Modelle weiterzuentwickeln, was ja auch in Seattle, in vielen Bereichen jetzt sehr professionell passiert, die dann für ganz spezifische Anwendungen trainiert werden mit ganz spezifischen hoffentlich hochqualitativen Daten.

00:27:42: und die natürlich auch viel kostengünstiger und viel nachhaltiger arbeiten können.

00:27:46: Ich glaube, da ist eher die Richtung, die jetzt interessant werden würde.

00:27:49: Und dieser Compute-Maximalism, der aus dem Silicon Valley kommt, von den großen Modellen, der wird absolut an seine Grenze kommen.

00:27:56: Was passiert gerade in Seattle?

00:27:58: Das weiß ich gar nicht, erzähl mal.

00:28:00: Es gibt eine Company, die so kleine Modelle entwickelt, die halt zum Beispiel für spezifische Industrieproduktionsanwendungen mit den jeweiligen Industriedaten trainiert werden und dann eben ganze Industrieanlagen unterstützen können und so, wo du ganz konkrete Aufgabenbereiche extrem fokussiert Versuchst, über eine generative KI zu optimieren, die aber auf so qualitativ hochwertigen Daten basieren, dass das wirklich in dem Bereich passen kann.

00:28:30: Weil sonst, wenn du Sprachmodell auf irgendeine Industrieproduktion wirst, das ist eine Katastrophe, da kommt ja nichts vernünftiges raus.

00:28:37: Super spannend.

00:28:38: Wir hatten vorletztes Mal Friedrichke Keiltheuner zum Gast und die hat was ganz Ähnliches gesagt oder hat vor allem darauf hingewiesen, dass eben alles, was dahinter steckt, hinter diesen großen Sparmodellen und hinter generative KI jetzt gerade wahnsinnig, wie du sagst, groß und teuer ist und dass es eigentlich überhaupt keinen realistischen Use Case gibt, der also mit dem er das jemals bezahlen kann und dass eben der Use Case den diese generative KI abdeckt.

00:29:01: einfach sehr, sehr schmal ist.

00:29:02: Also, wie du sagst, klar, man kann da mit ein bisschen Gedanken-Pinkhorn spielen.

00:29:06: Ich lass dir noch mal Feedback geben zu meinen Texten und sag, was fehlt.

00:29:08: Welches Argument habe ich übersehen?

00:29:10: So Zeug.

00:29:11: Aber eigentlich ist es wirklich sehr, sehr überschaubar, wenn wir schauen, was unser ganzes Leben sonst so abdeckt.

00:29:15: Also, es ist ja eben nicht nur, wir sitzen am schreibtischen Arbeiten mit Texten und schon auch mit Texten.

00:29:19: Ganz, ganz hier, was man mit Texten machen möchte, funktioniert eben nicht.

00:29:22: Recherche, also, wie gesagt, Halluzination, das ist ja auch klar, da wurde uns immer versprochen, die kriegen wir in Griff.

00:29:28: Wir wissen ja genau, wie solche Modelle funktionieren, dass die eben bei DeFort haduzinieren, dass es gar nicht weggehen kann.

00:29:35: Und damit werden aber wirklich viele Use Cases einfach sinnlos.

00:29:40: Deswegen finde ich schon interessant, dass du sagst, dass es möglicherweise ein Weg ist, dass man quasi spezialisierte kleine KI-Modelle baut, die dann halt auch nur einen ganz, ganz konkreten kleinen Use Case haben und dann im Betrieb und in der Entwicklung günstiger sind.

00:29:53: Und die andere Frage, die ich hab, ist, Hat nicht generative KI eigentlich unseren Blick verstellte auf das, was eigentlich mit KI oder früher hatte man das Lernen gesagt.

00:30:02: Der Begriff KI war ja von Anfang an so ein bisschen Hype und Umstritten auch.

00:30:05: Also was man eigentlich mit KI oder Maschinen im Lernen machen kann.

00:30:09: Ich habe so einen Eindruck, wir denken jetzt nur noch an Text- und Bildproduktion, aber mit so klassischen, prädiktiven Modellen geht vielleicht sogar mehr Unsinnvolleres, wie siehst du das denn?

00:30:21: Also ich glaube, es gibt ja auch so ein paar Ansätze, wo versucht wird, ich glaube Diepsik hat ja auch in dem Bereich ein bisschen was gemacht und zu bieten, wo du versuchst, eben bestimmte regelbasierte Ansätze mit generativen Ansätzen zu kombinieren.

00:30:34: Also das ist glaube ich ganz gut, ist auch manchmal ganz gut, um die Halluzinationsneigung etwas auszugleichen.

00:30:40: Und was ich ganz interessant finde, ist, was jetzt so kommt.

00:30:43: diese Worldmodels, wo Jan Le Kuhn jetzt ja offenbar reingehen will, wo Faith E. Lee in Stanford eine Company gegründet hat, wo man also versucht, KI zu ermöglichen, eigentlich so zu lernen, wie Menschen, wenn sie klein sind und aufwachsen, auch lernen, durch Orientierung im Raum.

00:31:03: Zum

00:31:03: Beispiel ... ein Kind lernt, wenn ich einen Ball loslasse, fällt er runter.

00:31:09: Das ist dann Teil des Weltmodells.

00:31:11: Ich kenne es aus dem ganzen Bereich selbstfahrende Autos, die Weltmodelle benutzen, um zum Beispiel zu erkennen, ahah, das ist ein Fußgänger, wahrscheinlich bleibt er stehen oder geht halt weiter.

00:31:23: Das Gleiche gibt es eben für KI, also statistische Weltmodelle, die dann solche Muster, wie Ball fällt runter, wenn ich loslasse, abbilden, um daraus dann Erfahrungen anzuleiten.

00:31:33: bei Jande Kuhn gesprochen, der bei Meta großer KI-Vordenker war lange und der da jetzt raus ist und gesagt hat, so wie ihr denkt, wird es niemals kommen.

00:31:44: Genau.

00:31:45: Der sowieso erfürschend realistisch manchmal auf Dinge guckt, finde ich.

00:31:49: Also solche Stimmen gibt es ja zum Glück auch.

00:31:51: Und ich glaube insofern, dass da schon eine ganze Menge an ... an Entwicklungen noch kommen, weil diese generative KI so spannend sie bei Texten und Bildern ist.

00:31:59: Man muss ja schon, wenn man mal ein real welches Beispiel sich davor stellt, muss man sich klar machen, wie mühsam das ist.

00:32:05: Also wir Menschen sind ja schon an meinen Stellen eigentlich ganz gut gebaut, um es mal so zu sagen.

00:32:10: Ja, weil wenn du ein kleines Kind hast, das lernt, was ist ein Stuhl?

00:32:14: Dann muss ich nicht dieses Kind nehmen und um die ganze Welt reisen und in sevenhundert, dreieinachzig tausend verschiedenen Räumen, verschiedene Stuhlmodelle in dieses Kind einspeichern.

00:32:23: damit dieses Kind zu Hause irgendwann sagen kann, das ist ein Stuhl, wo ich drauf sitze.

00:32:27: Dieses Kind lernt einmal das ist ein Stuhl und hat sozusagen automatisch die Generalisierungsfähigkeit, die Kognitive, diese Intelligenzform, dann bei anderen Stühlen zu sagen, das ist auch ein Stuhl, dauert vielleicht zwei, drei Schritte.

00:32:40: Aber das ist bei uns ja turbomäßig.

00:32:42: Und wenn man das so vergleicht, dann versteht man vielleicht auch noch mal, wo die Unterschiede in Intelligenzen sein können.

00:32:49: Das werfen wir ja gerade auch so ein bisschen an, ist ein Topf.

00:32:52: Ich finde das super lustig.

00:32:53: Das alles, was wir jetzt gerade besprechen, dieses, ich habe vor bestimmt sieben, acht Jahren war Forscherin in Tübingen-Interview, die genau daran arbeiten, dieses One-Shot-Learning haben die gesagt.

00:33:03: Ich weiß nicht genau, ob es wirklich nur ein Stuhl ist, den man im Kind zeigt.

00:33:05: Aber wahrscheinlich, wenn das Kind alt genug ist, reicht es wahrscheinlich ein Stuhl.

00:33:07: Und das weiß wir immer, was ein Stuhl ist.

00:33:08: Und eben, man braucht keine Tausende, die versucht haben, das ein maschinelles Lernen einzubauen.

00:33:13: Echt gekämpft haben.

00:33:14: Und das Gleiche auch mit KI braucht ein Körper.

00:33:16: Auch das gibt's seit mindestens zehn Jahren.

00:33:19: Diesen Ansatz, dass Leute sagen, die müssen mit einem Körper lernen, genauso wie Menschen.

00:33:24: Aber irgendwie hat's ja auch ... Bisher ist es nicht vorangegangen.

00:33:27: Vielleicht brauchten wir diesen Umweg über generative KI, um draufzukommen, dass wir diese Ansätze weiterverfolgen.

00:33:32: Ich find's schon ein bisschen witzig, dass wir so ein bisschen zurückgehen auf diese Dinge, die

00:33:37: ... Das läuft schon.

00:33:38: Ja, das leuchtet ja auch.

00:33:40: Ja, vielleicht

00:33:41: sind wir jetzt ein Schritt höher.

00:33:42: Vielleicht geht es jetzt mit Deep Learning oder, weiß nicht, mit Nvidia Chips besser als vorher?

00:33:47: Ja, wie

00:33:48: siehst du es denn?

00:33:49: Wir hatten es vorhin schon mal so ein bisschen angedichtet, wie das jetzt möglicherweise weitergeht.

00:33:54: Weil es gibt ja jetzt schon einerseits dieses Paradigma oder vermeintliche Paradigma.

00:33:59: Wir brauchen mehr Rechenzentren, wir brauchen mehr Power, wir brauchen mehr Energie.

00:34:04: Und auf der anderen Seite gibt es ja auch schon diese Ansätze sozusagen, nicht spezialisierte Modelle.

00:34:08: Was ist denn so?

00:34:10: Dein Blick in die Glaskugel, ne?

00:34:12: Es hat gerade ganz viel diskutiert.

00:34:15: Also, die Glaskugel, die mir da genaue Ideen gibt, muss ich, glaub ich, erst mal suchen.

00:34:21: Aber ich, meine Erfahrung sagt mir, wir werden das parallel als Entwicklung sehen.

00:34:26: Das ist vielleicht auch ganz gut so, weil so was sich ja auch in einer Form von Wettbewerb dann wirklich gegenseitig unter Umständen befruchten kann und in der Weiterentwicklung helfen kann.

00:34:38: Diese ganzen Rechenzentren, die da gebaut werden, dieser Wahnsinn, der da gerade passiert, da muss ich ganz ehrlich sagen, da befürchte ich schon, dass wir irgendwann, dass uns das geweintig auf die Füße fallen

00:34:48: werden.

00:34:48: Das ist einfach, keiner braucht's mehr, ne?

00:34:50: Weil die Dinger so spezialisiert sind und dann stehen die rum.

00:34:53: Absolut.

00:34:53: Und das sind wie die Bundesgartenschau-Plätze oder Olympia.

00:34:57: Ich dachte, Olympia.

00:34:59: Das ist das Olympia des KI-Wettbewerbs.

00:35:02: Das steht dann da alles rum und in so Bundesstaaten wie New Jersey und Virginia.

00:35:08: Ja, und Arizona, wo viel Fläche ist, haben die dann diese ganzen Dinger da stehen.

00:35:13: Und faktisch kann man damit nichts mehr anfangen, wenn dieser Teil der Blase dann irgendwann platzt.

00:35:18: Weil ich befürchte, davon muss man schon ausgehen, dass das passieren kann.

00:35:22: Denn faktisch haben wir jetzt ja so viele Elemente, die schon ein bisschen schwierig sind.

00:35:27: Die ganze Schuldenfinanzierung dieser Dimension, die jetzt aufkommt, ist ein Problem.

00:35:32: Das Zweite ist, dass man sieht, dass die Abschreibungszeiträume der Techfirmen sich verlängern.

00:35:37: für Chips und das sind ja sozusagen Abschreibungsküter, die eigentlich immer kürzere Lebensdauer haben, weil immer schneller was Neues kommt in der Weiterentwicklung.

00:35:46: Und dann haben wir diese ganzen Zirkulärgeschäfte, wo die ganzen Tech-Companies sozusagen mit den Cloud-Anbietern und den Infrastruktur-Anbietern eigentlich alles auf einmal sind.

00:35:56: Anbieter, Kunden, Konkurrenten, sie verklagen sich am besten noch gegenseitig und so und das sind natürlich Situationen, die vermutlich nicht nachhaltig sind.

00:36:05: Wir hatten das hier vor, also zuletzt mit Friederik Kalkhäuener, aber auch davor, als es um das Rechenzentrum in München ging, was jetzt die Telekom gemeinsam eben auch mit Nvidia abbaut, wo man sich fragt, wie kann Nvidia gleichzeitig Investor und eben auch der Lieferant der Dinge sein, die es dann selbst bezahlt, nämlich dieser Chips.

00:36:23: Und ja, also ich bin so ein bisschen erschrocken, als mir das so klar geworden ist, was das schon für Kreislaufgeschäfte sind.

00:36:30: Was glaubst du, woran liegt es, dass die Blase noch nicht geplatzt ist oder dass das irgendwie immer einfach ... dass es wahrscheinlich immer noch weitergeht.

00:36:37: Ich schon, die Erwartung habe, dass diese Technologie nicht wieder weggehen wird.

00:36:43: Das heißt, da verändert sich ja gerade ganz grundlegend was.

00:36:47: Und bestimmte Prozessoptimierungen, sag ich mal, was Produktivität in Arbeitsprozessen, in der Wissensarbeit angeht, das ist ja schon ziemlich intensiv, was da passiert.

00:36:58: Ich glaube, wir nutzen das an vielen Stellen noch nicht richtig, weil Unternehmen das jetzt auf alles werfen, oder sie machen es auch noch gar nicht, wenn wir da richtig rausgekriegt haben, mit welchen Ansagen, man die besten Ergebnisse erzieht, dann glaube ich, wird das schon eine sehr nachhaltige Veränderung sein für auch das Wirtschaftssystem insgesamt.

00:37:16: Insofern, das ist ein positiver Punkt.

00:37:19: Und wenn man sich anguckt, dass das Blasen ja sehr unterschiedliche Komponenten haben können, dann wäre so eine infrastrukturelle Veränderung, wo also auf Dauer ganze Workflows und Produktivitätskomponenten verändert werden, ja etwas, was tatsächlich nachhaltig sein kann, wenn wir die Kosten und so weiter dann runterkriegen, so dass der Teil, glaube ich, Hoffnungsträger ist.

00:37:39: Diese Überdimensionierung, was über die Data Centers und so passiert, ist dann ein anderer Teil, von dem ich glaube, dass er irgendwann zusammenbrechen wird.

00:37:46: Und da das im Moment aber beides noch... im Rennen ist, so wäre meine Erklärung, haben wir da noch keinen vor die Wand fahren gesehen.

00:37:53: Gibt es da zurzeit eine große Fehlannahme, die wir in Deutschland haben?

00:38:00: Jetzt in Bezug auf die Digitalisierung und Zukunft der Arbeit, das ihr eben angedeutet, wenn wir da den richtigen und gute Wege finden, dann wird es viel verändern.

00:38:10: Kannst du da einmal konkreter werden?

00:38:12: Also, ich weiß, dass es viele umtreibt.

00:38:15: Stichwort Chattypti ist drei Jahre alt.

00:38:18: Viele denken, oh nein, werde ich in zehn Jahren oder in fünf Jahren meinen Job noch haben.

00:38:24: Wie schaust du da drauf?

00:38:26: Auch da schaue ich drauf, mit der Frage kriegen wir es in den menschlichen Entscheidungsprozessen hin, die richtigen Entscheidungen zu treffen.

00:38:32: Also, wenn ich als Unternehmen zur Linke gehe und sage, wir müssen jetzt ganz viel KI anwenden, damit wir unsere Workforce minimieren können, dann kann ich garantieren, dass das nicht klappen wird.

00:38:44: Die Leute sind sofort rennitent, die haben keine Motivation, KI zu nutzen und das Ergebnis wird nicht stimmen.

00:38:48: Das heißt, das ist eine ziemliche ... Eine ziemlich dumme Strategie ist eigentlich ein ziemlich dummer Ansatz.

00:38:55: Wenn man das so macht, sehen wir leider trotzdem, dass es passiert.

00:38:58: Wenn man es klug macht, dann glaube ich, ist die Kernfrage, wird es gelingen, Arbeit schöner und menschlicher zu machen?

00:39:07: Ich gebe mal ein Beispiel.

00:39:08: Wenn man KI nutzt, auch ... Agentische KI nutzt, um z.B.

00:39:12: die internen Workflows für Meetings so aufzusetzen.

00:39:16: Und das geht ja, dass alles automatisch aufgezeichnet, transkribiert, übersetzt wird in alle Sprachen, dann zusammengefasst.

00:39:22: Und die Aufgaben werden rausgezogen und den jeweils zuständigen Mitarbeitenden zugesandt.

00:39:27: Dann ist das ein Prozess, der mit KI vielleicht eine Minute dauert.

00:39:30: Und der hat früher mehrere Menschen mehrere Stunden beschäftigt.

00:39:33: Und keiner schreibt hier.

00:39:34: Wenn es darum geht, wer schreibt denn jetzt wieder das Protokoll für dieses Meeting.

00:39:38: Insofern, das meine ich mit Arbeit schöner.

00:39:39: machen.

00:39:40: Freiräume schaffen für die Menschen, die da sind, um wirklich produktivere, klügere, auch produkt- und kundenorientiertere Arbeit zu machen.

00:39:50: Ich glaube, dafür ist KI schon einsetzbar an vielen Stellen.

00:39:53: Da haben wir nicht alle bisher den richtigen Weg gefunden und den richtigen Ansatz gewählt, aber ich glaube, das würde gehen.

00:39:59: Und wenn das passiert, dann glaube ich, wird das gut.

00:40:02: Und der zweite Punkt ist, Ich denke dabei auch immer an ein Essay von John Maynard Keynes von neunzigfünfunddreißig, the economic possibilities of our grandchildren, wo er beschreibt, dass wir hundert Jahre später, das ist ungefähr jetzt in unserer Zeit, alle nur noch fünfzehn Stunden arbeiten werden, weil Technologie uns alles andere abgenommen hat.

00:40:24: Und ich mache das auch ganz oft, wenn ich Vorträge halte oder in Vorlesungen sage, wer arbeitet fünfzehn Stunden, natürlich meldet sich manchmal ein verrückter Mensch, der sich bestraut oder provozieren will, aber eigentlich meldet sich niemand.

00:40:34: Natürlich arbeiten wir mehr, weil Arbeit ja auch nicht nur das Erledigen von Dingen ist, sondern Arbeit ist ja für viele jedenfalls auch eine Form von Sinngebung.

00:40:43: Auch in der Rolle, eine Familie zu ernähren, für sich selber was gönnen zu können, sein Leben zu realisieren.

00:40:49: Und ich glaube, diese Komponente muss man bei der ganzen KI-Debatte unbedingt im Blick behalten.

00:40:53: Wenn wir die vernachlässigen, dann wird es nicht gut ausgehen.

00:40:57: Ich finde, das merkt man ja gerade ganz oft bei diesen Sorgen, die Menschen haben, werde ich ersetzt, werde ich nicht mehr die Dinge tun können, die ich eigentlich gerne im Tour, das ist eigentlich die falsche Richtung gehen.

00:41:07: Weil halt die generative KI jetzt schon ganz oft für kreative Arbeit eingesetzt wird.

00:41:12: Ich habe es erfahren, als ich mit Coderin und Codern gesprochen habe, die sagen, eigentlich macht mir Programmierend Spaß.

00:41:18: Und jetzt habe ich so KI-Systeme, die machen so ein bisschen eher, die sagen es wie so eine Horde an Praktikanten in dem ersten Jahr, die eigentlich noch nicht viel können.

00:41:27: die Fehler wieder rausbügeln und hinter denen aufräumen und sagen, es macht mir echt keinen Spaß.

00:41:32: Ehrlich ist es ja auch so mit Bildergenerierung, ich weiß Fotografen, Fotografin haben Angst, Grafik, Designerinnen, die spüren es auch ganz deutlich schon.

00:41:40: das, was sie eigentlich gerne machen, gut können, dass das jetzt Dinge sind, die halt mit KI erledigt werden.

00:41:46: Aber eigentlich nimmt uns da die KI die Dinge ab, die wir gar nicht hergeben wollen.

00:41:50: Und wie du sagst, es ist vielleicht sinnvoller, Freiräume zu schaffen, damit wir die Dinge machen können, auf die wir Lust haben.

00:41:56: Aber wie können wir diese Diskussion rumreißen?

00:41:58: Ich hab das Gefühl, das ist sowas von so tief drin.

00:42:01: Passiert halt einfach schon an so vielen Stellen.

00:42:04: Wie können wir da umkehren, um in eine gute Richtung zu gehen?

00:42:08: indem man sich vielleicht einfach fragt, was funktioniert denn wie.

00:42:12: Also wenn ich dir jetzt zuhöre, wenn ich durch ein Düsseldorf Flughafen laufe, da hängt eine Kampagne, das sind alles KI-generierte Bilder, und mich berührt die null.

00:42:22: Ich kann damit nichts anfangen, weil das siehst du, wenn du nicht am Kopf gefallen bist sofort, dass das der Fall ist.

00:42:27: Und ich glaube, Das ist jetzt eine Phase, weil alle denken, sie müssen es jetzt damit machen, weil man damit ja so, wann sich viel Geld sparen kann, alles so viel schneller geht.

00:42:34: Aber gerade im Kreativbereich bin ich ziemlich sicher, dass wir zu menschlichem Input und zu menschlicher Originalität zum Teil auch zurückkehren werden.

00:42:41: Mir

00:42:41: geht es so mit Buchcovern gerade so extrem in der Vorweihnachtszeit, wenn ich bei Talia durchlaufe und ich sehe diese KI-generierten Buchcover bei den Kinderbüchern zum Beispiel.

00:42:50: Ja, das ist wirklich, es gibt ja tolle Sachen.

00:42:53: Also ich nutze immer das Beispiel, von dem Bild The Electrician von Boris Eldaxen, dem Fotografen, der das beim Sony World Press Award in den Jahren.

00:43:04: Und dann gesagt hat, das ist übrigens mit KI gemacht, um eine Diskussion loszutreten, nachdem er den ersten Preis gewonnen hatte.

00:43:10: Und dieses Foto ist wirklich faszinierend, aber nicht, weil es KI gemacht hat, sondern weil er mit KI über einen Arbeitsprozess von, weiß ich nicht, zwanzig Schritten bei einem langen Zeitraum etwas entwickelt hat, was dann vielleicht nicht Fotografie ist, er nennt das Promptografie.

00:43:25: Aber was eine neue künstlerische Darstellungsform ist.

00:43:28: Und solche Ansätze, wo wir menschliche Originalität mit den Möglichkeiten der KI mischen.

00:43:35: Ich glaube, dann wird es interessant.

00:43:36: Und da bin ich hoffnungsfroh, dass wir dahin zurückkehren, tatsächlich.

00:43:41: Und damit auch die menschliche Arbeit da wieder einbinden.

00:43:45: Und dann kann das ja total Spaß machen.

00:43:47: Ich mache auch sehr viel mit KI.

00:43:49: Aber du musst natürlich auch ein Bild zu kriegen, was wirklich Freude macht.

00:43:54: dir in der Präsentation helfen kann, musst du dir Gedanken machen, wie du promptest.

00:43:58: Wenn du da einen einfachen Prompt rein schreibst, dann kommt da ein total generisches, absolut unbrauchbares Bild heraus.

00:44:04: Im KI-Bereich hat es immer einen blauen Farbton, das sind so Cyborgs drauf zu sehen.

00:44:09: Und so irres Straub, so Pseudo-Krypto-Zeichen.

00:44:12: Lila

00:44:12: Webseiten, das soll ein Hinweis dann auf KI-generierte Webseiten.

00:44:16: Aber sag mal, Miriam, ich würde gerne noch einmal einen kurzen Schwenk machen, auch um dich persönlich zu fragen, was dich ... eigentlich antreibt, weil wir hatten es erfohlen schon, als wir angefangen haben zu sprechen, dass du eben im Jahr zwei Tausendzehn schon dieses Buch geschrieben hast, was sich so intensiv damit beschäftigt hat.

00:44:34: Du bist jetzt mit Ada aktiv, immer noch aktiv in dem Bereich digitale Zukunft.

00:44:41: Also was treibt dich an?

00:44:43: Was feuert dich an, da weiter zu denken und da weiter zu machen?

00:44:49: Ich würde sagen, im Wesentlichen Neugier.

00:44:51: Ich finde es wirklich super spannend.

00:44:52: Ich finde es spannend, was wir wissen können, was wir uns vorstellen können darüber, wie unsere Welt, unsere Gesellschaft sich verändert.

00:44:59: An vielen Stellen im Moment auch frustrierend, muss man leider sagen.

00:45:03: Aber dann, um wieder darüber nachzudenken, was könnten wir daraus Besseres machen?

00:45:06: Wie könnten wir jetzt weichen stellen, um was zu verändern?

00:45:08: Also das treibt mich schon sehr an.

00:45:10: Und ich bin ... dann immer relativ früh mit zu Themen.

00:45:14: Das funktioniert manchmal auch gar nicht.

00:45:15: Dann haben andere eben kein Interesse daran.

00:45:18: Und dann bekomme ich auch keine Resonanz.

00:45:21: Aber es führt auch dazu, dass ich dann irgendwann immer wieder doch was Neues mir angucken möchte und wissen möchte, was kommt jetzt als Nächstes, um darüber nachzudenken, was das jetzt für unsere Gegenwart bedeutet.

00:45:32: Das ist eigentlich das, was mir wirklich total Spaß macht.

00:45:35: Und wie

00:45:36: gehst du mit so Stolpersteinen auch um?

00:45:38: Weil du hast eben gesagt, du bist auch manchmal so früh.

00:45:40: Und das kann ich mir auch gut vorstellen.

00:45:42: Da ist man wie so eine Kasshandrau oder so und alle, ja, alles klar oder so.

00:45:46: Aber wie gehst du mit so was um?

00:45:48: Wenn du weißt, du hast eine gute Idee oder das ist eine gute Idee, aber vielleicht ist die Zeit noch nicht reif oder du kommst dann so Bremsklötze.

00:45:57: Also ich kann manchmal versuchen, mich dann so ein bisschen zeitlich zurückzuhalten.

00:46:01: Das gelingt aber nur für eine gewisse Zeit.

00:46:04: Irgendwann habe ich dann einfach Lust, was zu machen.

00:46:06: Es gibt ja so ein Prozess, also bei mir ist das jedenfalls so.

00:46:09: Ich beschäftige mich dann über Jahre im Thema und dann gibt es irgendwie so ein Sättigungsgrad, wo ich dann das Gefühl bekomme, jetzt will ich das aber irgendwie rauskriegen.

00:46:16: Weil so ein Buch zu schreiben oder dazu, bei was zu machen, was auch immer, ob das eine Podcast-Serie oder eine Artikel-Serie oder ein wissenschaftlicher Aufsatz ist, führt ja dazu, dass man das für sich ... selber auch noch mal so richtig durchdenkt und aggregiert.

00:46:29: Und das möchte ich dann einfach tun und manchmal funktioniert es dann halt und das ist dann der richtige Zeitpunkt und manchmal auch nicht, aber das ändert nichts daran, dass es für mich ja dann ein echter Mehrwert ist, weil ich das Thema wirklich verstanden habe und ich zähre dann natürlich auch davon, weil irgendwann kommt es dann auch bei anderen an und dann kann man das dann eben, ob das in Lehrveranstaltungen ist oder bei Vorträgen oder so kann man das ja noch nutzen.

00:46:52: Also einfach das Vertrauen.

00:46:54: Also, die Hartnäckigkeit dran zu bleiben, aber auch das Vertrauen zu haben, ne?

00:46:58: Ja, und auch sozusagen eine gewisse Freude einfach aus der Beschäftigung mit der Sache selbst zu ziehen, ohne jetzt allein darauf zu gucken, funktioniert es in der Vermarktung, weil der Zeitpunkt gerade richtig ist.

00:47:09: Also, wenn ich mich darauf immer nur, das würde mich total stressen.

00:47:11: Und ich glaub, das ist einfach nicht so mein Angang.

00:47:15: Nee, der macht's doch keinen Spaß, ne?

00:47:16: Das ist ja einfach was eigentlich gerade wirklich bewegt.

00:47:19: Und jetzt nutzen wir vielleicht zum Abschluss noch deine Fähigkeit, Dinge vorherzusagen.

00:47:24: Was kommt denn als Nächstes?

00:47:26: Wo bist du gerade dran?

00:47:28: Also, mit ich mich relativ intensiv beschäftige schon seit einigen Jahren ist Quantum Computing als neue Emerging Technology, weil ich schon sehr interessant finde, als ergänzende Möglichkeit für Compute das in Betracht zu ziehen.

00:47:44: Ich glaube, wenn das kommt, wird das sehr spannend, weil wir dann etwas ... erreichen können, was wir mit KI so ja bisher nicht erreicht haben.

00:47:52: Also ich sag mal wirkliche Fortschritte in der Materialforschung, in der Pharmazie, in der Biochemie, auch was Heilungsmöglichkeiten, Medikamentenentwicklung angeht, was beispielsweise Nachhaltigkeitsfragen angeht, kriegen wir es hier irgendwann hin, ganze Mobilitätssysteme von Städten so zu steuern, dass Wir wirklich optimale Routen und damit optimale Treibstoff oder Elektrizitätsausnutzung haben, dass wir Städte grün und nahezu ohne Parken der Autos bewohnen können.

00:48:26: Das sind ja alles Vorstellungen, die wären großartig.

00:48:29: Und da, glaube ich, brauchen wir einen nächsten technologischen Schritt.

00:48:33: Dazu gehört das Quantum Computing.

00:48:35: Und da habe ich jetzt gerade ein dreijähriges Forschungsprojekt zugemacht, um zu gucken, wie fühlen wir die Diskussion über diese Technologie und machen wir das so, dass das jetzt schon wieder schwierig wird, weil wir die falschen Narrative und die falschen Annahmen haben und so weiter.

00:48:49: Und ich glaube, da könnte eine riesen Chance drinnen stecken.

00:48:52: Super spannend.

00:48:53: Jetzt sag noch mal kurz, warum können wir diese Dinge mit Quantum Computing erreichen, weil man viel, viel mehr Rechenpower hat und viel mehr gleichzeitig rechnen kann?

00:49:01: Genau, weil der Quantencomputer ja auf der Quantenphysik beruht.

00:49:05: Das heißt, du hast nicht wie beim binären Computer die Null- oder die Eins als Zustand, sondern du hast über etwas, was man Superposition nennt, die Situation, dass du Null- und Eins- und Zwischenzustände gleichzeitig haben kannst.

00:49:17: Die

00:49:17: Katze lebt oder auch nicht, genau?

00:49:19: Das ist dieses alte, die Eidegeschichte von der Katze.

00:49:21: Weil es für die Katze als Makro-Lebewesen natürlich nicht funktionieren kann.

00:49:25: Das ist das Lustige, das Erwin Schrödinger, dass eigentlich die Quantenphysik eigentlich absurdum ... führen wollte mit diesem Katzenbeispiel.

00:49:32: Und das ist das Beispiel, was ich am meisten über die Geschichte eingeprägt habe.

00:49:35: Ach so,

00:49:36: der wollte eigentlich sagen, ob das Quatsch ist und alle glauben,

00:49:38: dass

00:49:38: sie haben's verstanden.

00:49:39: Nee, nee, genau.

00:49:40: Also die Katze ist immer entweder lebendig oder tot.

00:49:44: Und das ist ja nur die Metaperspektive, wenn ich die Katze in der Kiste habe.

00:49:48: Und solange ich die Kiste nicht geöffnet habe, dann weiß ich halt nicht, ob die Katze lebendig oder tot ist.

00:49:52: Und das ist sozusagen der Zustand, den Quanten physisch, aber Atomare Teilchen tatsächlich einnehmen können.

00:49:58: Und damit wird sozusagen exponentiell... die Rechenleistungsfähigkeit gesteigert.

00:50:03: Super interessant, wenn du sagst, wir haben die falschen, oder möglicherweise die falschen Narrative.

00:50:08: Ich muss bei Quantencomputing immer sofort an Quantenverschlüsselung und vor allem Entschlüsselung denken und an die Gefahr, vor der ja viel gewarnt wird, dass künftige, nee, aktuelle Spione, spionenden Cyberangreifer in den heutigen verschlüsselte Daten sammeln können und in Zukunft entschlüsseln können, wenn es Quantencomputer gibt.

00:50:29: Ich find super interessant, dass du jetzt gerade so eine ... positive Version dieser Zukunft meist.

00:50:34: Als ich das immer tu, weil ich natürlich gewohnt bin, ich mach ganz viel Cybersecurity inzwischen vor solchen Sachen zu warnen.

00:50:40: Ist das schon Teil von diesem falschen Narrativ?

00:50:44: Also das ist ganz richtig, was du sagst.

00:50:45: Natürlich ist das so, dass ein Quantencomputer unsere jetzigen Verschlüsselungsmethoden locker knacken kann.

00:50:50: Und wir haben ja auch Beispiele, dass es Hacker gibt, die jetzt Datensätze bunkern, die sie dann sobald der Quantencomputer wirklich einsatzfähig ist, entschlüsseln, um damit Unternehmen zu erpressen und so.

00:51:01: Oder Geheimdienste.

00:51:03: Oder Geheimdienste,

00:51:04: absolut.

00:51:06: Man muss wirklich an der Stelle aufpassen.

00:51:08: Aber das gilt ja für jede Technologie.

00:51:10: Und ich finde es halt immer problematisch.

00:51:12: wenn wir das nur auf diese Angstfaktoren beschränken.

00:51:15: Auf der anderen Seite kannst du mit Quantencomputing Verschlüsselungsmöglichkeiten auf Basis des Shore Algorithmus machen, die einfach unknackbar sind.

00:51:23: Das wäre dann sozusagen die positive Variante dieser Zukunft.

00:51:27: Und ich glaube, dass wir ... und sehr immer auf sehr klassische negative Narrative beschränken.

00:51:34: Also die Cyber-Sicherheitsgefahr.

00:51:36: Dann hast du jetzt so eine Erzählung vom globalen Quanten-Computer-Wettbewerb, wo wieder China gegen die USA alles beherrschen und jetzt das Rattenrennen losgetreten ist.

00:51:49: Das hilft natürlich auch nicht.

00:51:50: Das sind immer alles angstbesetzte Themen.

00:51:52: die dann dazu führen, dass wieder Zurückhaltung gegenüber einer Technologie vorhanden ist, die wir eigentlich mit Volldampf gerade in Europa entwickeln sollten.

00:52:01: Vielen, vielen Dank für dieses Volldampfgespräch und für diesen tollen Deep Dive und ein bisschen Rundumschlag, den wir gemacht haben.

00:52:09: Also, ich würde sagen, Miriam, wenn du dich heute mit Quantencomputern so ausführlich beschäftigst, das ist ein Fingerzeug, das wir in zehn, nein, in zehn, zwanzig Jahren darüber wieder ganz intensiv sprechen.

00:52:22: Ich hoffe,

00:52:22: wir sprechen uns vorher, aber noch mal vielleicht noch mal zu einem anderen Thema, um auch zu gucken, wie fern unsere Prognosen, wie wir ... dass wir hier heute mal so rausgehauen haben, sich weiterentwickelt haben.

00:52:34: Danke, dass du da warst.

00:52:36: Das wäre sehr schön und vielen Dank für die Einladung.

00:52:38: Das war superinteressant.

00:52:39: Danke schön.

00:52:40: Ja, dann hoffentlich kommt bald mal wieder.

00:52:43: Wir haben noch viele Dinge, über die wir reden können, würd ich sagen.

00:52:46: Könnte man stundenlang weiter reden.

00:52:48: Ja, wirklich mal.

00:52:48: Total.

00:52:55: Und das war's von

00:52:57: We Talk Tech Ein City Podcast

00:52:59: von

00:53:00: Mia Svier Eckhardt.

00:53:01: Und Eva Wolf-Angel.

00:53:03: Musik und Produktion Marco Pauli.

00:53:05: Tschüss, macht's gut!