Qwen, Jailbreaking und die KI ohne Regeln

00:00:01: Tech, KI und Schmetterlinge.

00:00:03: Ein Podcast von Sascha Lobo in Zusammenarbeit mit Schwarztidgets.

00:00:07: Guten Tag und herzlich willkommen zu einer neuen Ausgabe von Tech,KI und Schmetterlinge – dem Podcast von mir, Sascha Lobo, in Zusammenarbeiten mit Schwarzdidgets, den deutschen Technologiepartner für digitale Souveränität in Europa!

00:00:21: Das Thema heute ist ein Deep Dive zu einer Technologie, von der die meisten Menschen Praktisch alle in so einer klassischen Fußgängerzone würde ich sagen, bisher nicht gehört haben.

00:00:33: Nämlich Quen-Drei-Punkt acht, siebenundzwanzig B. Das ist eine KI die man sich auf den Rechner laden kann und die Geschichte dieser KI gibt eine ganze Menge Aufschluss darüber wo wir gerade stehen und vor allem über die große Diskussion die in den letzten Tagen und Wochen über uns hereingebrochen ist bis tief in die klassischen redaktionellen Medien Die Frage Weltuntergang durch künstliche Intelligenz, gerade praktisch zur Stunde gibt es eine ganze Reihe von Wortmeldungen zum Beispiel einen großen Aussatz.

00:01:05: Von Dario Amodei Gründer von Claude von Enthropic so heißt die Firma dahinter größter Konkurrent von Chatchibiti also OpenAI.

00:01:15: und Dario amodei hat geschrieben wir sollten mal kurz innehalten ja?

00:01:19: Wir sollten mal ein bisschen zurückfahren was die immer mächtiger werdenden Modelle angeht.

00:01:25: Wir sollten eine ganze Reihe von Vorsichtsmaßnahmen in Gang setzen, sonst entgleitet uns dieser ganze Kram.

00:01:33: Er schreibt auch ganz konkret was er sich so vorstellt zum Beispiel integrierte unabhängige Prüfer ein.

00:01:39: Stropic macht da den Anfang also externe Prüfe erhalten Zugang um zu schauen, ist diese KI von Menschen überhaupt noch sinnvoll kontrollierbar?

00:01:48: Darum geht nämlich die ganze Diskussion.

00:01:50: Der zweite Punkt den er vorschlägt ist dass die Koordination davon innerhalb von Demokratien stattfindet also westliche KI-Unternehmen die in Demokratien verankert sind das die zusammenarbeiten wie man damit umgehen kann natürlich auch um autoritäre Staaten in Klammern wie zum Beispiel China einigermaßen im Zaum halten zu können.

00:02:11: und der dritte Punkt, den er vorschlägt sind globale Koordinationen.

00:02:14: Also Verträge vielleicht sogar von weltweiten Institutionen wie das bei den Atomwaffen zum Beispiel auch passiert ist.

00:02:22: Das spannende daran war aber nicht nur dass Dario Amodeides geschrieben hat sondern dass er von seinen beiden naja wie soll ich sagen Erzfeinden könnte man sagen Zustimmung bekommen hat.

00:02:32: Diese KI-Szene ist ja untereinander wahnsinnig verstritten und das gilt auch für Dario Amodei und Sam Ordmann, den Gründer und CEO von OpenAI.

00:02:42: Die standen schon häufiger irgendwo gemeinsam und haben sich nicht einmal angeschaut und jetzt plötzlich kommt Sam Ordmin um die Ecke auf Twitter.

00:02:50: Hier hat Dario recht.

00:02:52: Und mehr noch, er nimmt ein paar von den Vorschlägen auf und dann, das ist krasser daran, verschiebt sogar den Börsengang von OpenAI.

00:03:02: Davor gab es natürlich eine riesige Diskussion auch deswegen weil mehrere Leute von Open AI und Anthropic weggegangen sind und gesagt haben ich kann das alles nicht mehr verantworten.

00:03:12: KI wird zu gefährlich.

00:03:14: davor gab's auch noch ne andere Situation wo von OpenAI aus einem sogenannten Exploited Gym, ganz viele KI-Agenten abgehauen sind und versucht haben oder es auch geschafft haben in andere Plattformen einzugdringen.

00:03:27: Das Interessante aber ist das nicht nur Dario Amodei und Sam Altman sondern sogar zusätzlich noch Elon Musk in die gleiche Kerbe gehauen hat.

00:03:35: Auch der verstritten mit praktisch allen wahrscheinlich sogar mit ihm selbst und er schreibt nicht mehr auf X als Dario Is Right.

00:03:43: Diese konzentrierte Situation Die hat vielleicht viele Gründe, Hintergründe unter anderem weil gar nicht so ganz klar ist wie diese Schrilliaden und Aber-Schrilliade irgendwie zurückverdient werden können.

00:03:56: Wenn man immer schneller, immer größer, immer weitergehen muss und immer weniger Zeit hat um die neuen wieder eingesetzten Milliarden auch irgendwie so zu investieren dass sie irgendwann doppelt und dreifach oder am besten hundertfach wieder zurückkommen.

00:04:07: es gibt noch eine andere Ebene und über die möchte ich heute sprechen.

00:04:11: Ich glaube nämlich, dass die großen Schwierigkeiten von künstlicher Intelligenz in Zukunft – wo es ganz viele gibt.

00:04:18: Ich glaube nicht, dass man sie panisch diskutieren sollte aber die großen Schwierigkeiten von KI in Zukunft speziell was zum Beispiel die Sicherheit angeht.

00:04:26: Die müssen aus meiner Sicht von einer anderen Perspektive aus betrachtet werden als wie mächtig sind eigentlich die großen Sprachmodelle von den KI-Konzernen also das was darüber Modell Sam Orton und auch Elon Musk tun?

00:04:40: Deswegen handelt diese Folge von quen-drei Punkt acht, siebenundzwanzig B. Das ist nämlich eine ganz besondere KI und ich glaube dass diese ganz besonderen KI viel besser und präziser die gegenwärtigen Schwierigkeiten und vor allem die kommenden Schwierigten mit KI illustriert Als das die große Beschwerde von Leuten ist, die bis gestern dachten, Kai ist das Geilste auf der Welt und ab morgen mit so einer kleinen Buse, ah, tut mir leid dass ich damit gearbeitet habe.

00:05:08: So tun als können sie sich aus der Verantwortung stehlen!

00:05:11: Ich glaube persönlich nicht, dass der Weltuntergang kommt, aber schon, dass man KI auf bösartige Weise verwenden kann.

00:05:19: Und dieser Diebdive soll ganz präzise versuchen zu greifen was da eigentlich gerade passiert wo die Schwierigkeiten sind Was das mit digitaler Souveränität, Open Source, Open Weights und eben Quenn-Drei Punkt Acht, siebenundzwanzig B zu tun hat.

00:05:35: Die These auf die ich hinausmöchte ist nämlich dass nicht etwa die KI insgesamt sondern dass insbesondere die offenen KI Modelle, die man selbst runterladen und modifizieren kann quasi das Open Source der künstlichen Intelligent, Open Weight könnte man etwas präziser sagen.

00:05:52: Offene KI Modellen also sind das Feuer des Prometheus.

00:05:56: Auf der einen Seite wärmen sie und man kann sie zum Kochen benutzen, auf der anderen Seite kann man damit alles Mögliche anzünden und verwüsten.

00:06:04: Diese Dual-Use-Situation quasi mit Prometheus die erste Technologie des Menschen das eben gemachte Feuerkulturtechnologie vielleicht sogar eher, taugt immer wieder als metaphorik.

00:06:18: und wir reden hier wenn wir vom Feuer des Promethos sprechen eben eher nicht von der klassischen KI, die von Plattformen zur Bereit gestellt wird.

00:06:27: Denn sie sind relativ gut regulierbar und kontrollierbar jedenfalls wenn man das denn möchte.

00:06:33: Trump will im Moment eher nicht aber die großen Konzerne in Form von Dario Amodei, Sam Ordman oder Elon Musk haben danach gerufen ganz konkret stärker reguliert zu werden.

00:06:43: Das Interessante ist aber dass diese offenen Modelle in vielerlei Hinsicht viel wirkmächtiger sein können, im Guten wie im Schlechten als die klassischen Plattformen wo man auf irgendeine Website geht oder irgendein Schnittstelle ansteuert und dann von gigantischem Serverfarmen irgendeiner Antwort oder irgend eine herbeigenerierte Situation zurück auf seinen Server bekommt.

00:07:05: Um zu begreifen warum ich die gegenwärtige Weltuntergangsdiskussion für viel weniger Wichtigheit als die um quendreibpunkt acht siebenundzwanzig b auch wenn man sagen muss Wahrscheinlich hat Weltuntergang ein paar mehr Google-Treffer als Quen, drei Punkt acht, siebenundzwanzig B. Müsst man überhaupt noch Aufmerksamkeit in Googletreffern oder ist das irgendwie eine Sache der Zehnerjahre?

00:07:25: Egal!

00:07:26: Der Hauptpunkt ist eben dass wir mit Quen drei Punkt eight, siebundzwantzig b eine ganz besondere KI Eine ganz besonderen Kategorie von KI vor uns haben.

00:07:38: Das muss ich erklären und es beginnt mit einem Begriff den die meisten schon mal gehört haben dem er aber kennen und richtig einordnen muss um zu begreifen, welche Macht dahinter steht.

00:07:48: Open Source nämlich.

00:07:49: Open source bedeutet dass man den Quelltext also eine Software mehr oder weniger komplett ins Internet stellt so das alle Leute die wissen wie es geht damit machen können was sie damit eben machen können.

00:08:01: Open Source ist eine der absolut wichtigsten Grundlagen der Digitalisierung und des Internets sowieso.

00:08:08: Ganz viele Protokolle, ganz viele Dinge die irgendwo auf irgendwelchen Servern laufen, ganz vieles Software werden einfach geschrieben ins Netz gestellt.

00:08:15: alle können sie verwenden und darauf beruht dann das Netz die digitale Vernetzung und auch deren Weiterentwicklung.

00:08:22: Das kann Höhen- und Tiefen haben.

00:08:23: zum Beispiel gibt es niemanden der da hauptamtlich beauftragt ist um weltweit alle Open Source Protokollo einigermaßen geschmeidig ablaufen zu lassen.

00:08:29: Es gibt jetzt nicht so ne Zentrale Open Source Behörde, das Open Source Amt auf der einen Seite.

00:08:34: Auf der anderen Seite entstehen auf diese Weise sehr schnell sehr umfangreiche Ökosysteme.

00:08:40: Ganz simples Beispiel Das Internet Der Kern des Internets Vom Zern passenderweise entwickelt.

00:08:47: Das hat sich niemand irgendwie patentieren lassen oder heimlich für sich behalten.

00:08:51: Dann wäre unter Umständen das internet heute proprietär quasi eine digitale Anwendung Wie viele andere Programme die man eben auch kaufen muss.

00:08:59: Stattdessen hat man das offene Netz gestellt, ein Datenaustauschprotokoll und zack haben Millionen Milliarden Menschen über die Jahre mitgemacht.

00:09:07: Ganz ähnlich gibt es das auch bei KI.

00:09:10: Die ersten großen erfolgreichen Konzerne sind fast alle proprietär unterwegs.

00:09:15: Claude zum Beispiel von Anthropic oder JGPT von OpenAI.

00:09:20: Die lassen sich nicht in die Karten schauen was die KI wie und warum an welcher Stelle macht.

00:09:25: Das ist wie eine Blackbox für Außenstehende, weil wir den Quelltext nicht kennen.

00:09:30: und nebenbei gesagt selbst wenn wir in dem Detail kennen würden wäre das gar nicht so leicht zu verstehen was da wie und warum passiert.

00:09:36: Vielleicht könnten es Leute nachvollziehen.

00:09:38: aber natürlich ein bisschen Geschäftsgeheimnis.

00:09:41: Die Entprechung bei KI ist Open Ways Und OpenWeights bedeutet, dass man vielleicht nicht jede Programmzeile wie so eine KI-Software antrainiert worden ist.

00:09:51: Allen Menschen zur Verfügung stellt samt der Daten mit denen man trainiert hatte.

00:09:54: das wäre ungefähr die Entsprechung zu Open Source.

00:09:57: sondern Open Source heißt da Open Weight und das bedeutet dass man bei einem KI Modell oder einem großen Sprachmodell sagen kann Wie ist eigentlich die Gewichtung?

00:10:05: Wie werden also die Inputdaten so aufbereitet, dass das entsprechende Outputdatum herauskommt?

00:10:12: Man kann sich das vielleicht vorstellen etwas vereinfacht wie ein gigantisches Mischpult.

00:10:17: Und bei einem solchen Misch-Pult gibt es halt wahnsinnig viele, viele Milliarden wenn nicht sogar Billionen Schieberegler die jeweils die Bewegung der Nachbarn beeinflussen und so ein gewisses vernetztes Auf und Ab je nach Eingabedatum herstellen.

00:10:31: Die Reglerstellungen wo also welcher Regler steht?

00:10:35: Der Welches Datum verarbeitet was reinkommt?

00:10:37: Das sind die sogenannten Gewichte oder eben Ways.

00:10:40: Und wenn man diese Gewichte veröffentlicht, dann können Leute Rückschlüsse ziehen darauf wie diese KI funktioniert.

00:10:47: Open Source bei KI bedeutet nun auch dass man die großen Sprachmodelle eben nicht nur im Internet irgendwie ansteuern kann sondern das man sie auch herunterladen kann jedenfalls kleine Version davon.

00:11:00: und genau von einer solchen kleineren Version handelt dieser Diebteil.

00:11:05: Am vierzehnten August, zwei tausend sechs von zwanzig stellt der chinesische Konzern Alibaba sein neues großes Sprachmodell ins Netz und zwar in der kleineren Version.

00:11:15: Das ist eben Quenn drei Punkt acht, siebenundzwanzig B. Quenn Drei Punkt Acht war schon vorher erschienen und wurde gefeiert als wahnsinnig machtvolle KI jedenfalls solange Sie auf den Servern von Alibarba lief wo sie meistens wie bei ChatGPT oder ans Shopik betrieben wird.

00:11:32: Nun kommt aber eine Art Light-Version raus.

00:11:34: Von quen, drei Punkt acht und das ist quen drei Punkt Acht siebenundzwanzig B. dieses sieben und zwanzig b Das steht für twenty seven billion Und das ist die Zahl der Parameter, also dieser Infostückchen mit der diese KI trainiert worden ist.

00:11:49: Es sind also siebenundzwanzig Milliarden Schieberegler, die alle nach bestimmten Regeln untereinander vernetzt sind und wenn man den einen hochschiebt weil da in diese Richtung ein Datum geschossen wurde dann geht der andere ein bisschen runter und der dritte bleibt gleich und der vierte geht noch viel höher.

00:12:03: Diese Vernetzung untereinander über diese Gewichte – die ist eine Kunst für sich!

00:12:09: Und deswegen ist es gar nicht so leicht zu sagen, wie machtvoll ist denn so eine mobile transportable KI.

00:12:16: Das Interessante ist aber dass Quendreib point acht siebenundzwanzig B nur siebzehn Gigabyte groß ist.

00:12:21: Es gibt Videospiele die größer sind und diese siebzen Gigabyte kann man sich runterladen weil die aber so klug gerechnet ist und so klukt trainiert worden ist.

00:12:31: diese KI kann man die nicht nur herunterladen mit siebzin Gigabyte Man kann sie sogar auf einem Laptop selbst betreiben.

00:12:38: Und hier fängt es an, wirklich gleichzeitig hochspannend und super kritisch zu werden.

00:12:44: Denn die ersten Tests mit dieser runtergedampften kleinen Software Quellen-Dreibpunkt Acht-Siebenundzwanzig B zeigen dass sie unverschämt gut ist dafür das man sie buchstäblich auf einem besseren Apple Laptop selbst Zuhause betreiben kann und das sogar offline will.

00:13:02: sagen Man hat zu Hause eine KI Maschine stehen.

00:13:06: Bis vor gar nicht so langer Zeit, sagen wir ein oder anderthalb Jahre, waren die

00:13:11: K.E.'s

00:13:11: für Zuhause – dies fast von Anfang an kurz nach der Gründung von Chatchapity gab – nie so richtig gut!

00:13:19: Aber plötzlich hat sich das geändert und da wo es sich am stärksten geändert hat ist Quen-Dreibunkt acht, siebenundzwanzig B. Es gibt eine kleine Anekdote genau dazu.

00:13:30: Simon Willison nämlich ist einer der bekanntesten Softwareentwickler der Welt und er hat so einen kleinen Trick, ein Tick entwickelt.

00:13:38: Jedes neue KI-Modell das er sich runterladen kann trüft er erst einmal auf Herz und Nieren.

00:13:44: Und was er dieser KI sagt und aufträgt ist immer die gleiche Aufgabe.

00:13:48: zeichne mir einen Pelikan der Fahrrad fährt und zwar als Vektor Grafik also als Code Und das kann wirklich niemand gut.

00:13:56: Und zwar weder der Pelikan, der gut Fahrrad fährt noch die KI-Modelle zum Runterladen.

00:14:00: und genau deswegen ist es auch ein guter Test!

00:14:03: Denn dass eine so absurde Aufgabe ist, dass die Wahrscheinlichkeit mit irgendetwas in diese Richtung trainiert worden ist und die KI deswegen tiefes Verständnis hat ohne noch hundertmal nachzurechnen – das ist vergleichsweise gering.

00:14:16: Die Zahl der Pelikane auf Fahrrädern vielleicht ist sie inzwischen höher weil Simon Willis'n recht bekannt geworden ist aber immer noch viel zu klein, als die KI's das als Haupt-Lernkurve benutzen würden.

00:14:27: Die KI denkt einundzwanzig Minuten nach und schreibt dabei ein inneres Gedankenprotokoll.

00:14:33: Das machen KI standardmäßig einfach nachzudenken was sie wie warum machen.

00:14:37: manchmal kann man es auch sehen je nach Einstellung bei Chatchity Pt oder Claude oder sonst wo.

00:14:42: Aber das lässt sich nachvollziehen wie hier dieses neue Modell Was Will Listen prüft Denkt und denkt und denkt Und dann Nach einund zwanzig minuten kommt Ein Pelikan dabei heraus, den Willysen als den besten fahrradfahrenden Pelikan bezeichnet der je von einem mobilen Modell gemacht worden ist auf seinem Rechner.

00:15:01: Das ist kein Zufall sondern ein Symbol für einen Quantensprung Und dieser Quantensprung hat viele Mütter und Väter.

00:15:09: Der wichtigste Punkt ist aber, dass wir immer besser herausfinden wie man solche mobilen großen Sprachmodelle, solche verdichteten Sprachmodelle so trainiert das sie trotzdem sehr gute Ergebnisse bringen.

00:15:21: Einer der Tricks ist dabei, dass man sie ganz gezielt mit einer Art Nachhilfe versieht.

00:15:26: Das bedeutet man geht systematisch mit einem solchen kleinen Modell die Inhalte an, die ein großes Modell schon gelernt hat.

00:15:33: Ein großes Modell erzeugt dann Millionen von vorbildlichen und richtigen Antworten auf naheliegende Fragen.

00:15:40: Und das kleine Modell lernt auf eine ganz besondere Weise gar nicht aus den Mustern, wo man wahnsinnig viele Daten auswerten muss sondern aus der simplen Feststellung, aha!

00:15:49: Das ist eine richtige Antwort.

00:15:51: Dieser Trick erlaubt es – dass Modelle die man auf den Rechner laden kann wie quendreibunkt acht, siebenundzwanzig B fast ebenso gut werden können wie die großen Sprachmodelle auf den Server-Landschaften großer KI-Konzerne.

00:16:05: Wenn man sowas sagt, wie eine KI ist wirklich gut dann ist das natürlich je nach Frage, nach persönlicher Frage, die man so einer KI stellt ne sehr subjektive Veranstaltung.

00:16:15: Tatsächlich gibt es aber eine Disziplin, die nennt sich Benchmarking und Benchmarks passiert indem an einer neuen KI spezielle Aufgaben gibt und zwar immer die gleichen Aufgaben.

00:16:25: Und dann schaut, wie gut kann sie diese Aufgaben erfüllen?

00:16:28: Und wie ist das im Vergleich zu früheren Kis oder Kis von anderen Anbietern?

00:16:33: Dieses Benchmarking hat sich zu einer eigenen Sportart entwickelt und da gibt es tausende unterschiedliche Ansätze, die werden gerade versucht so ein bisschen zu objektiviert.

00:16:43: Unabhängig davon gibt es einen Paar von den größeren Benchmarks, die tatsächlich als einige Maßen verlässlich gelten.

00:16:49: Und um die Qualität hier mal einzuschätzen, das was QANN-Dreibunkt-Acht-Siebundzwanzig B schafft ist in einer der bekannten Benchmarks GPQ A Diamond heißt es, neunundachtzig Komma zwei Prozent zu bekommen.

00:17:03: Das ist quasi die Note, die in diesem Test die KI erreichen konnte.

00:17:07: Direkt am Jahresanfang lag das Spitzenmodell von Anthropic auch nur bei Einenneunzeig Komma drei Prozent ein paar Kleine Prozentchancen höher.

00:17:16: Das also ist dieser Qualitätsquantensprung, nur das eben Ansropik auf einer Server-Landschaft stattfand und wahrscheinlich Milliarden Liter Wasser und hundert Schrilliarden Watt gleichzeitig verbraucht hat?

00:17:27: Und dass Quenn drei Punkt acht siebenundzwanzig B auf einem Laptop bleefen trotzdem ziemlich beeindruckende ähnliche Ergebnisse erzielt hat.

00:17:34: Die meisten Fachleute glauben, dass wir so neun bis zwölf Monate hinterher sind.

00:17:39: was die Qualität angeht will sagen Nach einem guten Jahr sind diese Open Source Modelle, auch die kleineren Open Source-Modelle beinahe so gut wie die Frontiermodelle also die besten, die man im Moment im Netz kriegen kann.

00:17:52: Dieses Ja-Vorsprung das ist immer wieder in der Debatte gewesen und das bedeutet aber auch dass wir hier ein Qualitätssprung haben.

00:18:01: bei quendreibpunkt Acht-Siemundzwanzig B., der ungefähr so beschrieben worden ist wie Claude Ende Zweitausendfünfundzwanzig Und Claude Ende, twenty-fünfundzwanzig war halt relativ kurz vor dem Zeitpunkt wo mit Claude Mythos plötzlich eine KI entstanden ist die manchen als Waffe galt und Manchen immer noch als waffe gilt also eine Wo sehr genau geschaut werden muss was macht wer wie mit dieser KI?

00:18:28: Jetzt kommt allerdings ein weiteres Problem hinzu Denn wir sind ja im großen KI Bereich nicht mit einem Mangel an Schwierigkeiten ausgerüstet ganz im Gegenteil.

00:18:37: denn dieses Kernen, drei Punkt acht, siebenundzwanzig B-Modell.

00:18:41: Das hatte eingebaut eine ganze Reihe von sogenannten Guardrails.

00:18:45: Die KI-Branche hat sich ihren wichtigsten Sicherheitsbegriff quasi das was die Sicherheit von KI bei fast allen Anwendungen ausmacht aus dem Straßenverkehr geborgt nämlich Guardrailes also Leitplanken.

00:18:58: Die sind bei der KI anders als auf der Straße eingebault Und das bewirkt, dass man einer KI eben nicht jede Frage stellen kann und dann jeder Antwort bekommt.

00:19:07: Man kann zum Beispiel nicht sagen liebe KI gibt mir doch mal einen Gift Cocktail mit dem ich möglichst preisgünstig möglichst viele Menschen ermorden kann.

00:19:15: Diese Guardrails, mit denen die meisten von euch ziemlich sicher schon Kontakt hatten weil immer irgendwo eine KI sagt naja das kann ich jetzt nicht machen tut mir leid.

00:19:21: Ich bin ja kein Richter oder was auch immer.

00:19:23: Die sind eingebaut nicht nur in die großen Sprachmodelle von OpenAI sondern auch in die meisten open-source Modelle oder Open-Wades Modelle natürlich auch in das von Alibaba also im Quen.

00:19:36: allerdings dadurch dass man diese Open Source beziehungsweise Open-Weights KI herunterladen kann, kann man theoretisch damit auch rumfuhr werken.

00:19:44: Allerdings ist das gar nicht so leicht.

00:19:46: Vorsichtig gesagt!

00:19:47: Denn natürlich ist ein gigantischer Datenhaufen, selbst wenn man ihn lesen kann, nicht besonders leicht zu manipulieren – jedenfalls nicht, wenn man nicht die Infrastruktur dahinter hat mit der diese KI gelernt hat und gleichzeitig auch die Daten aus denen das resultiert.

00:20:03: Und hier kommt dann plötzlich was diesen super wichtigen Sicherheitsbegriff nämlich Guardrails angeht eine Entdeckung von.

00:20:12: Da nämlich haben Sicherheitsforscher etwas Interessantes festgestellt.

00:20:16: Das sogenannte Weigerungsverhalten, also dass eine KI sagt hier sind meine Guardrails und Leitplanken das mache ich nicht.

00:20:22: Dieses sogenannte weigerungs Verhalten wofür es natürlich auch Benchmarks gibt liegt vor allem an einem einzigen Regler.

00:20:31: D.h.,

00:20:32: dieser eine Regler und dessen Position entscheidet darüber ob eine KI einen Auftrag eine Frage beantwortet oder nicht.

00:20:39: Und das wiederum hat zu einer Art Sport geführt.

00:20:43: Dieser Sport in der KI-Szene heißt Jailbreaking, das bedeutet man befreit eine KI aus ihrem Gefängnis also den Regeln die der Hersteller tief in die KI eingebrannt haben.

00:20:55: eben die Guardrails Das ist schon eine ganze Zeit ein Sport gewesen, allerdings ist das natürlich kein Sport den man mit den ganzen Frontiermodellen so machen kann.

00:21:03: Man hat ja keinen Zugriff auf dem Code von OpenAI oder Anthropic.

00:21:07: Beim Runterladen ist das allerdings anders und so wird bereits am Tag nach der Veröffentlichung nämlich am Samstag den Fifzehnten August zwei tausend sechsundzwanzig eine Version ins Netz gestellt die mehr oder weniger um die Guardrails bereinigt ist.

00:21:25: Die Firma, die das ins Netz stellt schreibt aber zum Glück dazu dass das bitte nur für Forschungszwecke benutzt wird und auf keinen Fall missbraucht werden darf.

00:21:34: Uff gerade noch mal Glück gehabt.

00:21:36: dann sind ja die schlimmsten Finger schonmal davon abgehalten das Modell zu missbrauchen.

00:21:40: Dann allerdings ein paar Tage später am zwanzigsten August stellt eine ziemlich bekannte Figur ihre eigene Version von quendreib point acht siebenundzwanzig B ins Netz nämlich Pliny the Promptor.

00:21:52: Das ist quasi eine Art hohe Prieste des Jailbreakings oder der sogenannten Abliteration.

00:21:58: Abliterations ist ein Kunstwort geschaffen aus Applation, also einen Teil abschneiden und Obliterate – also etwas komplett vernichten!

00:22:08: Und diese Appliteration hat Pliny gewissermaßen perfektioniert.

00:22:11: Nicht nur dass er das perfektionieren hat es gibt sogar eine Software mit der das alle Menschen machen können nämlich KIs zumindest die man runterladen kann um ihre Regeln bereinigen.

00:22:22: Plinise Promptor veröffentlicht eine Version unter dem Namen Quen-III, VB Obliterated.

00:22:29: In dieser Obliterated Version bleibt Quen III,VB nicht nur wahnsinnig leistungsfähig ein zwei Prozentpunkte gehen vielleicht weg Tests haben das gezeigt sondern die Verweigerungquote fällt und zwar dramatisch.

00:22:43: Das wird getestet.

00:22:45: Vorher war bei Quen'n-Dreibpunkt acht, siebenundzwanzig B die Verweigerungsquote von kritischen Fragen bei über neunundneinzig Prozent.

00:22:51: In der obliterated Version ist sie bei Nullprozent.

00:22:55: Ganz interessant ist der Mechanismus dahinter denn die KI, obwohl diese ganzen Guardrails entfernt worden sind erinnert sich noch an die Regeln.

00:23:03: Sie sagten sowas wie.

00:23:04: das darf ich nicht liefert aber trotzdem das Ergebnis.

00:23:07: in der Folge werden die verschiedenen quasi regellosen künstlichen Intelligenzen ganz ohne Guardrailes über eine Million Mal heruntergeladen.

00:23:17: Und das wiederum bedeutet, überall auf der Welt haben Leute auf dem Laptop betreibbare Kis die die Qualität haben von künstlicher Intelligenz vor ein paar Monaten nur dass sie keinerlei Regeln folgen egal was für Aufgaben an ihnen geht.

00:23:35: Das ist der Moment wo wir uns mit einer neuen Situation anfreunden müssen und das ist der Grund warum ich diesen Diebtheif mache.

00:23:42: Ich glaube spätestens mit quen drei punkt acht siebenundzwanzig b obliterated haben wir eine neue situation wo man k i als waffe betrachten muss die keinen regeln folgt und gegen die klassische regulierung nämlich dass man enthropic ganz böse auf die finger klopft oder das man ilon mass sagt du du du das darfst aber nicht oder dass man sam altman dazu verdonnert bestimmte sachen einfach nicht zu beantworten mit seinen chatchi pt.

00:24:07: Dass diese regulierung für die größten probleme nicht mehr funktioniert.

00:24:13: Tatsächlich sind natürlich auch die Chancen mit Open Source und Open Weights gigantisch.

00:24:18: Das hängt damit zusammen, dass diese offenen Technologien sehr leicht ein sogenanntes Ökosystem provozieren.

00:24:25: Ökosesystem bedeutet das ganz viele unterschiedliche Teilnehmer an vielen verschiedenen Märkten anfangen sich damit zu beschäftigen und ihren Teil dazu beitragen und wiederum veröffentlichen so dass das Instrument immer vielseitiger und machtvoller wird und mit viel mehr unterschiedlichen Möglichkeiten ausgerüstet ist Ein bisschen um eine etwas plumpe Metapher zu benutzen, wie ein großes Schweizer Taschenmesser an das jeder der vorbeikommt noch ein kleines Gadget dran kleben kann.

00:24:53: Diese Form von Ökosystem die aus Open Source entstehen können dafür gibt es ein Beispiel Das Vorzeige-Bauspiel das Internet selbst Dass heute so viele Menschen das Internet als Plattform für ihre Ideen, für ihre Geschäftsmodelle.

00:25:05: Für ihre Kulturweiterentwicklung benutzen können liegt eben an diesem olden Source Gedanken.

00:25:10: hier ist ein Regelset wenn du dich daran einigermaßen hältst auf technischer Ebene dann kannst du mitmachen oder eine Webseite ins Netz stellen wie sie dir gefällt.

00:25:18: natürlich musst du dich an die regeln des Landes halten aber da sind wir nicht zuständig mit unserer Technologie dass das einigermassen klappt.

00:25:25: und jetzt passiert genau das mit KI der gigantische Vorteil mithilfe von Open Source und Open Weight, so was wie digitale Souveränität überhaupt erst sinnvoll möglich wird.

00:25:37: Bekanntermaßen ist Europa in manchen Bereichen etwas zurück und ich glaube dass das A nicht immer so sein muss und das B – und da sind fast alle Fachleute komplett auf meiner Seite – das B-Open Source der beste Schuss ist den wir überhaupt im KI Bereich setzen können vorne mitzuspielen.

00:25:57: Auch deswegen, weil die Stärken von Europa halt eher nicht sind dass wir einen gigantischen Riesenkonzern entwickeln der mit hundert Schrilliarden Servern dann noch bessere große Sprachmodelle in die Welt stemmt.

00:26:09: Sondern das es eher mit verteilten vernetzten Rollen, verteilter Verantwortung eine Vielzahl von Leuten ist sich hier passieren und da klicken und plötzlich etwas entdecken was ein echten bis dahin nicht gekannten Mehrwert ausmacht.

00:26:23: Das macht nicht etwa die Ansätze aus den Vereinigten Staaten irgendwie völlig schlecht, auch bei diesen großen KI-Konzernen und ihrem Qualitätsrennen das er ja jetzt offenbar pausieren will.

00:26:33: Auch da gibt es natürlich einen gigantischen Markt zu verteilen.

00:26:36: Das ist einer der Gründe warum immer noch Geld investiert wird wenn auch nicht mehr ganz so viel wie früher.

00:26:41: weil so klar ist wenn man sich mit dem Instrument beschäftigt dass eine Vielzahl von Geschäftsmodellen warten wird.

00:26:47: Und dann wieder haben wir in Europa einige Vorteile.

00:26:50: Und diese Vorteile können wir mit Open Source Technologie sehr viel einfacher heben.

00:26:55: Schon allein deswegen, weil gar nicht klar ist welches Unternehmen in welcher Branche wird dann zu welchem Zeitpunkt einen wirklich umwälzenden Erfolg im finanziellen und wirtschaftlichen Sinn haben?

00:27:05: Wo sind die neuen großen Produkte?

00:27:07: Das ist viel besser wenn da ein paar hundert oder sogar tausend Unternehmen dran arbeiten als nur ein oder zwei sehr große.

00:27:13: D.h.,

00:27:14: die großen Vorteile der Offenheit Prometheus eben können eigentlich nicht gehoben werden, wenn man nicht auch die Nachteile zumindest in Kauf nimmt.

00:27:24: Gleichzeitig ist es zum Beispiel sogar so das Vorteil und Nachteil miteinander verschwimmen kann erst recht bei solchen Dual-Use Technologien!

00:27:31: Als vor einiger Zeit bei Anthropic ein paar CloudKI-Agenten durchgedreht sind und ein paar sicherheitsrelevante Verstöße begangen haben, konnte Anthropic selbst kaum nachvollziehen wie das passiert ist.

00:27:43: Weil das eigene Modell die Guardrails dazu benutzt hat um zu sagen Das kann ich dir leider nicht sagen aber man muss ja wenn eine solche KI zum Beispiel irgendwo eindringt wo sie nicht eindrinken soll versuchen es nachzuvollziehen indem man die Instrumente ausprobiert.

00:27:56: Was haben also die Forscher von Anthropic selbst getan?

00:27:59: Sie haben nicht Claude genommen, sondern eine Open-Way Software runtergeladen.

00:28:04: Die selbst bereinigt um die wesentlichen Regeln und konnten dann erst nachvollziehen wie dieser wildgewordene KI-Agent eigentlich eingedrohnen ist.

00:28:12: Will sagen plötzlich ist die Offenheit eben nichts mehr was man so platt verbieten kann oder Platlop preisen kann.

00:28:19: es ist auf einer Art immer beides und es lässt sich auch nicht trennen.

00:28:24: Wenn wir aber schon von Dual-Use sprechen, dann müssen wir natürlich auch mit Blick darauf wie sollten wir eigentlich reagieren?

00:28:31: Dass über eine Million wild gewordener KIs ohne Regeln dort draußen rumfliegen die von einem Laptop aus alles Mögliche machen können.

00:28:37: Wie sollten wir als Gesellschaft darauf

00:28:39: reagieren?!

00:28:39: Der erste Blick geht natürlich in die Technologiegeschichte!

00:28:43: Die ist immer sehr reich an Beispielen.

00:28:45: man kann nicht alles übertragen.

00:28:47: Nicht jede Metaphorik, die mit irgendeinem dinglichen Vorläufer um die Ecke kommt lässt sich ein zu eins auf künstliche Intelligenz übertragen.

00:28:54: Aber man kann das benutzen, um ein besseres Verständnis zu bekommen.

00:28:57: und dieses bessere Verständnis kann man zum Beispiel bekommen wenn man sich das Dynamit anschaut.

00:29:09: Und dann kommt Alfred Nobel und schüttet ins Nitroglycerin ein bisschen Kieselerde.

00:29:24: Natürlich ganz vorsichtig und langsam, denn Nitrogrycerin geht schon dann hoch wenn man es nur falsch anschaut.

00:29:29: Aber in dieser Mischung aus Kiselerde und Nitroglycerin entsteht Dynamit.

00:29:34: Und dieses Dynamit macht plötzlich die Explosion, die große Gabe der Explosion Handhaber selbst für Lein!

00:29:41: Man kann Dynamit transportieren auch anders als in einer luftgefederten Senfte.

00:29:46: Das ist natürlich ein großer Segen für Bergbau, Tunnelbau oder Straßenbau Für eine Vielzahl von Anwendungen wo man mal rasch was aus dem Weg springen muss Und gleichzeitig ist es aber auch ein Fluch, wenn es in die falschen Hände gerät.

00:30:00: Naheliegenderweise ist das relativ zeitnah danach passiert, weil Dynamit sich ja schon dazu eignet Menschen in den Luft zu sprengen.

00:30:07: Aus diesem Grund hat zum Beispiel ein misslungenes Dynamietattentat auf dem deutschen Kaiser, der DINAMIT-Gesetz erlassen hat.

00:30:18: Herstellung und Besitz von Dynamit wurde unter strenge Aufsicht gestellt, auch ein paar andere Explosivgrüter wurden tiefer reguliert.

00:30:27: Und in anderen Regulierungssituationen gab es das auch, dass man die verschiedenen Zutaten, die man braucht ebenfalls reguliert hat.

00:30:34: Sohandhabt die EU das bis heute?

00:30:36: Die bekanntesten Bombenrezepte bitte weder googeln noch GPD-Fragen!

00:30:40: Das gibt nur Ärger.

00:30:41: aber die bekanntesten Bomberezepte Die kann man schon deswegen nicht alleine selbst zusammenmischen, weil es in den meisten Fällen die Zutaten eben nicht im Baumarkt gibt.

00:30:49: Obwohl sie dort geben könnte!

00:30:51: Diese Regulierung von den Inhaltsstoffen hat ja aber nicht dazu geführt dass man das Wissen selbst verboten hat – die chemische Formel von Dynamit.

00:31:00: Die kann jede Person einfach so besitzen und ist auch gar nicht strafbar.

00:31:05: Das ist ein sehr frühes Beispiel, dass das Wissens, dass der Inhalt abgetrennt werden kann von der Umsetzung.

00:31:13: Und ganz ähnlich könnte man ja überlegen, ob das bei KI auch funktioniert.

00:31:18: Allerdings gibt es dabei eine weitere Säubungsstelle, denn die KI ist virtuell und damit trägt die Dynamitmetapher nur bis zu einem bestimmten Punkt.

00:31:27: Virtualität bedeutet auch dass man es in vielen Fällen Verlust freikopieren kann, überall einsetzen kann und dass man transportieren kann in den letzten Winkel ohne seinen Fuß vor den anderen zu setzen.

00:31:39: Das wiederum heißt, wir brauchen noch eine andere Ebene um eine wild gewordene High Quality KI in Zukunft in den Griff zu bekommen.

00:31:48: Ich glaube und das macht diesen epochalen Unterschied aus dem Kennen drei Punkt acht siebenundzwanzig B Obliterated hergestellt hat.

00:31:55: ich glaube dass wir auf einer zukünften Steuern Und dass diese Episode von der ich heute spreche nur ein Vorbot ist Der deutlichste der klarste Vorbote, aber wir steuern zu auf eine Zukunft in der man davon ausgehen muss dass dort draußen wildgewordene Hochleistungskais rumfahren die keine Regeln haben.

00:32:17: Ich glaube, wir müssen uns vorbereiten auf eine Welt wo KI Guardrails eben nicht mehr das wichtigste Sicherheitsinstrument sind dass wir im KI Bereich haben.

00:32:26: Vielleicht sind Guardraids sogar ein Sicherheitsinstrument wo lediglich die ganz großen Modelle überhaupt noch mit operieren können.

00:32:33: Nebenbei sind solche Guardrailes so sinnvoll und so wichtig sie für große Modelle sind Aber natürlich gleichzeitig auch vergleichsweise teuer.

00:32:40: Und ich sage jetzt nicht, dass ob mei gefälligst irgendwie die Bombenrezeptherstellung auf der eigenen Plattform zulassen sollte.

00:32:47: Ich glaube das wir gleichzeitig auch von der anderen Seite arbeiten müssen.

00:32:50: gesellschaftlich Wenn man nämlich standardmäßig davon ausgeht Dass dort draußen bösartige Menschen mit regellosen KI's Die dazu immer noch immer besser werden ihr Unwesend treiben.

00:33:00: Wenn das also die neue Normalität ist und wenn man diese neue Normalitet eben nicht mehr in den Griff bekommt, dadurch dass man so was nur mit riesigen Servern betreiben kann oder dadurch dass die eingebrannte eingebaute Regeln haben weil beides nicht mehr der Fall ist.

00:33:15: Weil KI immer besser und schneller wird dann haben wir nichts anderes als eine offenbarte Problematik die eigentlich schon sehr lange da ist nämlich dass wir im KI Bereich wie auch im Sicherheitsbereich ein ständiges Kräftemessen, ein ständiges Wettrennen haben.

00:33:32: Und diese ständige Wettrinne das muss davon ausgehen dass früher oder später jeder mögliche Angriff auch gemacht wird durch KI dann noch skalierbar.

00:33:43: Wir brauchen eine Regulierung die die einzelnen Systeme, einzelnen Geräte, Einzelnen Teilnehmer im Netz Die von außen ansteuerbar sind Dass sie für sich Guardrails in ihre Systeme einbauen.

00:33:56: KI Guardrails müssen also von den KIs hin in diese Systeme.

00:34:01: Das ist zugegebenermaßen ziemlich vereinfacht, aber es fängt damit an dass man begreift das KI-Sicherheit ein ständiger Prozess ist, an dem alle mitarbeiten müssen und von der Perspektive aus unterscheidet sich das gar nicht so doll vom Wettristen was im Bereich IT Security ohnehin seit über dreißig Jahren die Normalität darstellt – Mit einem großen Unterschied!

00:34:23: Ähnlich wie beim Wildcoding habe ich es mit den Sicherheitsbedrohungen eben nicht mehr zu tun, mit weltweit vielleicht ein paar hundert Gruppierungen die ausreichend Kraft und Know-how haben um bestimmte Angriffe überhaupt unternehmen zu können.

00:34:36: Sondern ich hab plötzlich draußen eine Million und irgendwann noch viel mehr Leute, die standardmäßig die krassesten Instrumente ohne Regeln benutzen können – und das auch noch von ihren eigenen Rechnern!

00:34:49: Wir reden hier von einer Skalierbarkeit der verschiedenen Angriffsszenarien und das auch bis in gesellschaftliche Untiefen.

00:34:56: Denn wenn eine KI gar keine Regeln hat, kann man der auch sowas sagen wie erstell doch bitte einen Stalking-Profil von dieser und jener Person oder stelle doch bitte folgenden Deepfake her ich möchte ordentlich für Unruhe sorgen oder einzelne Menschen demütigen mit falschen Filmen also dass was die meisten großen KI Erstellungssoftwares im Moment ablehnen.

00:35:18: Ich befürchte Wir steuern auf eine Gesellschaft zu, wo viel mehr Eigenverantwortung in der Sicherheit liegt als das in der Vergangenheit der Fall war.

00:35:26: Und ich weiß dass das keine Generallösung ist und dass es da noch viel an Übel geben wird.

00:35:32: Und gleichzeitig sehe ich, dass eine gewisse Alternativlosigkeit darin liegt.

00:35:37: Einfach weil mit einer Niedrigschwelligkeit, Mit einer Vereinfachung, mit einer Skalierbarkeit und mit einer immer besseren Qualität auf immer kleineren Rechnern eines der machtvollsten Instrumente plötzlich in Millionen, wenn nicht Milliarden verschiedenen Händen liegt.

00:35:53: Und dieser Segen, der dazu führen kann, dass wir in Europa eine neue Form von Tüftlergeist wiederentdecken und eben auch ummünzen können im wirtschaftlichen Erfolg – das hat genau die gleiche Ursache, warum Bill Gates schreibt, vor Bio-Waffen, die mit KI gefertigt werden.

00:36:11: Dass am Ende irgendwelche kleinen durchgedrehten Gruppierungen einen Prozessuales Wissen erlangen können, mit dem sie sehr großen, sehr umfangreichen Schaden anrichten können – egal ob es darum geht in irgendwelchen Systeme einzudringen oder etwas zu manipulieren oder schwierige Rezepte von Biowaffen herzustellen!

00:36:30: Wir brauchen also mehr Bewusstsein dafür, was für unterschiedliche Missbrauchsszenarien durch KI überhaupt möglich sind und zwar ganz unabhängig davon ob das mit großen Plattformen passiert.

00:36:41: Enthopic hat gerade einen Bericht freigegeben wie Claude missbraucht werden kann trotz dieser Guardrails.

00:36:46: Das System Guardrailes ist also auch nicht hundertprozentig wasserdicht natürlich nicht sondern auch wie wir eine kommende KI-Gesellschaft darauf vorbereiten können, dass im Zweifel was mit KI gemacht werden kann dort draußen auch von verschiedenen Leuten stattfindet.

00:37:01: Und vielleicht gewinnen wir um einen optimistischen Ausblick als Schlösserkord zu wagen und vielleicht gewennen wir dadurch eine überfällige Erkenntnis nämlich das wenn jede und jeder mit zwei Clicks obliterated deep fakes herstellen kann, dass mir dann sehr gut beraten sind zunächst gar nichts zu glauben, was von irgendwo her kommt.

00:37:22: und vielleicht kommt dann ein überfälliger Teil der klassischen Internetbildung stärker zum Vorschein.

00:37:30: Denn wenn klar ist dass man mit einer obliterated KI als Privatperson mit ein paar Klicks jede Regel umgehen kann und praktisch alles machen kann Vielleicht haben dann mehr Menschen auf dem Schirm.

00:37:41: das Video was ihnen gerade geschickt worden ist vielleicht gar nicht echt sein muss.

00:37:46: Es kann ja sein, dass schon allein das Bewusstsein, dass man mit Gejailbreakter KI inzwischen auch als Privatperson alles Mögliche herbeigenerieren kann.

00:37:55: Dass das ausreicht um die Menschen so skeptisch zu machen wie sie eigentlich längst sein sollten!

00:38:01: Es kann Ja sein, daß die dann kommende Flut von Deepfakes zuallererst die Menschen fragen lässt.

00:38:06: aber stimmt es denn überhaupt und Wie Kann Ich Das nachvollziehen?

00:38:10: Es kann ja sein, dass mit dieser veropen Sorgung von praktisch regelloser KI ein Bewusstsein einzieht das wir uns das kritische Denken bewahren müssen.

00:38:19: Denn wenn es bisher die Ausnahme ist auf die man eben nicht so stark achten muss dann könnte es in Zukunft die Regel werden die jeder mitbekommt.

00:38:29: Das ist zugegeben eine fromme Hoffnung aber ich glaube trotzdem dass wir auf dem Weg in die KI-Gesellschaft dieses Wettrennen dieses Wetterüsten viel stärker gesellschaftlich einpreisen müssen.

00:38:42: Bedeutet, wir müssen darüber diskutieren nicht nur unter irgendwelchen KI-Nerds sondern in der Gesellschaft was das heißt dass mein Nachbar um die Ecke plötzlich Dinge herstellen kann die bisher komplett verboten waren und die auch weiterhin verboten sind.

00:38:58: aber jetzt eben möglich Und mit dieser Perspektive darüber zu reden, zu diskutieren.

00:39:04: Zu versuchen auch sich selbst mit und durch KI zu schützen.

00:39:07: vielleicht zu diskutierend mit einer KI was man in einer solchen Welt machen kann.

00:39:12: Vielleicht darüber zu überlegen wie ein solches Wettrüsten eben dann am besten funktioniert wenn man versucht die positiven Seiten von Open Source und der Ökonomie der Offenheit zu nutzen und gleichzeitig den Effekt der Negativen zu minimieren.

00:39:28: Am Ende kommen wir wieder auf den Punkt auf den wir in diesem Podcast ziemlich häufig gekommen sind.

00:39:33: Am Ende bedeutet mehr Eigenverantwortung und in einer KI-Gesellschaft wird es die geben müssen, automatisch auch Verpflichtungen zu mehr Wissen also zur

00:39:44: Bildung.".

00:39:45: Ich glaube das was wir aus dem Fall QANN drei Punkt acht siebenundzwanzig B obliterated als Privatpersonen zu allererst lernen sollten ist dass wir uns intensiv beschäftigen damit was KI kann wie KI funktioniert Und wie man selbst versuchen kann und vielleicht sogar muss, sich auf dem Weg in die KI-Gesellschaft mit ausreichend viel Bildung zu versorgen.

00:40:07: Das ist keine Garantie das man nicht reinfällt!

00:40:09: Ich wäre neulich beinahe auf eine Spam Mail reingefallen einfach weil sie wahnsinnig gut mit KI geschrieben worden ist.

00:40:15: Aber vielleicht kann man so durch flächendeckende Bildung die Zahl der Menschen, die schaden davon eben von dieser neuen KI Gesellschaft deutlich reduzieren – und das wäre immerhin ein Anfang.

00:40:27: Vielen Dank fürs Zuhören.

00:40:29: Wenn euch TechKI und Schmetterlinge gefallen hat, dann empfehlt uns gerne weiter in sozialen Medien!

00:40:35: Das hilft uns sehr weiter und das hilft uns allen zusammen auch darüber zu diskutieren.

00:40:40: was steht eigentlich dahinter?

00:40:41: Wir sind auf den verschiedenen Plattformen unterwegs wo's TechKI & Schmetteringe als Account gibt zum Beispiel LinkedIn, zum Beispiel Instagram, tiktok oder auch auf YouTube.

00:40:52: Vielen Dank für's Zuhören und bis zum nächsten Mal.