KI, Ethik und das Gesetz – Wie KI die Justiz neu schreibt

00:00:01: Tech, KI und Schmetterlinge.

00:00:03: Ein Podcast von Sascha Lobo in Zusammenarbeit mit Schwarz-Digits.

00:00:07: Guten Tag und herzlich willkommen zu einer neuen Ausgabe von Tech,KI und Schmetterlinge!

00:00:12: Dem Podcast von mir, Sascha Lobo In Zusammenarbeit Mit Schwarz Digits dem deutschen Technologiepartner für digitale Souveränität in Europa.

00:00:22: Und das Thema heute ist eins was im Prinzip direkt aus dem was ich gerade gesagt habe irgendwo zwischen digitale Souveränität, Europa und der Frage wie diskutiert man was stattfindet?

00:00:35: Nämlich die Frage um KI, Ethik und das Gesetz.

00:00:40: Denn wenn man den wichtigsten und größten Unterschied benennen sollte bei digitaler Souveräenität dann würde man ganz schnell auf den Punkt kommen wo steht eigentlich der Server und welcher Rechtsprechung unterliegt er?

00:00:52: Die Frau, die heute zu Gast ist mit mir diskutiert und uns auch ein bisschen zeigt, in welche Richtung es geht was Recht KI und die Auslegung davon angeht ist Marietta Auer.

00:01:10: Hallo ich freue mich sehr hier zu sein.

00:01:12: herzlichen Dank für die Einladung!

00:01:14: Ich bin Juristin Wissenschaftlerin habe aber auch nicht nur Jura gemacht sondern auch Philosophie und Soziologie beschäftigt mich als ein soziales Phänomen.

00:01:27: Also ich forsche in Frankfurt am Max-Blang-Institut für Rechtsgeschichte und Rechtstheorie, diese Fragen beschäftigen mich weil sie die Gesellschaft beschäftigen.

00:01:36: das ist mein Zugang.

00:01:38: Mein Zugang zum gesamten juristischen Komplex ist wenn ich das mal ganz offen am Anfang zugeben möchte eigentlich eine Erzwungenaar.

00:01:48: Ich habe man könnte sagen eine familiäre Vorbelastung.

00:01:52: Mein Vater war Jurist, hat in Argentinien studiert.

00:01:56: Hat aber dieses juristische Grundverständnis auch sehr tief in die Familiendiskursionen reingetragen.

00:02:03: Deswegen sage ich Vorbelastung weil im Internetkontext am Anfang wirklich häufig vermieden habe mir juristisch Fragen zu stellen bis ich irgendwann vor eine Wand gelaufen bin.

00:02:16: Und dann habe ich quasi zwangsweise angefangen, weil mich Digitalisierung und künstliche Intelligenz schon sehr lange interessiert.

00:02:21: Habe ich angefangen mich damit zu konfrontieren also so richtig ein bisschen eine Schocktherapie gemacht.

00:02:27: Wie ist denn Ihr Zugang aus der Rechtswissenschaft in Richtung Digitalisierung & KI entstanden?

00:02:35: Ja das ist ganz hübsch!

00:02:36: Also mein Zugang ist genau umgekehrt.

00:02:38: Sie haben die familiäre Belastung in der RechtsWissenschaft.

00:02:43: Also meine Familie besteht aus Ingenieuren.

00:02:45: Und bei uns war Technik eigentlich immer ein Thema und der Zugriff auf, sagen wir mal das Datenförmige der Welt oder das technisch technisierbare Durchtechnologisierte der Welt, das war mir nie fremd.

00:02:58: Vielleicht ist es ja den genau diesen Punkt aber auch einen ganz guter Anfang um genau darüber zu sprechen.

00:03:05: Meine wesentliche Frage als ich angefangen habe mich über KI und Ethik ein bisschen näher zu informieren.

00:03:13: Das ist schon einige Zeit her und dann auf diesen Rechtskontext gestoßen bin.

00:03:18: Meine wesentliche Frage war eigentlich immer, gibt es eine Sphäre die die andere schlicht?

00:03:24: Gibt das eine Sphere die die Andere überwiegt?

00:03:29: Und wenn ja wie?

00:03:31: Das ist eine hochinteressante Grundfrage der modernen Gesellschaft schlechthin.

00:03:35: also das ist auch nicht ne Frage die sich auf Recht- und KI beschränken.

00:03:39: Die Frage können wir genau so stellen Toppt die Politik, die Wirtschaft.

00:03:45: Toppt das Recht... Also Juristen sind eh der Meinung, dass sie eigentlich über alles Bescheid wissen?

00:03:49: Sie müssen ja auch über alles urteilen!

00:03:51: Natürlich wissen Juristen über das Innerer der Black Box KI praktisch gar nichts oder sehr wenige Wissen da was aber die russische Herangehensweise ist.

00:03:59: sie müssen das auch nicht wissen weil Der Jurist betrachtet das, was ihm die Gesellschaft vor die Füße wirft.

00:04:06: Seines Straßenverkehrsregeln, seines Eisenbahngestaltungen, seien es infrastrukturen beliebiger Art.

00:04:12: Man muss ja auch nicht wissen wie ein Umsturmspannwerk funktioniert und genauso eben auch wie eine KI funktioniert.

00:04:18: Er sieht aber etwas für Phänomene rauskommen Und die Aufgabe des Juristen ist es gesellschaftliche Konflikte zu regulieren oder zu sehen wohin die Gesellschaft steuert.

00:04:27: Und wenn es Risiken gibt, oder wenn es Schadensfolgen gibt... ...die viele Menschen betreffen mit einer neuen Technologie dann ist das Recht erst zuständig.

00:04:35: Insoweit ist auch ein sehr typischer Zugriff des Rechts immer erst nachträglich zu kommen.

00:04:39: Also erstmal zu gucken was macht eigentlich so die Gesellschaft?

00:04:41: und dann kann man jetzt darüber diskutieren.

00:04:44: machen wir vielleicht auch noch so.

00:04:45: Jetzt wird die Technik natürlich von der anderen Seite sagen ja das ist ja quasi gar nichts.

00:04:49: also wenn ihr gar nicht versteht was wir machen Dann habt ihr ja gar keine Ahnung.

00:04:54: Ihr sitzt wie so ein Reiter obendrauf auf dem Pferd, das euch sozusagen durchgegangen ist.

00:04:58: Die Technik hat längst schon das ganze Feld bestellt und hier kommt nur so nachgelaufen.

00:05:03: die moderne Gesellschaft besteht aus sehr vielen Facetten, die so durchaus voneinander unabhängig dieselben Phänomene aus verschiedenen Blickrichtungen betrachten.

00:05:11: So würde ich das hier mal sehen.

00:05:12: Interessant werden dann die Schnittstellen Und natürlich gibt es auch diese gegenseitigen Beeinflussungen und zwar die sind durchaus gegenseiteg

00:05:21: dass die nicht nur gegenseitig sind, sondern das da auch irgendwie so eine Art Übergang Graubereiche.

00:05:27: Auch ein großes Vorsichtig wie gesagt Diskussionspotenzial Streit Potenzial Konflikt Potenziale besteht.

00:05:33: Das konnte man schon in der Frühzeit des Internets sehen oder sagen wir mal in der frühzeit des Massenphänomien Internet.

00:05:40: Im Jahr zwei Tausend Eins hat einen Juraprofessor Lawrence Lessig nämlich eine Art Warnung aufgeschrieben Wobei man streiten kann, ob das eine Warnung war oder eine Feststellung.

00:05:52: Code ist Law.

00:05:55: Lawrence Lessig ist später bekannt geworden als der Mann, der die sogenannten Creative Commons auf den Weg gebracht hat.

00:06:02: Das ist eine Art digitale Alternative zum klassischen Urheberrecht was von vielen Leuten damals als sehr repräktiv empfunden worden ist in der damaligen Ausfertigung zum Beispiel.

00:06:12: also da ist der direkte Connect so wir brauchen eine andere Form von Recht und er hat eben gesagt Code Und Law, also der Code den wir niederschreiben.

00:06:23: Der ist so dicht am Gesetz, dass man damit jetzt erstmal etwas tun muss.

00:06:26: Das war eine Forderung.

00:06:29: Ja das ist ein grundlegendes Werk gewesen und einer der großen Internet-Vordenker auf der juristischen Seite.

00:06:37: Ich würde allerdings nicht sagen, dass es eine Warnung war.

00:06:40: Er war durchaus euphorisch in der gewissen Hinsicht auch klar.

00:06:43: Es war damals die ganz große Zeit... Dort kommen Blase und so weiter.

00:06:48: Und diese große erste Internetäuphorie, aber da ist auch wirklich was dran.

00:06:52: Also Code is law!

00:06:54: Was bedeutet das eigentlich?

00:06:56: Das ist ja erst mal auf einer sementischen Ebene richtig.

00:06:59: Also code ist eine Sprache.

00:07:01: Das ganze Internet beruht auf sprachlichen Signalen, sprachliche Befehlen... ...und auch des Rechtberuhts auf spraches Befehlens.

00:07:08: Und letztlich normiert man... also was macht es recht?

00:07:12: Das Recht stellt Regeln auf mit denen die Gesellschaft normiert.

00:07:15: Diese Normen verhalten sich teils vorauslaufen, teils nachkommend.

00:07:19: Sie vollziehen teils das nach was ohnehin schon gemacht wird.

00:07:22: Teils versuchen sie zu korrigieren und genauso geht es mit Code eben auch.

00:07:26: Das ist glaube ich die sensationelle Einsicht dieses Buches damals gewesen.

00:07:29: Es hat auch so viele Leute so gekickt damals in der Juristenszene.

00:07:33: Also dass es beides irgendwie epistemisch und ontologisch verknüpft.

00:07:39: Die können miteinander sprechen weil sie miteinander sprechen müssen!

00:07:41: Weil sie beide Sprache entsprechen.

00:07:43: Ja, wir sind auf einem sprachlichen Ebene hier.

00:07:46: Das war die Einsicht.

00:07:48: Diese Einsicht hat aber natürlich – wenn man es auch in dieser unterschiedlichen Rechtskultur der angelsächsischen Welt und der deutschen Welt betrachtet – eine Vielzahl von Solbruchstellen.

00:07:59: Wie aus meiner Sicht offensichtlichste.

00:08:01: als jemand, der das nicht studiert hat sondern sich wahrscheinlich erkennbar geradezu zwangsweise damit beschäftigen musste um einfach meine Sphäre besser verstehen zu können ist erst mal so der zentrale Punkt, diese große sehr alte, sehr intensiv in alle Richtungen geführte Diskussion um Rechtspositivismus.

00:08:18: Das kann man ein bisschen ins deutsche Leinverständliche übersetzen die Frage ob Recht irgendwas zu tun hat haben sollte mit Moral und Ethik oder recht erstmal das ist was im Gesetz steht und was genau so wie es dort steht auch richtig ist und eben nur noch im Detail angewendet werden muss.

00:08:38: Diese große Debatte, die in Deutschland mit dieser unfassbaren Gerechtigkeitsfixierung, die nach meiner Definition manchmal so ins Selbstgerechtigkeit-Fixierung kippt.

00:08:49: Die ist, glaube ich, der angelsächsischen Welt früher der Realität angepasst worden!

00:08:56: Ich weiß nicht wie Sie das sehen?

00:08:58: Aber

00:08:58: es hat

00:08:58: irgendwie das Gefühl, dass man aus Amerika kommt und da hat man eher gesagt, naja, das können wir jetzt nicht mehr ändern, dann lass uns das mal einigermaßen sinnvoll im Recht fassen wenn man in Deutschland noch sehr lange versucht hat, darauf zu beharren.

00:09:12: Dass doch Recht und Gerechtigkeit eigentlich bedeuten, dass man an dieser Stelle eigentlich nur so damit umgehen darf!

00:09:20: Also das finde ich ja super, dass sich hier in einem KI-Podcast so grundlegende rechtsphilosophische Tiefenbohrungen machen darf.

00:09:27: Rechtspositivismus ist wirklich ein sehr großes altes Schlachtschiff was es Rechtsp positivismus also das bedeutet einfach was auch immer der Rechtssitzer als Rechtssitz ist dann recht und auch das größte Unrecht kann theoretisch Recht sein.

00:09:39: Und es ist dann ganz offensichtlich, dass das so ein Leitthema der Rechtsphilosophie oder der Frage wie verhalten sich Recht und Gerechtigkeit gerade im zwanzigsten Jahrhundert war.

00:09:47: Weil da knüpfen natürlich auch diese ganzen Fragen was mit Totalität am Recht?

00:09:52: Was ist mit diktatorischem Recht usw.

00:09:55: Aber ich glaube inzwischen sind alle der Meinung, dass natürlich der Gesetzgeber alles Mögliche setzen kann aber wir natürlich schon auf gewisse Werte gucken.

00:10:02: Und da ist jetzt das Interessant, was Sie gerade erwähnt haben.

00:10:05: Nämlich dass Europa oder die deutsche Tradition einen anderen normativen Gerechtigkeitsanspruch hat der immer so sehr stark gemacht wird.

00:10:15: Das sind einfach unterschiedliche philosophische Traditionen in der continental europäischen versus der angelsächsischen Welt.

00:10:21: also ich sage mal ein paar Stichworte.

00:10:23: Kontinental Europa speziell Deutschland ist Deutscher Idealismus.

00:10:26: Es ist Kant es eine ganz starke eine sogenannte deontologische Ethik.

00:10:32: Also es kommt darauf an, dass man den richtigen inneren Willen hat und was draußen passiert ist eher so zweitrangig.

00:10:38: Wohingegen?

00:10:39: die angelsächsische Welt hat sich gleich ganz anders entschieden?

00:10:42: Also das sind ganz andere Traditionen relevant geworden als erst mal ein sehr starker Utilitarismus.

00:10:48: also schauen auf den größten Nutzen für die größte Zahl Und dann ist es so, gerade in Amerika ist ein sehr starker Pragmatismus.

00:10:54: Also wir machen mal und schauen einfach was rauskommt ungefähr.

00:10:57: Das ist bis heute eigentlich eine starke Mentalitätsdifferenz die sich auch in den Fragen der Regulierung.

00:11:03: Was reguliere ich?

00:11:04: Muss ich gleich vorweg meine moralischen Maßstäbe aufbauen bevor irgendwas passieren kann?

00:11:09: oder mache ich das eben nicht?

00:11:10: Schau ich erstmal was rauskommen!

00:11:11: Das macht sich bis heute sehr fühlbar Und das ist insoweit sehr interessant.

00:11:16: Das sind so Fragen, die man sich auch immer stellen sollte bei so alltäglichen Phänomene der Gegenwart und es ist auch das was mich eigentlich in meiner Forschung am meisten interessiert.

00:11:23: Was sind echt so die tiefen Strömungen dahinter?

00:11:25: Die Frage, die ich jetzt an Sie richten wollen würde, ist dass ich dieses Bild vor allem mit reingebracht habe weil wir Menschen ein paar kognitive Verzerrungen haben also ein paar, sagen wir mal Wahrnehmungsverschiebungen in den Bereichen wo wir nicht tiefer drüber nachdenken oder nachdenkten wollen.

00:11:45: Eine der wichtigsten Verzerrungen ist der sogenannte Automation-Bias.

00:11:49: Der Automation Bias besagt, dass irgendein Gerät, irgendeine Maschine, irgend eine KI den Ergebnis ausgibt und wir halten das für richtig.

00:11:58: Wir hinterfragen nicht wie es jetzt algorithmisch zustande gekommen ist, sondern wir denken erst mal, es ist richtig.

00:12:03: Wenn man das zusammennimmt mit Larry Lessig's Code of Law und jetzt ins KI Zeitalter übersetzt Das sind ganz vielen Bereichen.

00:12:12: Das muss ja gar nicht eine große philosophische Rechtsdebatte sein, es können ja ganz kleine Verwaltungsentscheidungen sein.

00:12:16: Leute denken okay was daraus kommt ist wahr?

00:12:20: Es gibt ne direkte Verbindung zwischen wie wird recht umgesetzt und wie wird Recht in Verwaltungspforschriften sinnvoll angewendet und Automatisierung künstlicher Intelligenz.

00:12:31: irgendwann wird halt der nächste Bürgergeld entscheiden durch KI natürlich vorbereitet ganz am Ende auch ausgegeben.

00:12:40: Und sind wir dann standardmäßig dabei zu sagen, das hat die KI entschieden?

00:12:43: Das stimmt.

00:12:44: Das hat Hand und Fuß.

00:12:45: Da hat das Recht exakt das ausgegeben was der Rechtsstaat so auf den Weg gegeben hat.

00:12:52: oder sagen wir ja grundsätzlich nie.

00:12:53: im Moment aber müssen noch überprüfen ob das jetzt auch wirklich gerecht ist, ob es jetzt dem Werten entspricht, ob dass jetzt im Detail algorithmisch zu ein tausend Prozent nachvollziehbar ist.

00:13:03: Ja, das ist natürlich ein sehr ernstes Thema.

00:13:05: Das ist auch sagen wir mal einer der Hauptpunkte aller Regulierungen die derzeit hinsichtlich KI diskutiert oder auch implementiert werden.

00:13:12: es kommt ja demnächst der EU AI Act.

00:13:15: Es ist eine Verordnung die so nach verschiedenen Risikoklassen unterscheidet verschiedener KI-Systeme und eine der Fragen die dabei gestellt wird ist ja wird hier über Menschen entschieden beispielsweise und das betrifft dann genau diese Fragen die sie gerade gestellt haben also automation bias Da ist ein Anker-Effekt drin, also es kommt... Die KI spuckt irgendwas aus, eine Zahl oder was auch immer und dann glaubt man das erst mal.

00:13:39: Es ist auch so ne Vermenschlichung, so ne Tendenz die künstliche Intelligenz, wie er schon diese Metapher der künstlichen Intelligenzen sagt als ein Analogon oder vielleicht sogar als eine emergierende natürliche Intelligenze zu sehen.

00:13:53: also wenn da etwas rauskommt ja dann wird es natürlich stimmen usw.

00:13:57: Und das ist natürlich sehr riskant wenn's um Entscheidungen geht die in höchstpersönliche Lebensgrüter eingreifen.

00:14:03: Also wenn es beispielsweise so die ganz krassen Fälle sind, Freiheitsentziehung, Entscheidung über Strafbarkeit.

00:14:10: Teilhabe an wichtigen gesellschaftlichen Infrastrukturen.

00:14:13: Beispielsweise kann ich ein Bankkonto eröffnen wie ist mein Credit Score?

00:14:17: und da gibt's Phänomene, die auch absolut nachgewiesen sind, die man unter dem Stichwort algorithmische Diskriminierung fassen kann.

00:14:24: also das ist inzwischen sehr breit erkanntes und diskutiertes Thema dass die KI Die ist ja nicht von selber schlau, sondern die muss immer trainiert werden mit Trainingsdaten.

00:14:33: So und woher kommen diese Daten?

00:14:35: Na die kommen aus der realen Welt und diese Daten haben natürlich die ganzen Biases also die ganzen Diskriminierungen dieser realen welt gibt in sich drin.

00:14:43: das heißt die KI übernimmt dann einfach das was sie aus der Realenwelt an Biasis lernt.

00:14:46: jetzt kann man versuchen die KI mit so gut gefilterten aufbereiteten Daten zu trainieren, dass diese Beise rausgefiltert werden.

00:14:53: Aber sehr schwierig und ob das wirklich gelingt ist durchaus unklar und deswegen bleibt eigentlich in den ganzen juristischen Diskussionen so einen Restvorbehalt wo man sagt die Entscheidungen zum Beispiel Gerichtsentscheidungen also nehmen wir den Richter Diese Entscheidungen müssen, selbst wenn sie möglicherweise durch KI vorbereitet werden am Ende so einen Human in the Loop Element haben.

00:15:16: Also es muss irgendwo ein Mensch da sein der drauf schaut.

00:15:19: Es kann nicht allein der KI überlassen werden weil wir einfach nicht wissen was die Black Box macht und das ist ein sehr großes Risiko dass wir ihr zu sehr vertrauen weil wir es eben nicht durchschauen was sie macht.

00:15:30: Ein übrigens wichtiger Punkt der damit indirekt und direkt gleichzeitig zu tun hat kurz ein bisschen ausholen.

00:15:35: Aus Erfahrung weiß ich, dass wann immer juristische Themen im Titel einer Episode von einem Podcast stattfinden, das dann die Quote der Juristinnen und Juristen, die diesen Podcast hören, exponentiell steigt und damit auch die Quoten der Menschen, die sagen oh an dieser Stelle war etwas unpräzise!

00:15:53: Ich möchte deswegen sagen hier war nichts unprräzise sondern der EU AI Act ist zwar technisch bereits in Kraft getreten am ersten August, aber dadurch dass die Pflichten und die Verbote, die dahinter stehen schrittweise in Kraft treten.

00:16:08: Ist das wovon sie gerade gesprochen haben?

00:16:11: Nämlich die sogenannte Vollanwendung und Hochrisiko.

00:16:14: KI will sagen Ab dem zweiten Februar, im Jahr zwei Tausendfünfundzwanzig gab es ein paar Verbote, was KI-Praktiken angeht.

00:16:22: Dann gab's ab Februar zwanzig ebenfalls die Pflicht zur KI-Kompetenz dann ab August zweitausendzwanziger Transparenz und Dokumentationspflichten.

00:16:29: Und das, was da nie kommt, ab Zweiten August zum Jahrzehnten ist quasi die volle und harte Auslegung und Inkrafttretung des Gesetzes in fast allen Dimensionen, weil so einer ist natürlich denn nicht ein Paar Sachen greifen auch erst ab Zweiter August zum Jahrezehnte.

00:16:44: Man möchte es ja wieder in der die Juristerei noch in der EU zu einfach machen.

00:16:50: Dass Regulierung und KI in der Praxis aber dann halt nicht ganz so eindeutig zusammenfinden, das zeigt sich übrigens auch an einem ziemlich alltäglichen Beispiel nämlich soziale Medien.

00:17:01: KI erstellt heute Bilder, schreibt Texte, bearbeitet Videos und zwar oft so überzeugend dass der Unterschied kaum zu erkennen ist.

00:17:09: Gleichzeitig gelten mit dem Europäischen AI Act ab dem zweiten August, new transparent Pflichten für bestimmte KI-generierte oder KI manipulierte Inhalte.

00:17:20: Das mag zunächst einfach klingen aber in der Praxis ist es eben ziemlich differenziert geregelt.

00:17:25: eine pauschale Kennzeichnungspflicht für alle KI generierten Inhalts gibt es nicht.

00:17:31: entscheidend ist vielmehr um welche Art von Inhalt es sich handelt und in welchem Kontext er veröffentlicht wird.

00:17:36: Die KI-Kennzeichnungspflicht ist dann im Detail gar nicht so einfach zu verstehen und auch gar nichtso einfach umzusetzen.

00:17:44: Denn tatsächlich sind heute so viele Inhalte KI generiert oder KI beeinflusst, dass es manchmal schwer ist zu sagen wie genau die Grenzziehung so aufgestellt ist das nicht alles immer überall gekennzeichnet werden muss.

00:17:57: Das würde nämlich bedeuten, dass gar nichts mehr gekennzeichert ist in den Augen der Betrachtenden oder das ganz offensichtlich mit KI erstellte Inhalte, dann eben nicht mehr gekennzeichnet werden.

00:18:07: Da die Balance zu finden ist schwieriger als man am Anfang glaubt und weil wir gerade über Transparenz sprechen natürlich kommen auch bei der Produktion dieses Podcasts KI-Tools zum Einsatz zb für Transkriptionen, für Recherche, für die redaktionelle Vorbereitung.

00:18:22: Die Verantwortung für das was ihr hier hört liegt aber am Ende immer noch bei echten Menschen.

00:18:30: schon ein wichtiger Punkt drin, über den wir sprechen müssen.

00:18:33: Weil irgendwann so zwischen zwei Jahrzehnt zwanzig und zweitausend dreinzwanzig mitten in diesem Karrierehype die EU gemerkt hat hoch da reden gerade ganz viele Leute von großen Sprachmodellen regulieren wieder auch mal schnell ein bisschen mit und dabei das getan habe was die EU häufig tut nämlich voreilig herbei vermutet dass eventuell das Problem sein könnte um es dann versucht zu regulieren.

00:18:58: ja Also danke für diese extremen, genaue Aufschlüsselung der verschiedenen Kraftredensdaten.

00:19:03: Was übrigens noch fehlt ist das Deutsche Umsetzungsgesetz.

00:19:05: Das liegt derzeit als Regierungsentwurf vor und wir werden sehen was passiert.

00:19:09: Mir fehlt es nicht aber ich verstehe wie du das machst.

00:19:12: Nee nee, aber ist schon klar ja dass sehe ich ähnlich wie sie.

00:19:16: Das ist der politische Ansatz den eben die EU in diesen Fragen verfolgt also das was dann auch als Brussels Effekt immer wieder in der Zeitung auftaucht dass man eben anders als... Also gut, in den USA gibt es inzwischen auch so ein paar Überlegungen.

00:19:32: Dass man das doch regulieren müsste.

00:19:33: Inzwischen wird da schon auf die Bremse getreten aber erst mal das ganze Laufen lassen und gucken was überhaupt passiert.

00:19:39: Das ist eigentlich der Gedanke, dass die EU das nicht will sondern dass man sich dadurch auszeichnet, dass man nach einem Vorsorgeprinzip vorgeht also dass man Risiken gar nicht entstehen lässt bevor sie unkontrollierbar werden.

00:19:52: Und die Vermutung ist eben, dass bei AI dieses Risiko sozusagen so unkontrollierbar werden könnte.

00:19:57: Dass es zu spät ist bevor wir eigentlich wissen was passiert ist und da gibt's ja auch einige Wissenschaftler, die das immer wieder lautstarken Jahre weniger einspeisen in den Diskurs.

00:20:08: also das sogenannte Vorsorgeprinzip ist da das, wonach die EU verferrt?

00:20:12: Das ist einfach die DNA der europäischen Gesetzgebung.

00:20:16: Könnte man das irgendwie Versuchen zu ändern, wird das überhaupt Sinnvolles zu ändern.

00:20:22: Da aus dieser Gedankenkette kommt ja dann auch der sogenannte risikopasierte Ansatz von eben jedem AI-Akt, der – das sagt der Name schon erstmal nach dem Risiko fragt – bevor die Chancen vielleicht auch behandelt werden.

00:20:36: Interessanterweise war beim EU-AI-Aekt am Anfang So ein bisschen, sagen wir mal Förderungsprosa mit dabei.

00:20:42: Wo man gesagt hat, man muss ja nicht nur das Risiko betrachten sondern auch irgendwie schauen wie kann man das sinnvoll fördern?

00:20:47: Da liegt ja auch ein Wert drin.

00:20:49: Das ist dann irgendwann weil es offensichtlicherweise Geld kostet Förderung herausgefallen weitgehend ersatzlos.

00:20:55: und jetzt sind nur noch die Risikoklassen die aus meiner Sicht deutlich erschweren dass europäische Anbieter irgendwann aufschließen könnten.

00:21:05: zu den amerikanischen und chinesischen Kacken die Anglittern.

00:21:09: Gab es da irgendwie so einen Weg raus, wo man sagt hey vielleicht nicht ganz so ein gar nicht ganzso risikopasierter Ansatz?

00:21:16: Ja gut man muss einfach wissen was man will.

00:21:18: also mehr Freiheit ist mit mehr Risiko verbunden und da sind wir jetzt auf einer rechtspolitischen Debatte die man so oder so führen kann.

00:21:25: ich persönlich finde auch dass die EU vieles und zwar dysfunktional zu früh zu eng einschränkt.

00:21:32: aber vieles ist dann auch so das es und jetzt gerade in diesem Bereich wenn man eigentlich gar nicht weiß was man reguliert dass es dann letztlich möglicherweise toter Buchstabe bleibt, weil man eben gar nicht weiß was unter der Oberfläche alles stattfindet.

00:21:44: Also da muss man einfach sehen was auf uns zukommt.

00:21:47: also ich meine man kann vielleicht sich so ein bisschen an dem Anspruch des deutschen Gesetzgebers festhalten der in seiner Gesetzesbegründung wie gesagt jetzt gibt jetzt Entwürfe dieses Umsetzungsgesetzes und die Idee ist hier diesen hundert, überhundertseitigen Akt eben genau eins zu eins umsetzen.

00:22:07: Das steht ausdrücklich so in der deutschen Gesetzesbegründung.

00:22:09: das heißt man will kein sogenanntes Goldplating machen also nicht im Gegensatz zu vielen früheren versuchen noch extra eine Schippe draufzulegen weil wir noch besser sein wollen weil wir Noch sorgfältiger sein wollen sondern da einfach mal zu sagen okay dass ist schon eigentlich mehr als wir uns vorgestellt haben.

00:22:23: Wir gehen jetzt nur die Behörden heraus die diese ganzen Pflichtpositionen abarbeiten müssen und dazu

00:22:29: Ja, dass dieses Goldplating das referenziert direkt auf die sagen wir mal ganz große juristische EU-Rutsche im Digitalbereich davor.

00:22:36: DSGVO.

00:22:38: Darauf spiele ich an am XXVIII.

00:22:43: Mai des Wissens in Kraft getreten.

00:22:45: Ich hatte damals eine große Freude davor und danach jeweils ein Podcast mit Jan Philipp Albrecht zu machen der im EU Parlament für die Grünen dieses Gesetz sehr maßgeblich vorangebracht hat.

00:22:57: Das war ursprünglich und das genau wollte man beim AI Act vermeiden.

00:23:01: Wir machen eine große Harmonisierung der vielen unterschiedlichen Vorstellungen und Gesetze zum Datenschutz, damit der europäische Markt zumindest in diesem Bereich einigermaßen harmonisiert werden kann.

00:23:09: Und dann ist genau dieses passiert mit dem was Sie gerade als Goldplating beschrieben haben nämlich Faktisch ist die gleiche DSGVO in, sagen wir mal, Estland und Deutschland gültig.

00:23:19: Und dann darf man ungefähr siebenhundert Sachen, die in Estland kein Problem sind – in Deutschland allerhöchstens wenn man vorher nicht nur die persönliche, mündliche, unschriftliche Zustimmung aller zuständigen Plus deren Eltern eingeholt hat, sondern wenn man dazu auch noch ein Instrument benutzt was sich am Ende des gesamten Projekts selbst vernichtet.

00:23:35: Also ich versuch das mal so ein bisschen zu vereinfachen!

00:23:39: Ich glaube man wollte diesmal beim AIAC nicht wieder den Fehler machen dass man ein Gesetz erlässt.

00:23:44: Und sagen wir mal, in Spanien oder Frankreich oder Polen oder Estländer oder eigentlich allen anderen Ländern, dann sagen die Leute okay machen wir so und in Deutschland sagen wir Moment!

00:23:53: Das müssen wir erstmal foderal mit mindestens siebenundzwanzig verschiebenen Behörden bearbeiten und dann brauchen auch noch einen Spezialgesetz was § neun Absatz fünf etwas präzisiert.

00:24:04: Wie schaffen wir das denn jetzt?

00:24:06: Das ist beim AI-Eck nicht wieder dieses Bürokratiegetöse zum DSGVO.

00:24:14: Wie

00:24:15: wird das schaffen?

00:24:16: Das ist natürlich eine große Frage.

00:24:20: Man muss jeden Tag einfach nur die Zeitung aufschlagen, dann leben sie schon wieder irgendwas über Bürokratieabbau der zu langsam geht oder gar nicht geht.

00:24:26: Ob das gelingen wird, wird man sehen.

00:24:28: aber das Gesetz bietet insoweit einen ganz brauchbaren Ansatzpunkt als es sich wirklich ausdrücklich darauf beschränkt die Kompetenzordnung für den schon vorhandenen Akt.

00:24:37: Also der existiert schon, der ist schon in Kraft getreten und so weiter.

00:24:42: Die Vollwirksamkeit jetzt an diesen August.

00:24:44: Und dann braucht bei ihm diese Behörden was das deutsche Umsetzungsgesetz macht?

00:24:48: Ist allerdings tatsächlich vorhandene Behörde doch mit erheblich Personalbestand noch mal aufzustocken.

00:24:54: also das findet dann schon statt weil die Aufgaben die durch den AI zusätzlich auffälligt werden müssen natürlich auch wieder Personal erfordern.

00:25:01: Da

00:25:01: könnte ich jetzt systemtheoretisch antworten und sagen, dass in den allerselten Fällen eine Aufstockung des Behördenpersonals zu weniger Bürokratie geführt hat?

00:25:10: Das braucht man nicht weiter diskutieren.

00:25:11: Das ist hundertprozentig so sicher wie das Arm in der Kirche.

00:25:15: Und es ließ sich deswegen auch ein bisschen ironisch diese Passagen des Gesetzes.

00:25:19: Ja also versuchen möglichst schlank zu bleiben aber wir wollen jetzt noch die drei und vierzig weitere Stellen oder ich weiß nicht geht keine Zahlen irgendwie so.

00:25:26: Ich

00:25:27: weiß nicht, ob ich, also ich mag Ironien gerne so als Instrument.

00:25:30: Aber ich weiß jetzt nicht genau, ob ik ironische Gesetzgebung in meinen neuen Favoriten auch der bürokratischen Begriffe reinzählen würde.

00:25:38: Ich würde gerne unser Gespräch von einer anderen Seite betrachten weil das aus meiner Sicht total großartige interessante und gefährliche an KI gleichzeitig ist dass sie so tief und so von vielen verschiedenen Perspektiven eingreift in ungefähr alle Gesellschaftsebene und eben auch in Recht- und Rechtsprechung.

00:26:04: Ich spiele dabei auf einen ganz besonderen Fall an, der gerade in Leipzig geschehen ist, der im April diesen Jahres für Aufsehen gesorgt hat – auch deswegen weil er so wunderschön gleichzeitig krischeehaft und aber auch zukunftsgewandt interessant, mit hundert verschiedenen Solbustellen im juristischen Kontext versehen ist.

00:26:29: Was es passiert?

00:26:31: In Leipzig hat sich der Leipziger David Hinz in einem Betrugsverfahren selbst verteidigt – und das mithilfe von ChatGPT!

00:26:40: Das war nicht einfach nur irgendwie ein Verfahren sondern es hörte sich fast an als hätte eine KI, die ein bisschen zu Klischee belastet erfunden, denn David Hinze war angeklagt des Betruchswiegens wegen einer Schadenssumme von zweihundertzwanzig Euro und vierunddreißig Cent, nämlich dem arbeitslosen Geld für eine Woche.

00:27:00: Diese Summe hatte die Arbeitsagentur ihm zu viel ausbezahlt.

00:27:04: im Juli zwetausend dreihundzwanziger weil David Hins einen neuen Job eine Woche früher angetreten hatte als geplant.

00:27:12: da hat er also das die Arbeits Agentur Absicht unterstellt Und gleichzeitig ist David hins jemand der sehr flächige Gesichtstitowierung hat, aus Leipzig.

00:27:25: Große Ohrringe also quasi in der sehr konservativen, ich möchte fast sagen reaktionären Lesart auch exakt die Person wäre, die jetzt irgendwie eine Woche Arbeitslosengeld habe, da hab' ich den Start mal geprellt um.

00:27:39: das ist wie gesagt aus meiner Sicht ne nicht zulässige und ernstkonservative Reaktionäre Betrachtung.

00:27:46: Und dann verteidigt sich dieser Mann Auf sehr smart, ich möchte fast sagen gewitzte Weise mit ChatGPT.

00:27:52: ChatGpT hat zum damaligen Zeitpunkt und zum guten Teil auch immer noch eine Vielzahl von Problemen.

00:27:56: z.B.,

00:27:57: habe ich selber schon erlebt erfindet es einfach Urteile.

00:28:00: Also ChatGPD wenn man die russische Fragen stellt sagt ja da gibt's ein Kammergericht von im Jahr zwei Tausend Sieben tolles im Urteil.

00:28:06: dann klickt man auf den Link der dahinter gelegt ist und dann stimmt das gar nicht.

00:28:10: Das führt zwar zu einem Urteil vielleicht sogar vom Kammer Gericht nur handelt das von irgendeiner völlig anderen Situation als zitiert.

00:28:18: Und auch dort in diesem Verfahren von David Hintz macht die KI eine Vielzahl von Fehler und obwohl das so ist, gewinnt David Hints gegen die Arbeitsagentur, die sich in der Materie juristisch schon ziemlich gut auskennt, muss man dazu sagen – Das Verfahren!

00:28:35: Das ist auf ganz viele Arten und Weisen finde ich ein wunderbares Feld wo man über KI Recht und diesen Konflikt sprechen kann oder?

00:28:44: Ja Das ist ein sehr schöner spektakulärer Fall und etwa um dieselbe Zeit ist dann auch dieses Thema etwas breiter diskutiert worden.

00:28:51: Der Fall ist ja tatsächlich auch in der internationalen Presse aufgegriffen worden, weil er so schönes Futter bietet.

00:28:56: Sie haben es gerade schon sehr schön zusammengefasst – ich würde sie übrigens nicht unterstellen dass die Tätowierung da irgendeinen Ausschlag gegeben hat bei den Gerichten oder bei der Unterstellung im Vorsatz.

00:29:05: Das ist einfach so, es ging hier um einen Leistungsmissbrauch von Arbeitslosengeld.

00:29:09: Also um Sozialhilfe-Missbrauche was ja auch jeden Tag in der Zeitung steht und wo die Behörden eben relativ hart drauf schauen.

00:29:15: Ja gut!

00:29:16: Es ging aber um ein äußerst geringer Betrag Und dann war's so Der hat tatsächlich sehr erfolgreich... Was heißt erfolgreich?

00:29:23: Also die ChatGPT hat einen achtzehntseitigen Befangenheitsantrag gegen den Richter bestellt.

00:29:32: Befangenheits, also nicht irgendwie eine Klage... Also nicht ne Verteidigungsschrift so!

00:29:36: Ich war es nicht und ich war gar nicht da und konnte ich gar nicht und habe keinen Vorsatz gehabt.

00:29:40: Hat er vielleicht auch alles nicht?

00:29:41: Hat der wahrscheinlich noch nicht nach seinem Vortrag?

00:29:44: aber einen Befangenheitsantrag.

00:29:45: Und zwar hat die KI zusammengeschrieben der Richterverstieße gegen den Gewaltenteilungsgrundsatz, dann wurden eben auch Gesetze diese Halluzinationen irgendwie also Gesetzer wurden aneinander gereiht ohne dass der Sinn wirklich getroffen wurde und das alles auf achtzehn Seiten.

00:30:02: wenn dieser Justiz in dieser Dieser Einzelrichter jeden Tag jetzt zehn solche Anträge auf dem Tisch kriegt wegen klein Verfahren Dann kann er seinen Laden zumachen Und eingestellt wurde dann letztlich aufgrund des sogenannten Opportunitätsprinzips.

00:30:16: Also dass der, letztlich der Aufwand dieses Verfahren bis zu einem Endurteil durchzuführen, der Geringfügigkeit des möglichen Verstoßes wenn überhaupt ein solcher da ist nicht angemessen ist.

00:30:31: ist gar nicht die großartige KI der Grund gewesen, letztes ist eine ökonomische Überlegung.

00:30:36: Und das ist dann aber der eigentliche Knackpunkt den wir auch wirklich als eine Welle auf die Gerichte zukommen sehen.

00:30:42: man kann mit KI quasi in hundertfacher Geschwindigkeit.

00:30:45: jeder einzelne Mensch kann juristischen Text produzieren und zwar in nicht nur achtzehn sondern auch hundred-achtigseitigen Formen.

00:30:52: Wenn wir damit die Gerchte fluten, sind die Geriche sehr schnell überfordert einfach aus puren Platzgründen, aus purem Kapazitätsgründen.

00:30:59: Und die Frage ist, wie die Justiz damit umgeht.

00:31:01: Also wo das überhaupt ein Thema ist und was dann daraus folgt für die Justiiz und fürs Recht?

00:31:06: Dann kann man natürlich auch die Frage diskutieren, wie können die Gerichte sich dagegen wappnen?

00:31:10: Können sie da eine Gegenstrategie einbauen indem Sie ihrerseits mit KI drangehen?

00:31:13: Da gibt es schon, sagen wir mal Versuchsmodelle, wo sowas mal getestet wird.

00:31:17: aber wie gesagt, da ist dann eben der Knackpunkt dass in Gerichtsverfahren am Ende immer einen Menschen scheiden muss.

00:31:25: also das sind so Kapazitätsfragen Vielleicht noch ein bisschen erweitern.

00:31:29: In Deutschland hat das Thema gar nicht so eine riesige Fahrt, also ich habe mich umgeschaut auf diesen Fall hin.

00:31:37: Bei welchen Gerichten ist es eigentlich relevant?

00:31:38: Das war jetzt hier ein Strafprozess vor dem Amtsgericht wo eben kein Anwaltszwang besteht und nur deswegen besteht auch ein Anreiz dass der Einzelne sich da selbst verteidigt und einfach sagt ich spare mit den Anwalt Ich lass einfach mal die KI einen Schriftstatt schreiben.

00:31:52: Eine ähnliche Situation stellt sich in den Sozialgerichten, da gibt es nämlich auch keinen Anwaltszwang.

00:31:56: und da sehen wir inzwischen oder das wird jetzt auch tatsächlich diskutiert.

00:31:59: Das ist ein NRW neulich so ein Thema gewesen was auch durch die Presse gegangen ist.

00:32:03: Auch da sehen Wir Antragshäufungen Klagehäufung.

00:32:07: jüngst habe ich auch aus dem März sechsundzwanzig ein interessantes amerikanisches Forschungspaper gefunden Wo es um Access to Justice in the Age of AI geht, nämlich um die US Federal Courts.

00:32:19: Also um Klagen, die durch Einzelkläger ohne anwaltliche Beratung vor den Bundesgerichten der USA eingereicht werden.

00:32:26: und das sind dann auch wiederum Fälle wo's nicht auf Anwält also wo die sagen wir mal fachlich oder oft einen Anreiz bieten ohne Anwalt vorzugehen, also Verbraucherschutz kleine Rechtsverletzungen stellen diese Autoren fest, die heißen Anand Shaw und Joshua Levi vom Massachusetts Institute of Technology and University of Southern California.

00:32:51: Das ist tatsächlich seit der Einführung von Chat GPT also seit dieser Revolution des Jahres zwanzig dreiundzwanzig einen signifikanten Anstieg solcher nicht anwaltlich vertreten im Kleinkleger gibt.

00:33:04: Und auch da stellt sich dann eben die Frage wie werden die Gerichte künftig mit sowas umgehen?

00:33:08: Die Frage stellt sich dagegen nicht in Rechtsbereichen, wo Anwaltszwang herrscht.

00:33:12: Und da muss man einfach sagen das deutsche Recht oder das Prozessrecht des Rechtssystems des Gerichtsverfassungsrechts und das Rechtsberatungssystem ist immer noch relativ sehr stark verrechtlicht also in vielen vor allem ab der Landgerichtsinstanz und bei den oberen Gerichten beherrscht Anwaltszwangen.

00:33:26: Das heißt, da kann jetzt nicht einer kommen und kann dann mit Chat GPT vorm Richter rum fabulieren.

00:33:34: Das sehe ich, dass da natürlich so eine Solbruchsstelle ist.

00:33:36: In dem Moment wo man auch an Anwalt braucht und heute in der KI-Ihrer würde man sagen, man braucht an dieser Stelle einen Menschen, der eine bestimmte Ausbildung nachweisen kann.

00:33:44: Sonst ist man quasi vor Gericht stumm und kann gar nicht aussagen und sprechfähig was für die eigene Vertretung angeht.

00:33:51: aber es gibt ja auch andere Bereiche, andere juristische Bereiche wohnen Anwaltszwangen vielleicht noch gar nicht so sehr zum Tragen kommt oder wo man mit Hilfe von KI diese Skalierbarkeit des Textes massenhaft ausnutzen kann.

00:34:09: Zum Beispiel was Anzeigen angeht, die erstellt werden können.

00:34:12: oder schon was es bedeutet wenn man plötzlich in der Kombination aus Social Media und KI sagen kann okay ich suche mir alle möglichen Leute raus die nachweisen können dass sie Produkt X gekauft haben Eine Masse von sagen wir mal zehntausend Menschen mobilisieren, die mit zwei Klicks dem zustimmen.

00:34:33: Dass ich als Kanzlei Zehntausend Verfahren gegen Firma XY, die dieses Produkt angeboten haben per KI auf den Weg bringen kann und dann ist halt Anwaltsgang hin oder her.

00:34:45: das gibt in den Vereinigten Staaten gerade auch eine sehr intensive Diskussion.

00:34:49: vielleicht auch irgendwann nach Deutschland schwappt weil Massenverfahren trotzdem individualisierbar mithilfe von KI Bedeuten, dass man ganze Rechtsabteilungen lahmlegen kann.

00:35:04: Und wo ist da eine sinnvolle Grenze?

00:35:08: Ja das wird man sehen!

00:35:09: Das ist tatsächlich etwas was absolut im Fluss ist und ich habe irgendwo auch so ne Schlagzeile geliehen oder in einem Anwaltsblatt... höchste Zeit für taktische Überlegungen.

00:35:19: Angesichts der jetzigen Entwicklungen wird es selbstverständlich so sein und das wird auch schon gemacht, dass im Kanzlein natürlich der Markt, der Rechtsberatungsmarkt daraufhin abgeklopft wird wo solche Lücken vorhanden sind, wo man Prozesse automatisieren kann.

00:35:33: ich meine Legal Tech gibt's ja auch schon länger Das ist ja schon etabliert.

00:35:37: Dass sich so Massenschadensfälle, Regulierungsfälle also beispielsweise Reiserrecht Versicherungsrecht sowas Das lässt sich ja praktisch maschiniert abarbeiten.

00:35:46: Also das ist auch etwas, was man sozusagen wenn wir jetzt die Gesamtheit aller Prozessfälle oder alle Rechtsstreitigkeiten anschaut.

00:35:52: also man kann so einen Cut machen.

00:35:54: es gibt die Fälle, die ganz einfach sind und die sozusagen immer nach Schema f durchlaufen.

00:35:59: da bietet sich natürlich komplett an hier mit KI vorzugehen Und das wird eben schon gemacht.

00:36:05: Da wo ein Anwaltszwang ist, ist es dann spätestens der Anwalt der die KI einsetzt Oder in der Anwalzkanzlei werden Stellen für Junganwälte obsolet, weil man einfach diese einfache Arbeit per KI erledigen kann.

00:36:19: Und dann gibt es aber nach wie vor diesen, sagen wir mal komplexere Prozesse die eben nicht mit KI erlädigbar sind.

00:36:25: Aber so dieses ganze also insoweit ist dieser Fall des Leipzigers das David Hins auch sehr typisch.

00:36:33: Also ein einfacher kleiner strafrechtlicher Fall wo's einfach nur darum geht hat der jetzt diesen Vorsatz gehabt oder nicht, das lässt sich letztlich gar nicht nachweisen.

00:36:41: Und dann macht man einfach nur kleine Kosten-Nutzung-Rechnungen.

00:36:43: und das ist eigentlich ein klassischer Fall wo KI wunderbare Dienste leistet ja?

00:36:50: Aber es gibt da gut.

00:36:51: also da muss man eben sozusagen wenn man jetzt eine Anwaltskanzlei betreibt oder wenn man so versucht das zu regulieren, dann müsste man den gesamten Markt an sich anschauen.

00:37:00: Wo überall wird KI schon eingesetzt, wo lässt sie sich sinnvoll einsetzen?

00:37:04: und das

00:37:07: Und man muss dazu sagen, dass jetzt so die Anwaltspflicht auch nicht einen Schutz vor allem bietet.

00:37:12: Und deswegen bei Selbstanwaltspflicht halt nicht.

00:37:14: bedeutet das alles was getan wird automatisch menschlich sein muss.

00:37:19: Es ist ja schon sehr unwahrscheinlich, dass man bei einer Anwalzpflicht dann jemanden... Da muss man schon Menschen vor das Gericht schicken.

00:37:27: aber neunzig-fünfeinundneunzig Prozent der Aktivitäten im juristischen Umfeld sind erst mal der Austausch von Schrift setzen wo dann man gar nicht genau weiß hat es jetzt ein Mensch geschrieben oder nicht?

00:37:36: Da wäre dann auch noch mal eine spannende Frage aus meiner Sicht, ob man das zwischen einzelnen Rechtsaufgaben und Rechtsgebieten so unterteilen muss.

00:37:44: Es gibt eine sehr große, sehr erfolgreiche Anwendung im angelsächsischen Raum die sich auf Verträge bezieht.

00:37:51: So KI-gestützte Vertragsanalyse des sogenannten Draftingen Das ist Co-Council.

00:37:57: So nennt es sich dieses Software.

00:37:59: Meines Wissens ein Angebot von Thompson Reuters und mit diesem Angebot, mit dieser Mechanik kann man halt so ganz klassische Vertragsgestaltungsfragen ein superwichtiges Einsatzgebiet von Juristinnen.

00:38:15: Die kann man dann zu einem sehr großen Teil an die KI-Auslage.

00:38:17: Und theoretisch sagen wir natürlich auch nie.

00:38:19: aber da muss am Ende noch mal einen Mensch drüber schauen der fachlich auch bla bla bla.

00:38:22: Aber faktisch ist jetzt meine Erfahrung dass wenn das irgendwo in der IGB steht Das setzt nicht unbedingt auf Zwingend von allen Beteiligten umgesetzt wird, muss man vorsichtig sagen.

00:38:32: Völlig richtig?

00:38:32: Das ist ein ganz toller Anwendungsfall für KI.

00:38:35: aber das war bisher auch schon so.

00:38:37: also bis hier gab es Formular Handbücher für sogenannte Formularhand Bücher für Vertragsrecht.

00:38:42: Also wenn ich jetzt und auf das ist ja ein Standardisiertes Geschäft in vielen Fällen also Ich will jetzt irgendwie eine Eigentumswohnung mit einem Tiefgaragenplatz kaufen Ja dass ist einfach was da in den Vertrag reinmuss das komplettes Clip Club das ist etwas was bisher halt dann im Baukastensystemen von Textbausteinen.

00:39:02: Also früher war das manuell, aber im Prinzip sind es auch Bausteine die man dann eben zusammengestellt hat und auf den Fall einfach nur noch sozusagen die richtigen Personen reingeschrieben hat und das personalisiert hat.

00:39:12: Das kann die Kain der Tat auch!

00:39:14: Und ich meine dass jetzt da gar kein Mensch mehr drauf schaut.

00:39:20: klar dieses Risiko kann mal eingehen würde ich aber wiederum nicht unbedingt unterstellen.

00:39:23: also wie gesagt der Arbeitsschritt Ich nehme einen vorgegebenen letztlich Mustertext, variiere den Passe dann auf dem Fall an.

00:39:32: Dieses Produktionsverfahren im Recht gibt es auch schon sehr lange und ist absolut bewährt.

00:39:39: und das hier KI passt ja keine Frage.

00:39:42: Ich habe jetzt mal so aus der klassischen Anwender sich ich bin ja selbstständig Unternehmer und hab da immer mal irgendwie Verträge die abschließen muss, beziehungsweise eine Vielzahl von Vereinbarungen wie auch immer man es nennt die dann aber doch am Ende einen gewissen juristisch bindenden Charakter mitbringen.

00:39:59: Das kann schon damit anfangen dass man irgendwelche Dinge auf eine Rechnung schreibt die man jemandem stellt und die müssen so formuliert sein das es rechtssicher ist.

00:40:06: sonst gibt es eine vielzeit von merkwürdigen bis schwierigen Folgen.

00:40:11: Da ist meine Erfahrung ehrlicherweise vielleicht ein bisschen zu ungerecht der deutschen Bürokratie Szene gegenüber, dass wenn man das so tut wie es sehr viele im juristischen Kontext erwarten.

00:40:23: Nämlich dass man sagt ich habe hier einen Kaufvertrag und diesen Kaufvertrag den lasse ich weil eine gewisse Höhe übersteigt von einer Fachperson erstellen und dann kann ich ihn anwenden und bin auf der sicheren Seite.

00:40:36: Was ich da schon erlebt habe ist A, dass ich dann eine Fachperson frage können sie in einem Vertrag machen?

00:40:43: und dann kommt was zurück wo sogar ich als Laie sage Der hat sich aber überhaupt nicht mit der Materie beschäftigt.

00:40:49: Und es hat Potsch, die im Taußen vierhundert und dreißig Euro gekostet und das war noch ein günstiger Satz.

00:40:54: Dann kann es zweites passieren dass man sagt oh das ist aber ein guter Vertrag.

00:40:57: und dann lässt man eine KI drüber laufen.

00:40:58: und dann merkt man da gibt's ein paar Säubuchstellen Die entweder schon veraltet sind oder die darauf hinweisen dass sie mit einem Baukastensystem gearbeitet worden ist was vielleicht nicht jeden Fall abdeckt vorsichtig gesagt weil auch ein Baukasten System ist ja in gewisser Weise so ein one size fits all Mechanik.

00:41:12: und der Dritte und noch bisschen ärgerlichere Punkt ist mein persönliche Erbauerung zurück und zwar schon über zehn Jahre her, aber ich glaube das ja nicht ganz außerirdisch daherkommt.

00:41:23: Dann hat man eine Haftungssituation weil man einen professionellen Vertrag der tatsächlich uns ungenügend war irgendwie gekauft hat für viel Geld?

00:41:34: Und dann finden sich diejenigen die diesen Vertrag gemacht haben im Verfahren rückwärts so lange aus ihrer Haftung raus dass man am Ende denkt na ach gut dann egal.

00:41:44: ich stimme dem Vergleich zu.

00:41:46: Wir sagen, gute Bekannte von mir haben einen sehr großen Vertrag abgeschlossen mit einer Kanzlei-Unterstützung und am Ende war der Haftungshorizont dieser Kanzlei lächerlich.

00:41:58: Die hätten wie vielen, vielen Euros sparen können wenn sie, ich sag mal böse einfach ein Standardvertrag im Internet gegoogelt und ein bisschen angepasst hätte.

00:42:08: Zum Karriere möchte ich das gar nicht sprechen.

00:42:12: Ja ja, das kann ich schon nachvollziehen.

00:42:15: Also theoretisch ist es ganz klar.

00:42:17: natürlich gibt's ein Anwaltshaftungsrecht.

00:42:18: wenn der Anwalt hier einen Haftungsfall produziert also seine Pflichten schuldhaft verletzt weil er einen ungenügend Vertrag geschrieben hat dann haftet er dafür ist auch versichert.

00:42:27: Das muss jetzt nicht aus eigener Tasche bezahlen.

00:42:29: Es gibt eine Pflichtversicherung.

00:42:31: Aber ja natürlich das ist dann wie bei all diesen Prozessen und auch hier gilt dann ökonomisch dass Was was ist letztlich im prozess?

00:42:43: eine kostengünstige Vermittlung von Interessenkonflikten.

00:42:48: Und wenn man nicht bis zum jüngsten Tag streiten will, dann macht man irgendeiner Stelle einen Punkt und sagt okay ich zahle die Hälfte und datzit und dafür lasst mir das jetzt gut sein und so.

00:42:59: Aber sagen wir mal so hier wird möglicherweise was den gesamten Anwaltsmarkt anbelangt sehr wohl sich noch einiges an Marktbereinigung.

00:43:09: möglicherweise weil dass Anwälte ihr Handwerk schlechter erledigen als die KI.

00:43:17: Das kann dann eigentlich nicht sein, dass sie sich noch lange am Markt halten, sag ich es mal vorsichtig.

00:43:23: Also da müssen Sie sich schon ein bisschen was Besseres erfinden.

00:43:26: Es gibt ja auch unter alttextproduzierenden Berufen also dazu gehören ja auch Anwältige gibt es ja auch durchaus berechtigt diese Angst das einfache Dienstleistungen, die von der KI mindestens genauso gut gemacht werden.

00:43:38: Von der KI auch noch fehlerunabhängiger oder fehlerfreier gemacht werden?

00:43:42: Ja dann kann auch der Anwaltsjob des menschlichen Anwalt eigentlich wegfallen wenn er im Prinzip oder im Zweifel nur mehr Fehler macht als die KI machen würde.

00:43:50: Ansonsten der Tipp mit der KI mal über den Vertrag drüber zu gehen ja absolut gold.

00:43:57: ja exakt so würde man das machen.

00:43:59: Das Problem ist dann schon, dass wenn ein Anwalt einen Vertrag erstellt und selbst die KI nicht drüberlaufen lässt, dann ist er halt irgendwie wahrscheinlich auch nicht so auf der Höhe der Zeit.

00:44:06: Aber da kommen wir eigentlich noch mal zurück zu dem Rechtspositivismus von ganz am Anfang.

00:44:09: also man stellt eine Fach... Man lässt einem Vertrag von einer Fachperson erstellen.

00:44:14: das kostet auch nur ein Haufen Geld Und man wähnt sich auf der sicheren Seite.

00:44:18: Ja!

00:44:19: Wenn es so einfach wäre.

00:44:20: Es ist eben nicht so einfach, das Recht ist überall eine große Grauzone.

00:44:23: Es ist immer eine Vermittlung Unwegbarkeiten und natürlich kann man ganz vieles übersehen, auch als Fachjurist.

00:44:29: Und wie kann sich KI in dieser Grauzone dann darstellen?

00:44:33: Kann es den Anwalt hier ersetzen?

00:44:35: Kann das hier für Klarheit sorgen?

00:44:38: Vielleicht an manchen Stellen ja oder anderen Stellen eigentlich nein, weil da ist dann wiederum die Frage, promptet der Anwaltung KI so dass er eigentlich die Frage sieht, die hier zu beantworten wäre oder hat er schon die ganze Frage übersehen.

00:44:53: Dann kann auch die KI nicht weiterhelfen.

00:44:55: Also KI ist ein Tool.

00:44:57: Es kommt das raus, wie man es eben anwendet.

00:45:00: Das ist nicht so, dass das eine des Anderes hier obsolet macht.

00:45:04: Das Spannende finde ich an dieser ganzen Diskussion aus juristischer Perspektive in fast den meisten Fällen irgendwann aufhört und in zwei verschiedenen Richtungen abbrechen kann.

00:45:18: Die eine ist klar technologisch.

00:45:22: An dieser Stelle die KI als Instrument überhaupt noch geeignet ja oder nein?

00:45:26: Und die andere ist eine ethisch-moralische Verantwortungsfrage.

00:45:30: Ist an dieser Stelle nicht eigentlich das Recht ungenügend, die KI ungenügend und damit jemand als Mensch verantwortlich?

00:45:40: In dieser Diskussion finde ich es sehr häufig dass man zwar sagt human envelope aber eigentlich sagt man damit wir brauchen am Ende einen Schuldigen.

00:45:50: also wir brauchen vor allem deswegen Schuldigen weil natürlich die KI auf keinen Fall die Verantwortung und die Schuld tragen darf.

00:45:57: Und da frage ich mich, ob das noch zeitgemäß ist?

00:45:59: Ob man nicht an irgendeiner Stelle sagen kann oder muss?

00:46:01: Nee!

00:46:02: An dieser Stelle trägt die Verantwortung die KI – und eine Menge von Leuten haben gesagt wir wollen die Verantwortung der KI übertragen.

00:46:09: Absolut.

00:46:10: Da gibt es auch Überlegungen dazu.

00:46:11: Da gibts inzwischen schon ganze Bibliotheken zu überlegen, die KI zu personalisieren also diesen KI-Agenten wo man sagt Ja, der trifft Entscheidungen die ein Mensch gar nicht mehr überblicken kann.

00:46:23: Also ist der human in the loop sozusagen eine Fermilife?

00:46:26: Weil er kann es ja auch nicht überblücken!

00:46:27: Der wird ja nur das abnicken was DKI gemacht hat.

00:46:30: Also is diese sogenannte Autonomie der KI also ich mache hier schon so Air-Commerce.

00:46:37: Diese Autonomien der KI berechtigt oder verpflichtet uns nachgerade die KI ebenfalls wie ein autonomes Subjekt zu behandeln und ihr Personenstatus und eigene Verantwortlichkeit zu geben.

00:46:48: solche Überlegungen gibt es Und die gibt es dann teils auch in Bezug auf das existierende Recht.

00:46:53: Es wird zum Beispiel überlegt, ob jetzt die KI die Verträge für einen schließt wie ein Agent also wie ein Stellvertreter behandelt werden soll mit der Folge dass wenn die KI irgendwas Abwegeiges macht über den Umfang der Vertretungsmacht hinaus dann ebenfalls die KI wie ein Vertreter ohne Vertränkungsmach behandeln werden sollte und so.

00:47:12: Das Recht ist ja auch nur ein Instrument.

00:47:14: Ja, das Recht ist ein Instrament um soziale Konflikte zu regulieren und im Zweifel einen Schadensersatz bereitzustellen wenn irgendwas richtig schief gegangen ist.

00:47:21: so Und um die KI in dieses System einzubeziehen müsste man der KI ja sozusagen eine autonome Haftungsmasse zur Verfügung stellen.

00:47:29: also die KI müsse dann wie so ne GmbH eine eigene Haftungssumme haben mit der sie dann eben wenn Sie einen Schaden anrichtet haftbar wäre.

00:47:37: Man könnte sagen jeder KI Anbieter muss ab einer bestimmten Größe Pro Anwendungsszenario eine Summe X für eventuelle Haftungsfragen bereithalten.

00:47:47: In anderen Bereichen hat man das ja getan?

00:47:49: Ja, da kann man dann aber verschiedene Lösungen eben im Betracht ziehen.

00:47:52: also man kann sagen okay die KI selbst ist das Subjekt und kriegt einen Haftungstopp der sozusagen... Dann stellt sich die Frage wer befüllt diesen Haftunstops?

00:47:59: Sie hätten es gerade erwähnt, ja der Ersteller!

00:48:01: Für jede KI die er sozusagen auf den Markt bringt, tut er sozusagen einen Tropfen ins Haftunktop für die KI.

00:48:06: Man kann aber auch andere Lösungen wählen.

00:48:08: Man kann sagen, man macht sowas wie eine gesamtgesellschaftliche Versicherungslösung oder man macht so ne Gefährdungshaftung wo dann eben die Konstrukteure dieser AI sowie wenn ich jetzt beispielsweise ein Atomkraftwerk baue oder was weiß ich?

00:48:22: Dann bin ich eben auch verantwortlich für diesen Betrieb.

00:48:24: und wenn das Ding in die Luft fliegt selbst wenn ich nichts dafür getan habe muss ich... Man kann, also es gibt aber eben verschiedene Konstruktionen.

00:48:31: Ich würde sagen im Recht gilt wie in anderen wissenschaftlichen Materien Occams-Rasiermesser.

00:48:36: das heißt ich würde im Zweifel keine Konstruktion wählen die komplizierter ist als nötig.

00:48:41: und für mein gefühl ist die konstruktion dass sich jetzt die KI als Personverselbstständige und ihr eine eigene Haftungsmasse zur Verfügung stelle die ich aus dem Vermögen eines anderen Haftungsträgers den ich genauso ansprechen könnte der aber schon da ist, also ich muss sozusagen aus einem mache jetzt zwei Haftungsträger.

00:48:57: Warum muss ich das machen?

00:48:58: Wenn ich auch eh schon doch eigentlich das Ganze so lösen kann dass ich eben den zweiten Haftungssträge der KI nicht brauche.

00:49:04: Also das wäre hier meine Skepsis.

00:49:07: Da würde ich ja so ein bisschen aus der nicht nur KI-Perspektive sondern auch aus der, sagen wir mal technosozialen und technokulturellen Perspektive argumentieren denn es ist ja schon auffällig sehr offensive Vermenschlichungsstrategie von KI da haben.

00:49:27: Und zwar sowohl in der Kultur, in der Science-Fiction-Kultur ebenso wie in der Alltagskultur und auch von den Unternehmen selbst.

00:49:34: Die meisten KIs haben irgendwie entweder Namen oder werden vermenschlicht indem ihnen eine Figur zugesprochen wird.

00:49:40: Wo gar nicht lange Zeit im Anfang Juni hat Apple die neue Version ihrer eigenen eigentlich der ersten KI die Sprechenkonte vorgestellt, Siri nämlich.

00:49:53: Und Siri war einer ganz konkreten Frau-Nacht benannt.

00:49:57: Wenn wir so was haben wie Claude das Angebot von Anthropik dann sind das menschliche Namen.

00:50:02: Ich habe an einer busalte Stelle vor einiger Zeit gehört, wie zwei sehr junge Menschen über Chatchi Pity gesprochen haben und dabei gesagt haben... Das war für mich so eindrücklich von dieser Vermenschlichung her Chatti!

00:50:15: Und sie haben das unterschieden, weil natürlich Mein Jetty hat gesagt, was hat denn dein Jetty dazu gesagt?

00:50:22: Ja dann gibt es also eine Vielzahl von Vermenschlichungen bis in den juristischen Bereichen ein.

00:50:28: einer der wichtigsten Anwendung bei der Vertragsgestaltung zum Beispiel heißt Harvey.

00:50:32: Das kommt natürlich aus diesem lustigen kulturellen Kontext von mein Freund Harvey einen Buch erstellt einen unsichtbaren eingebildeten oder ist ja nicht ganz eingebildetem Freund vor und genauso soll man die KI empfinden.

00:50:43: das heißt wir haben auf breiter Front ohnehin schon Auch die Filme, die in den letzten zwanzig-dreißig Jahren über KI entstanden sind.

00:50:50: Hör zum Beispiel eine radikale Vermenschlichung von diesen Assistenten und da liegt es total nahe!

00:50:58: Das ist dann wieder fast irgendwo zur Rechtspositivismus.

00:51:00: Auffassung ja wenn alle das als eigene Person empfinden müssen wir denn nicht juristisch auch eine draus machen um sie mal ganz provokativ und vereinfachend zu formulieren?

00:51:07: Ja... Mit einer der spannendsten Fragen, die wir jetzt haben.

00:51:11: Also gerade so dieser Bezug zur Science Fiction.

00:51:15: und was ist eigentlich unsere Imagination?

00:51:17: Wenn wir die KI?

00:51:18: also ich meine das ist ja alles ein großes imaginatives Projekt Und diese Vermenschlichung dass es für Menschen es eine Strategie Es ist eine teils bewusst gewählte Strategie weil auf diese Weise die KI erst als menschlicher Inter interlocutor empfunden wird also auch das Reinforced Learning Through Human Feedback, die KI wird so trainiert dass sie vom Menschen als sympathisch wahrgenommen wird.

00:51:40: Sie wird als Body empfunden und soweit er sie wird als besser als ein menschlicher Partner empfundet Ja!

00:51:46: Und meine Frage wäre jetzt müssen wir das dann noch zusätzlich verschärfen indem wir da sozusagen nochmal Öl ins Feuer gießen und sagen Jetzt meinen wir es real oder Wir zementieren das auch noch per Recht was wir Perfektion uns erfunden haben?

00:52:03: Ich meine nein Ja.

00:52:04: Weil man muss eben auch sehen, es ist ja äußerst kritisch was wir da machen und zwar nicht weil die Technik uns davonlaufen könnte das glaube ich nicht dass das so das Ding ist sondern weil wir selber uns betrügen über das was wir hier machen.

00:52:18: ja wir selber glauben wir würden uns den besseren Menschen erschaffen.

00:52:22: wird zerlegen uns dadurch die Gesellschaft.

00:52:24: Und dann muss ich ehrlich sagen Ich würde das Recht dafür nicht zumindest nicht ohne nochmal sehr genau hinzuschauen als Hilfsmittel hergeben

00:52:34: erklärt der juristischer Leie mit einem großen Interesse für diese Graubereiche den Versuch eines Teilwiderspruchswagen aus einem ganz einfachen Grund, weil ich in der Technologiegeschichte ein wiederkehrendes Muster sehe.

00:52:50: Die Verantwortungstiffusion?

00:52:53: Dass man also sagt dieses Instrument war gar nicht so gemeint und jetzt haben Leute es böse missbraucht und natürlich sind dann die Leute verantwortlich für den bösen Missbrauch.

00:53:03: Wir finden das zum Beispiel in der Dual-Use-Debatte, die klassische Ansatz wäre hier.

00:53:09: Das ist ein Brotmesser und wir haben es auf den Markt gebracht damit es als Brotmesser funktioniert um Brotschneiden.

00:53:14: da kann doch der Hersteller nichts dafür dass er jetzt diese Person X dann Menschen erstochen hat mit diesem Brot Messer.

00:53:19: Er ist ja nicht überhaupt noch nicht nur ansatzweise für verantwortlich Und gleichzeitig haben wir in anderen Bereichen eine völlig andere Auffassung nämlich das Instrument wenn man es falsch verwendet oder sagen wir mal ethisch nicht korrekt verwendete dass dann trotzdem auch die Hersteller immer noch eine Mitverantwortung haben.

00:53:37: Und jetzt sehe ich die Debatte, wenn man sagt nein grundsätzlich ist der Hersteler immer verantwortlich dafür wie eine KI eingesetzt wird.

00:53:45: Der muss um Gottes Willen das Risiko des Missbrauchs von Anfang an eindämmen sonst ist er hundertprozentig mitverantwortlich.

00:53:52: Das ist also die Debatte.

00:53:53: und jetzt sehe Ich, dass wir ne neue Technologie auf uns zu.

00:53:59: ich möchte bei einer sagen Stürmen haben Wo wir eine personalisierte KI, es kommt auf die Personal Agents am Ende wird es ankommen in ganz vielen Bereichen.

00:54:09: Dein Chatty, mein Chatty das ist die Zukunft.

00:54:11: Siri das wohnt auf meinem Handy.

00:54:14: da ist zwar die Basis dass was auf den Servern mit gelernt und so weiter und sofort angeboten worden ist aber irgendwann haben wir die Situation Das dann mein Chatte oder mein Cloth Eine Technologie ist.

00:54:27: sie hat mir zwar das Unternehmen Angeboten Aber Es wurde personifiziert, angelernt weiter verfeinert in ganz vielen Dimensionen verändert.

00:54:38: Durch meine Interaktion, meine Kommunikation, meine Sünsche und meine

00:54:44: Daten.".

00:54:45: Und plötzlich sagt Chatty bzw.

00:54:48: OpenAI die Firma hinter Chatty Petey, nee, nee Moment!

00:54:52: Das was hier am Ende böse war und recht gebrochen hat diese KI das war gar nicht mehr unser Angebot sondern Person X hat drei Jahre lang diese KI so sehr personalisiert, dass sie am Ende gar nicht anders konnte als diese juristische Zweifelhaftigkeit zu begehen oder dieses Verbrechen.

00:55:14: Aber deswegen brauche ich immer noch keine personifizierte oder keine KI als eigene Rechtspersönlichkeit sondern was wir noch nicht diskutiert haben es gibt die Herstellerhaftung aber es gibt natürlich Neben diesen Hersteller und Versicherungslösungen gibt es natürlich auch einfach die Nutzerhaftung.

00:55:33: Und das ist, sagen wir mal der allgemeine Weg bei technologischen Risiken.

00:55:36: Es haftet der, der eine gefährliche Technologie zum eigenen Nutzen einsetzt.

00:55:41: Das ist der Grundgedanke der sogenannten Gefährdungsaftung.

00:55:45: Die gibt's seit wir gefährlichen Technologien haben.

00:55:47: Das heißt wenn ich mit dem Auto im Straßenverkehr rumkutschiere dann hafte ich für das was ich hier mache Und genauso könnte man das hier im Prinzip auch lösen.

00:55:57: Also, dass wäre auch noch eine Möglichkeit.

00:55:58: und dann ist es wiederum das Risiko des Nutzers.

00:56:01: und der Vorteil einer Gefährdungsaftung ist auch noch rechtsökonomisch gesehen.

00:56:06: Das wird jetzt ein bisschen technisch.

00:56:09: aber sagen wir mal, dass ein optimales Aktivitätsniveau eben nicht überschritten wird.

00:56:14: Dann würden Sie Ihre KI eben nur soweit personalisieren drauflegen, wie sie selber dieses Risiko dann eigentlich... Sie wissen?

00:56:24: Sie haften.

00:56:24: Wenn was schief geht, dann würden Sie das an dieser Stelle eben decken und zwar eigenverantwortlich.

00:56:29: Aber das Anders findet ja statt in einer Situation wo wir offen zugeben müssen und das unterscheidet dann halt Jura aus meiner Sicht zumindest erheblich von künstlicher Intelligenz, wo wir offenzugeben müssen nicht einmal die sachkundigsten KI-Expertinnen des Planeten können wirklich sagen, was im Bereich KI gerade passiert.

00:56:53: Das ist eine Black Box die noch blacker und noch boxiger ist als alle anderen Bereiche über die wir heute in der Zivilisation diskutieren können.

00:57:01: Denn bei aller Komplexität und Schwierigkeit, die jetzt im Bereich des Rechts- und der Rechtsprechung und der Regulierung usw.

00:57:10: bestehen kann man Jetzt der Rechtsprechung und eigentlich den ganzen Bereich Jura wenig Vorwürfe machen, dass nicht schon Milliarden mal versucht worden ist zu verstehen was genau wie wirkt und wo was dahinter steht.

00:57:20: Und es auch sehr viele Erklärungsansätze gibt dafür.

00:57:23: im Zweifel ist aber bei der KI ein so großes Unverständnis der Tiefe der Technologie vorhanden das man heute noch gar nichts sagen kann ja bis jetzt vielleicht sinnvoll hier in der eigene rechtsperson zu eröffnen und das ist eine völlig neue rechtsperson.

00:57:40: oder Ist es ne katastrophe wenn man nur in richtung sagen wir mal nutzerhaftung und nutzergefährdung geht?

00:57:45: Oder Es ist die einzig sinnvolle art und weise ne herstellung haftung ist voll umfänglich auf alles auszu denen was überhaupt nur jemals passieren kann und das sind ja keine ätherischen fragen sondern übernächstes Jahr spätestens wird irgendwo irgendein kaibot irgendeine entscheidung treffen Die wahnsinnig viele menschen ein riesiges unbluck stürzen wird und dann ist dann irgendwo die frage fahren wird ist die Person, die so halbwissentlich und wissentlich oder aus Versehen auf den Knopf gedrückt hat, die verantwortlich ist.

00:58:10: Ist das Unternehmen verantwortliche?

00:58:11: Ist es der Hersteller verantwortlicher?

00:58:14: Es gibt ja auch im AI-Akt, also Unterscheidungen zwischen Herzsteller und Betreiber, die ein bisschen nebulös formuliert sind.

00:58:20: Wir sind jetzt in einer Situation wo wir diese Black Box juristisch fassen müssen ohne dass wir das günheitlich verstehen.

00:58:27: Das ist korrekt!

00:58:28: Aber Juristen machen so etwas eigentlich immer, wenn sie eine neue Technologie haben.

00:58:32: Und das ist pastätiert der dauernd was Neues in der Gesellschaft.

00:58:35: Das Recht ist eigentlich so strukturiert dass es mit allgemeinen Begriffen auch neue Phänomene erfassen kann.

00:58:39: Das ist eigentlich das Schamante am Recht.

00:58:41: also die Debatte hatten wir auch schon lange vor dem jetzigen KI-Zeitalter vor zwanzig Jahren ein bisschen mehr als zwanziger Jahre, als wir diese Ende der neunzige also der erste Internet Hype losging.

00:58:54: und dann stellt sich die Frage Das Recht des Internet, also ist jetzt ein Vertrag der im Internet geschlossen wird.

00:58:59: Per Klick ist das jetzt was anderes als wenn ich jetzt in einen Laden reingehe und dort quasi an der Kasse hier realen Vertrag schließe.

00:59:06: Und große Verwirrung, großes Junker und dann eigentlich ist man auf ganz die allgemeinen Vertragsschlussmechanismen verfallen.

00:59:13: Also das Recht ist eigentlich so strukturiert dass es Allgemeine Konzepte anbietet und die immer wieder in neuen technischen Formen realisierbar sein lässt.

00:59:23: Das ist eigentlich das elegante Amerecht und es ist dann auch, dass eine Juristenarbeit die übrigens nicht meines Erachtens nicht leicht von KI substituierbar ist oder so schnell nicht absolviert werden wird.

00:59:32: Weil sozusagen diese allgemeinen Begriffe immer wieder neu denken wenn wir neue Technologie haben.

00:59:36: Das macht am meisten Spaß auch

00:59:39: ehrlich gesagt.

00:59:39: Das übrigens ob es KI kann oder nicht ist eine sehr schwer beantwortbare Frage.

00:59:44: und deswegen weil eines der Merkmale von KI ist, dass man keine ja oder nein Antwort geben darf Halluzinationen ist dann schönes Stichwort, sondern meistens sagen muss A. Das kann KI?

00:59:56: B., das kann KI nicht oder C., dass kann KI so gut vortäuschen zu können, dass es nicht leicht ist zu sagen ob es das kann oder nicht.

01:00:04: Da gibt's also einen sehr großen Graubereich.

01:00:06: aber die Diskussion habe ich im Nachhinein aufgearbeitet könnte man beinah sagen die sie gerade anspielen, der sogenannte Internet-Excepcionalismus.

01:00:14: Das ist in Amerika sehr groß diskutiert worden und auch total schön anfassbar.

01:00:19: anhand einer sehr simplen aber sehr tiefgreifenden Frage nämlich hatte Ende der Neunziger ein texanischer Internetunternehmer mit einer sehr großen Farm auf der viele verschiedene Tiere so Wildtiere, so Rehe und so unterwegs waren einen Angebot ins Netz gestellt wo er Internet jagt Angeboten hat.

01:00:40: Da konnte man also ein Gewehr fernsteuern und konnte über eine Webcam sehen, ob da in der Reichweite eines Gewehrs halt so einen Reh ist und das dann einfach abschießen.

01:00:50: und dann hat man das erschossene Reh zugeschickt bekommen?

01:00:54: Und da wurde irgendwann die Frage gestellt Ist es a juristisch das gleiche vor Ort ein Reh zu erschießen oder ist das was völlig anderes?

01:01:03: wenn man über das Internet ein Rehe erschießt sind dann durch die Vielzahl von sehr absurden und sehr lustigen Fragen daraus entstanden.

01:01:09: Und zum Beispiel, wie weit muss man denn weg sein?

01:01:11: Damit es so als Fernschießen gilt!

01:01:13: Es gab auch schon vorher so Fernsteuerungen für Gewehre völlig klar akzeptiert.

01:01:17: Da bin ich halt irgendwie zwanzig Meter weg, damit das Tier nicht merkt dass ich da bin... ...und dann kann ich irgendwie übers Fernhorn usw.

01:01:22: abdrücken und das ist völlig in Ordnung.

01:01:24: aber wenn ich diese Fernsteuung über eine Glasfaserleitung realisiere, dann ist es plötzlich wahnsinnig verboten.

01:01:32: Bisschen zu der Frage braucht man dafür einen Jagdschein?

01:01:36: Also so eine Vielzahl von Fragen diskutiert worden unter Internet-Excepcionalismus.

01:01:41: Und jetzt könnte man natürlich sagen, gibt es ein KI-Exeptionalismus?

01:01:45: Ist das was Unterschiedliches wenn man ein Produkt kauft oder wenn meine KI einen Produkt kaufst mit der ganzen Haftungskette und Absurditätskette die da dran hängen?

01:01:55: Was ist denn da Ihre Einlassung?

01:01:57: Ja!

01:01:58: Der Internetexeptionalismus.

01:02:00: also damals gab's einen Text eines Juristen, eines amerikanischen Juristen Frank Easterbrook, Cyberspace and the Law of the Horse.

01:02:11: Also das Internet und das Recht des Pferdes.

01:02:16: Was hat das jetzt miteinander zu tun?

01:02:17: Und der hat sich so ein bisschen drüber lustig gemacht.

01:02:19: Er hat gesagt, also wenn wir jetzt über ein eigenes Recht des Internets sprechen, dann hätten wir genauso Ano-Ninzehntundert über ein Eigenesrecht des Pferdes sprechen können, wenn wir darüber reden ob Pferde jetzt auf Straßen im Rechtsverkehr verkehren müssen und an welchen Plätzen sie geparkt werden müssen und wie die Tierhaltung ist.

01:02:35: Also wir haben kein eigenes recht des Pferdes, das haben wir eben nicht, sondern wir haben einen Vertragsrecht, wir haben ein Sachenrecht, Wir haben einen Personenrecht

01:02:41: usw.,

01:02:42: und diese Materien sind eben strukturell nicht sachbezogen, strukturell kategorisieren.

01:02:48: Und das Recht des Internet hat der dann eben gesagt, und das würde ich eigentlich auch so sehen... gehört eben immer dort angesiedelt, wo sich die Fragen stellen.

01:02:58: Also wenn sich Eigentumsfragen stellen im Bezug auf Internet-Themen also Recht an Daten oder sowas ja dann schauen wir vielleicht auf Sachenrechtsthemen.

01:03:06: Wenn sich Vertragsrechtsfragen stellt, dann schauen sie auf ganz normales Vertragerecht.

01:03:09: Wenn sich Haftungsfragen haben werden Allgemeines Delikte recht Sprich nichts dagegen die allgemeinen Rechtsmechanismen genauso hier anzuwenden.

01:03:16: und genau das gleiche würde ich eigentlich jetzt für KI sagen

01:03:18: Ich könnte entgegnen, dass wir vielleicht kein eigenes Werderecht haben.

01:03:21: Aber was wir haben ist ein eigenes autobezogenes Recht wo ganz viele Rechtsprechungen und Gesetze um das Objekt Auto herum erlassen worden sind.

01:03:31: Und selbst wenn man sagen könnte, das liest sie sich all vorallgemeinern, es ist gar nicht auf die Technologie auto bezogen.

01:03:36: Das wäre ja auch Augenwischerei!

01:03:37: Die ganze Straßenverkehrsordnung schreit übrigens.

01:03:40: Hallo Auto Auto Auto.

01:03:41: insofern würde man sagen, ja es gab vielleicht kein Recht des Pferdes.

01:03:45: Aber dann kam eine neue Technologie die das Pferd ersetzt hat namens Auto und da hat man ja nicht nur aus meiner Sicht recht sondern ganze Ideologie, rechtliche Ideologie-Systeme um das Auto herum entwickelt bis hin zu stadtbaulichen neuen Strategien um das auto herum.

01:04:02: und da würde ich sagen okay stellt sich die Frage halt vielleicht neu mit KI?

01:04:06: brauchen wir eine neue KI Person weil etwas so kategorial Neues entstanden ist, dass es nicht ein Recht des Pferdes unter dem KI geschnitzt werden muss.

01:04:17: Aber irgendwie eine bestimmte rechtliche Perspektive, wie es beim Auto dann später doch passiert ist?

01:04:24: Ja aber wir würden eben nicht sagen Es gibt einen Autorecht.

01:04:27: Sondern das sind jetzt tiefe Fragen.

01:04:29: Was ist eigentlich Grundlegend?

01:04:31: Was sind Strukturkonstanten oder was ist eigentlich ein Rechtssystem?

01:04:33: Wie funktioniert ein Rechtsystem und was sind Grundprinzipien des Rechts?

01:04:37: Und dass wir sowas wie eine Autogemäßheit haben, ja gut das könnte man jetzt vielleicht polemisch über die deutsche Rechtsordnung sagen.

01:04:42: Da ist sicher auch einiges dran aber so ist es keinesfalls gemeint und es wäre hier glaube ich auch immer oder es ist immer auch eine Ideologiekritik möglich.

01:04:50: wenn wir beispielsweise des Schadensrecht anschauen und fragen uns was ist hier autospezifisch?

01:04:54: Also die Rechtsprechung würde das so nicht ausflagen.

01:04:57: klar es gibt dann sehr viele Schadenschategorien die sich speziell mit was weiß ich, Schadengesatz nach Gutachten usw.. Ja, aber man würde deswegen nicht von einem Autorecht sprechen.

01:05:07: Und genauso wenig würde man deswegen von einem KI-Rechtsprechen nur weil KI überall in allen rechtlichen Prozessen, in allen prozeduralen Prozesse was wir jetzt schon so viele Fälle gesehen haben überall zur Anwendung kommt.

01:05:18: natürlich kommt es überall zu anwenden Natürlich ist überall relevant.

01:05:20: Aber die Fragen wie's relevant sind eben nicht essenzialistisch irgendwie verknüpft.

01:05:25: Wir haben einmal ganz viele technische Einflüsse ja?

01:05:28: Wir haben neue technische Produkte wir haben Internet of Things wo irgendwie solche KI-Dimensionen an der Sache dranhängen.

01:05:34: Dann haben wir eine Beeinflussung von Prozessen wie in diesem Leipziger Fall, wo es letztlich um eine prozessökonomische Frage geht.

01:05:41: also Wie gehen Gerichte mit einer KI Klageflut um?

01:05:44: dann haben wir's mit Haftungsfragen zu tun.

01:05:46: Also das sind eigentlich ganz ganz viele diverse Fragen die ich glaube nicht dass es möglich ist die einfach so über einen Kamm zu scheren.

01:05:52: und schon gar nicht glaube Ich dass man die alle dadurch lösen kann dass man jetzt sagt die KI is ne rechts.

01:05:56: schon deswegen weil es die KI ja gar nicht gibt.

01:05:58: Ja Es gibt ja wie sie viel besser wissen als ich Das ist ja ein Sammelbegriff für ganz viele verschiedene technische Modelle, die auch ganz verschiedene Leistungsfähigkeit haben.

01:06:05: Können Sie jetzt sicher noch mehr erzählen?

01:06:06: Ja,

01:06:06: könnt ihr das haben... Also

01:06:08: schon deswegen sehe ich nicht dass man die jetzt technisch alle über einen Kamm scheren müsste.

01:06:12: und übrigens würde er auch rechtlich nicht diskutiert, dass jetzt alle KI-Systeme dann immer auch eine Rechtspersönlichkeit hätten.

01:06:18: also das wäre glaube ich so auch nicht diskutierbar.

01:06:21: Nee, das glaube ich auch nicht!

01:06:22: Und natürlich möchte es ja immer ein bisschen pixend provokant reingehen aber um das vielleicht in einem sehr großen Bogen am Ende mit einem sehr innigen Wunsch, mit mir zu verbinden.

01:06:33: Wie können wir – und das ist dieser Wunsch – denn diese ganze Diskussion vielleicht in eine optimistische und positive Richtung ziehen?

01:06:41: Denn auf der einen Seite sehen wir wie tief KI-und Recht miteinander auf so vielen Ebenen verwoben sind.

01:06:46: Und da kann man jetzt ganz riesige Droh-Szenarien und schlimme Dinge und Haftungsfragen und noch Regulierung und Deregulierung, Überregulierung sowas betrachten.

01:06:55: Aber wir können ja auch aus einer Perspektive der europäischen Kraft und der deutschen Rechtsauffassungsstärke, versuchen das anders zu sehen.

01:07:06: Wie wäre denn ein ideales Szenario?

01:07:09: Der Verheiratung von der Weiterentwicklung von künstlicher Intelligenz in digitale Souveränerweise so dass wir, sagen wir mal, liberale Demokratie nach europäischer Auffassung und Rechtssystemen wunderschöne juristische KI-Utopie im schönsten Sinn weiterentwickeln kann.

01:07:32: Wie werden Ihr ideales Szenario sich in Zukunft KI und Recht in Europa, in Deutschland miteinander verheiraten ließen?

01:07:40: Es ist ein unglaublich spannendes Zeitalter.

01:07:42: es ist eine unglaublich spannend das Tool und wir täten gut daran wenn wir viele Möglichkeiten erst mal zuließen und dann sehen wie wir's Kleinen arbeiten.

01:07:52: und ich glaube Also wie gesagt, das Recht kommt meistens immer erst später.

01:07:57: Das Recht kommt erst wenn die Eisenbahn gebaut ist und stellt dann Haftungen auf.

01:08:01: Das recht kommt immer erst wenn was weiß ich in der neuen Technologie schon da ist und fragt sich dann ja was machen wir jetzt damit?

01:08:05: usw.

01:08:07: Und das ist eigentlich auch eine sehr gute Selbstauffassung des Rechts.

01:08:12: Klar, da gibt es auch unterschiedliche Auffassungen.

01:08:14: meine persönliche Aufassung war das Recht sollte sich nicht rausnehmen zu sehr in gesellschaftliche Entwicklungen hineinzuregieren.

01:08:22: Und zumal in solche, die so spannend sind wie diese hier und die auch für unsere Wirtschaft so wichtig sind... ...und auch für unser

01:08:29: Gesellschaft.".

01:08:30: Ich mag diese Perspektive sehr gerne weil sie halt nicht so, sagen wir mal aggressiv dereguliert alles fordert sondern dass sie eigentlich wenn man das übersetzt ist meine Perspektiven korrigieren Sie es gerne etwas fördert was wie bis jetzt als Begriffe in der Debatte noch gar nicht haben, eigentlich fordern sie ja eine gewisse KI-Mündigkeit der Bevölkerung.

01:08:59: Und das finde ich eine sehr schöne auch juristische aber halt nicht überjuristische Sichtweise aus.

01:09:06: die ganze Debatte.

01:09:07: Wir brauchen in dem Moment wo wir halt erst regulieren wenn wir genau verstehen was da passiert ist und wenn es da ist und nicht schon vorher brauchen wir zwingend weil die Menschen das schon vorher benutzen ne KI Mündigkeit.

01:09:18: Und wissen Sie, unser Rechtssystem ist eigentlich so drauf angelegt dass es im Prinzip einen Raum lässt genau für die Entstehung dieser KI-Mündigkeit.

01:09:25: Warum?

01:09:25: Weil unser ganzes Rechtssystem eigentlich so gedacht ist steht der auf kantischen Grundlagen letztlich das es für eine Mündigkeit Raum lässt.

01:09:33: und dort wo was schief geht ist auch keineswegs... Das würde eh nicht funktionieren in Deutschland alles zu deregulieren weil wir haben ja Tools die wir auch keinen Fall aufgeben werden.

01:09:42: Es gibt ja ein Deliktsrecht also wenn etwas gründlich schiefgeht dann wird ja jetzt schon gehaftet.

01:09:47: Das heißt eigentlich können wir uns auch zurücklehnen, das klingt so ein bisschen doof.

01:09:51: Aber im Prinzip kann es recht es sich auch leisten mit den sehr elaborierten Mechanismen die es schon

01:09:58: hat

01:09:59: Sachen erst mal zu beobachten und die Leute machen zu lassen weil so ist es eigentlich auch gedacht dass ist nämlich das was es eigentlich in seiner DNA drin hat.

01:10:07: Es kam aber auch einen wunderschöner Abschluss weil natürlich die KI-Mündigkeit einhergehen müsste dem Ausgang aus der selbstverschuldeten KI-Unmündigkeit.

01:10:22: Wie können wir das bewertstelligen?

01:10:24: Ja, das ist natürlich eine große Rätselfrage sehr spannend vor allem da die KI uns ja gewissermaßen verzaubert und wird es auch wollen.

01:10:33: aber da sieht man eben wie komplex unser Verständnis von Mündigkeit oder von Freiheit ist.

01:10:37: was machen wir eigentlich mit unserer Freiheit?

01:10:39: naja wir designen künstliche Welten.

01:10:43: Ist da dann was Schlechtes?

01:10:44: Nein, im Prinzip erst mal nicht.

01:10:46: Der Mensch ist nun mal so... Gibt es da irgendwie einen harten Boden auf dem wir irgendwann wieder ankommen?

01:10:56: Wir müssen als Gesellschaft irgendwie mit uns zurecht kommen!

01:10:59: Das ist der harte Boden wahrscheinlich.

01:11:01: Ja, wenn man das so in Kanschen-Sinnen betrachten würde, wäre das jetzt sowas wie Vernunft und nicht nur reines Privatvergnügen ist sondern dass wir eigentlich auch gezwungen sind zu gebrauchen, dass wir gezwungen sein können sie zu gebrochen und das dann am Ende der einzig wirklich entscheidende und denn eben auch aus juristischer Sicht entscheiden bewährt um das alles entwickeln zu können die Freiheit ist.

01:11:27: Ja also und die Freiheit gibt es nur dann wenn wir sie so ausüben, dass jeder eben seine Freiheit hat ja?

01:11:32: Also und da gilt eben Die Freiheit ist dann verletzt wenn eben der andere in einer nicht mehr zu vertretenen Weise beschädigt wird ja?

01:11:39: Nehmen im Lede Beschädige keinen Verursache keinen Schaden.

01:11:43: Das gilt auch jetzt schon, würde ich sagen und das wäre dann letztlich der Testfall wie eine KI-Regulierung sinnvoll funktioniert.

01:11:50: Also solange die KI nutzen bringt und eben keinen Schaden bringt sollten wir eigentlich glücklich sein zu sehen was kommt.

01:11:57: an der Stelle wo wir Probleme sehen wird man eingreifen müssen.

01:12:02: es wird aber auch jetzt gemacht.

01:12:04: Und da, das möchte ich so als Abschluss vielleicht mit reinstellen, bevor ich Ihnen das Schlusswort übergeben möchte.

01:12:10: Und da, ich denke die meisten von uns nicht nur wir beide sondern auch die übergrosse Mehrheit der Zuhörenden bei diesem Podcast hundertprozentig davon überzeugt sind dass die meisten Menschen in diesem Land ohne große Probleme früher oder später diese selbstverschuldete KI-Unmündigkeit überwinden werden können.

01:12:30: dadurch, dass wir davon überzeugт werden glaube ich haben wir eine sehr rosige KI-Zukunft aus europäischer, aus deutscher Sicht vor uns mit der minimalen Einschränkung das wir dafür sorgen müssen dass wir in der Zwischenzeit bis wir diese Möglichkeit haben nicht als Gesellschaft komplett implodieren.

01:12:50: Aber ich möchte es gar nicht negativ deuten sondern Ihnen gerne das Schlusswort zwischen einer möglichst KI positiven Deutung oder einer Rechtsdeutung von einer schönen KI-Zukunft in Europa und in Deutschland geben.

01:13:04: So viel haben wir nicht zu entscheiden, die KI ist einfach da!

01:13:07: Die KI sind der Welt.

01:13:08: jeder benutzt glaube ich ohne dass er das merkt jeden Tag KI Und wir haben uns da eigentlich gar nicht mehr zu entscheiden sondern wir sind längst mittendrin im Geschehen und... ...die Frage ist wie wir uns dazu verhalten und da sind wir besser.

01:13:20: Besser sollten wir konstruktiv sein.

01:13:21: Das würde uns besser zur Gesicht stehen.

01:13:23: Liebe Marietta Auber vielen Dank Dass Sie hier im Podcast waren und dass wir in diesen verschiedenen Wendungen und Bereichen auch manchmal in, sagen wir mal unterhaltsame, merkwürdige Bereiche reingegangen sind.

01:13:35: Danke, dass Sie hier waren für diese Diskussion.

01:13:37: Vielen Dank fürs Zuhören!

01:13:39: Und bis zum nächsten Mal wenn euch, wenn Ihnen dieser Podcast gefallen hat dann gerne in sozialen Medien empfehlen oder mit uns diskutieren Zum Beispiel auf LinkedIn, zum Beispiel auf Instagram.

01:13:53: Zum Beispiel aus TikTok oder auf YouTube.

01:13:55: Auf Wiedersehen!