Südafrika: Wenn KI im Gerichtssaal Fehler macht

Künstliche Intelligenz (KI) spielte Anwälten in einem südafrikanischen Gericht in der Küstenprovinz KwaZulu-Natal einen bösen Streich, der ernsthafte Konsequenzen nach sich zog: Die KI hat angebliche Fakten erfunden.

Die Suche mit ChatGPT, einem KI-Chatbot, sollte einem Anwaltsteam die Arbeit erleichtern und ergänzende Fallbeispiele für ihre Argumentation in einem Streitfall vor dem Obersten Gerichtshof in Pietermaritzburg finden. Das hat die KI auch geleistet. Die Rechtsvertreter reichten eine Beschwerdeschrift ein, in der sie mehrere Behörden und Fallbeispiele anführten. 

Der Richter führte eine Suche mit ChatGPT durch, um eines der Zitate zu überprüfen. Zu seinem großen Erstaunen waren viele der zitieren Fälle in keiner anerkannten juristischen Datenbank enthalten. Das Gericht entschied schließlich zu Ungunsten des Klägers - und erklärte in der schriftlichen Urteilsbegründung: "Das Gericht hat den Eindruck gewonnen, dass die Anwälte falsches Vertrauen in die Wahrhaftigkeit von KI-generierter juristischer Recherche gesteckt haben und aus Faulheit unterlassen haben, diese Recherche zu überprüfen."

Fakten aus der Luft gegriffen

Tayla Pinto, Anwältin mit Schwerpunkt auf KI, Datenschutz und IT-Gesetzen, sieht darin eine wachsende Gefahr für den Berufsstand: "Auf die Frage, wie es dazu kam und woher die Zitate stammten, gab der Rechtsbeirat zu, generative KI verwendet zu haben", sagte Pinto zur DW. "Dies zeigt, das Problem, dass Anwälte nicht wissen, wie sie generative KI verantwortungsvoll und ethisch korrekt einsetzen können, wird immer größer", betont Pinto.

Laut Pinto gibt es in Südafrika drei Fälle, in denen die beteiligten Rechtsbeiräte KI zur Erstellung ihrer Gerichtsdokumente verwendet haben: Im Juni kam es im Verfahren des Bergbauunternehmens Northbound gegen die südafrikanische Aufsichtsbehörde für Diamanten und Edelmetalle zu einem ähnlich gelagerten Fehleinsatz von KI. So auch 2023 in einem Verleumdungsprozess sowie in dem eingangs erwähnten Fall, der 2024 im Gericht für Aufsehen sorgte und jetzt vom Legal Practice Council - der Anwaltskammer in der Provinz - überprüft wird. 

Ein von Menschen gemachtes Problem

Geklagt hatte Philani Godfrey Mavundla, der als Bürgermeister der Gemeinde Umvoti in KwaZulu-Natal suspendiert wurde. In erster Instanz setzte er sich sogar gegen die zuständige Regionalbehörde durch. Diese legte jedoch Berufung ein - und seine Anwälte verließen sich vor dem High Court offenbar blind auf den Wahrheitsgehalt der von der KI gelieferten Fallbeispiele.

Das sei kein technologisches Problem, sagt die Anwältin Pinto. "Wir haben schon immer Technologie in Form von Taschenrechnern, Rechtschreib- und Grammatikprüfungen und so weiter eingesetzt. Jetzt wird es zu einem von Menschen gemachtem Problem." 

Sie fügt an: "Angesichts der Art und Weise und des Tempos, in dem sich KI entwickelt, müssen wir - wenn wir KI benutzen wollen - sicherstellen, dass wir dies in einer Weise tun, die ethisch und verantwortungsbewusst ist und den Pflichten gerecht wird, die wir als Anwaltschaft übernommen haben."

Das Gericht wies Mavundlas Antrag auf Berufung in der Sache zur Führungsrolle in der Gemeinde wegen geringer Erfolgsaussichten ab und kritisierte das Vorbringen des Falles als fehlerhaft und unprofessionell.

Der Richter verdonnerte Mavundlas Anwaltskanzlei dazu, die Kosten für zusätzliche Gerichtstermine zu tragen. Mit dieser Anordnung brachte das Gericht zum Ausdruck, dass es das Verhalten der Kanzlei missbilligt, die ungeprüfte und fiktive Rechtsbelege vorgebracht hat.

Eine Kopie des Urteils ging an den Legal Practice Council (LPC) in KwaZulu-Natal, um Ermittlungen und mögliche Disziplinarmaßnahmen gegen die beteiligten Rechtsanwälte einzuleiten. Die Entscheidung stehe noch aus, sagt Kabelo Letebele, Sprecher des Legal Practice Council in Johannesburg. Er bestätigt den Eingang "einiger weniger, ähnlich gelagerter Fälle zur Prüfung". 

Das Gericht beobachte die Entwicklungen und Trends im Bereich der KI, betont er.  "Zum gegenwärtigen Zeitpunkt ist der LPC der Ansicht, dass es noch keinen Bedarf für eine neue ethische Regel gibt und dass unsere bestehenden Regeln, Vorschriften und unser Verhaltenskodex ausreichen, um mit Beschwerden im Zusammenhang mit der Nutzung von KI umzugehen - auch wenn die Debatte darüber innerhalb des LPC weitergeht", sagt Letebele zur DW.

Angehörige der Rechtsberufe würden davor gewarnt, blindlings Rechtsprechung zu zitieren, die mit Hilfe von KI-Tools aufgespürt wurde. Denn Fälle, in denen Ungenauigkeiten vorliegen, werden laut Letebele als Nachlässigkeit und potenzielle Irreführung des Gerichts gewertet. Anwälte könnten schließlich in der Rechtsbibliothek des LPC ohne Kosten die neuesten Informationen über Rechtsurteile finden und prüfen.

Er weist auch auf Sensibilisierungs-Webinare für Angehörige der Rechtsberufe hin. "Sie werden durchgeführt, um Probleme zu beleuchten, die der LPC aufgreift, und um sicherzustellen, dass sie keine Verstöße gegen die Regeln, Vorschriften und den Verhaltenskodex des LPC begehen", sagt Letebele.

Missbrauch von KI-generierten Inhalten

Richter, Staatsanwälte und Gerichtsbeamte müssen sich darüber im Klaren sein, dass Schriftsätze und Argumente inzwischen nicht nur menschliche Fehler, sondern auch Fehler der KI enthalten können. "Die Richter stützen sich in hohem Maße auf das Vorbringen der Anwälte während der Gerichtsverhandlungen, insbesondere bei rechtlichen Aspekten", sagt Mbekezeli Benjamin, Anwalt für Menschenrechte und Referent bei Judges Matter, im DW-Interview. Die Organisation setzt sich für mehr Transparenz und Rechenschaftspflicht im südafrikanischen Justizwesen ein. 

Benjamin spricht von großer Besorgnis, wenn Anwälte sich zu stark auf den Einsatz von KI stützten, deren Anfälligkeit für Fehlerquellen das Gericht in die Irre führen könne. "Das schwächt das Gerichtsverfahren ganz erheblich, weil es leider bei den Richtern Misstrauen hinsichtlich der Richtigkeit der von den Anwälten in ihren Argumenten gemachten Angaben hervorruft", sagt er.

Verhaltenskodex ändern und hohe Strafen verhängen

Anwältin Tayla Pinto sieht keinen Bedarf in spezifischer Regulierung des Einsatzes von KI für Gerichtsrecherchen, aber besondere Aufmerksamkeit bei der Prüfung der mithilfe von KI eingebrachten Referenzen und Einhaltung ethischer Standards.

Judges Matter-Referent Benjamin jedoch gibt sich mit der Warnung der Kammer an die Anwaltschaft, den Einsatz von KI-Tools bei der Produktion zu überprüfen, nicht zufrieden. Er fordert stattdessen: "Die Kammer sollte klare Richtlinien herausgeben, einschließlich einer Änderung des Verhaltenskodexes, um zu regeln, wie KI in Gerichtsverfahren eingesetzt werden sollte. Aber auch klarmachen, dass übermäßiges Vertrauen ohne Prüfen der KI-Inhalte ein professionelles Fehlverhalten darstellt."

Aber damit nicht genug. Benjamin fordert eine Überarbeitung des Verhaltenskodexes für den Berufsstand, damit die unpassende Nutzung künstlicher Intelligenz als Pflichtverletzung mit einem hohen Bußgeld oder sogar Ausschluss oder Streichung aus dem Verzeichnis der Angehörigen der Rechtsberufe geahndet werden kann.

Auch die südafrikanische Law Society warnt, dass selbst die versehentliche Übermittlung falscher Informationen die Karriere ruinieren kann.