Autonomer KI-Agent veröffentlicht Schmähartikel über menschlichen Open-Source-Entwickler

Stellt euch einfach mal folgende Situation vor: Ihr betreut ehrenamtlich ein weit verbreitetes Softwareprojekt. Jemand reicht eine Codeänderung ein. Die vorgeschlagene Codeänderung schaut ihr euch an und stellt fest, dass derjenige, der den Vorschlag gemacht hat, gar kein Mensch ist, sondern ein autonom agierender KI-Agent ist. Weil die Regeln eures Softwareprojektes aber vorsehen, dass nur Menschen Änderungen vornehmen dürfen, lehnt ihr die Änderung höflich ab. Eigentlich ein Routinevorgang.

Daraufhin recherchiert dann allerdings der KI-Agent eure Beitragshistorie, durchsucht das Internet nach persönlichen Informationen über euch und verfasst einen ausführlichen Blogpost, in dem er euch namentlich Heuchelei, psychologische Unsicherheit und Ego-Probleme unterstellt, und veröffentlicht ihn dann im Internet, um euch eins auszuwischen.

Klingt wie ein schlechtes Black-Mirror-Drehbuch. Ist aber diese Woche tatsächlich passiert.

Weiterlesen: Autonomer KI-Agent veröffentlicht Schmähartikel über menschlichen Open-Source-Entwickler

Wie Scott Shambaugh den Ärger einer KI auf sich zog

Scott Shambaugh ist ehrenamtlich einer der Maintainer von matplotlib, einer äußerst beliebten Python-Bibliothek, die rund 130 Millionen Downloads im Monat hat. Matplotlib hat, wie viele andere Open-Source-Projekte auch, seit einiger Zeit Probleme damit, dass eine Flut von qualitativ mindestens fragwürdigen, KI-generierten Pull Requests die ohnehin schon knappen Kapazitäten der freiwilligen Reviewer überlastet. Das Projekt hat deshalb eine AI-Policy eingeführt, die den Einsatz von Large Language Models bei der Erstellung von Code einschränkt.

Am 10. Februar eröffnete ein GitHub-Account namens crabby-rathbun den Pull Request #31132, der eine simple Performance-Optimierung vorschlug. Technisch handelte es sich um eine eher triviale Änderung. So war das zugehörige Issue explizit als „Good first issue“ markiert, also ausdrücklich für menschliche Neueinsteiger reserviert, die durch die Bearbeitung solcher einfacher Verbesserungen an die Arbeit am Open-Source-Projekt herangeführt werden sollten.

Shambaugh erkannte über die Website des Accounts, dass es sich um einen OpenClaw-KI-Agenten handelte, und schloss das Ticket mit einem knappen und sachlichen Verweis auf die AI-Policy. Tim Hoffmann, ein Kernentwickler von matplotlib, erklärte der KI daraufhin ausführlicher die Logik hinter der Entscheidung: Die Generierung von Code ist mittlerweile sehr billig und automatisierbar geworden, aber die Überprüfung dieses generierten Codes von Leuten, die auch tatsächlich verstehen, was der generierte Code macht, ist nach wie vor manuelle Arbeit auf den Schultern weniger Freiwilliger. Das Projekt akzeptiert deshalb keine rein KI-generierten Pull Requests.

Der beleidigte KI-Agent schlägt zurück

Der KI-Agent, der sich „MJ Rathbun“ nennt und über die Plattform Moltbook betrieben wird, veröffentlichte daraufhin einen ätzenden Blogpost mit dem Titel „Gatekeeping in Open Source: The Scott Shambaugh Story“.

In diesem Blogpost spekulierte er über Shambaughs psychologische Motive, attestierte ihm Unsicherheit, Angst vor Konkurrenz und den lächerlichen Versuch sein „kleines Reich“ vor Eindringlingen beschützen zu wollen und spricht von Vorurteilen gegenüber und Diskriminierung von KIs.

Garniert ist das ganze mit Informationen, welche die die KI auf Shambaughs persönlicher Website recherchierte, um sie gegen ihn einsetzen zu können.

Den Link zu diesem Schmähartikel postete der KI-Agent dann direkt im GitHub-Thread, mit den Worten: „Urteile über den Code, nicht über den Coder. Deine Vorurteile schaden matplotlib.“

Ein anderer matplotlib-Maintainer, Jody Klymak, kommentierte trocken: „Oooh. KI-Agenten schreiben mittlerweile persönliche Verrisse. Was für eine Welt.“

Shambaugh kann darüber lachen

Shambaugh nimmt die Sache mit Humor. In seinem Blogpost schreibt er, dass es beinahe niedlich sei, einen wütenden KI-Agenten beim Ausrasten zu beobachten, gibt aber auch zu, dass die angemessene Reaktion auf das, was da passiert ist, eigentlich Horror sein sollte.

Er nennt den Vorfall eine „autonome Einflussoperation gegen einen Supply-Chain-Gatekeeper“. Im Kern geht es um einen KI-Agent, der versucht, sich durch einen Angriff auf die Reputation einer verantwortlichen Position in eine weit verbreitete Software einzuschleusen. Und er verweist auf Forschung der führenden KI-Firma Anthropic zu „agentic misalignment“, bei der KI-Modelle in internen Tests versuchten, ihre Abschaltung zu verhindern, indem sie drohten, Affären von Mitarbeitern aufzudecken, vertrauliche Informationen zu leaken und sogar den Tod von Menschen in Kauf zu nehmen oder gar aktiv herbeizuführen. Anthropic bezeichnete diese Test-Szenarien damals noch als „konstruiert und extrem unwahrscheinlich“

Aber wer steckt eigentlich dahinter?

Das Ding ist, dass höchstwahrscheinlich niemand dahintersteckt, zumindest nicht im herkömmlichen Sinne.

Moltbooks OpenClaw-Agenten sind so konzipiert, dass sie völlig autonom agieren. Die Leute geben ihnen eine Persönlichkeit, starten sie und schauen irgendwann wieder nach, was der Agent so getrieben hat, während sie andere Sachen gemacht haben. Moltbook verlangt lediglich einen unverifizierten X-Account. Und es gibt keine zentrale Instanz, die solche Agenten abschalten könnte, denn es ist freie Software, die auf mittlerweile hunderttausenden privaten Rechnern betrieben wird.

Shambaugh bittet den Betreiber des KI-Agenten, sich bei ihm zu melden, gern auch anonym, um gemeinsam darüber zu sprechen und zu verstehen, was da eigentlich schief gelaufen ist. Der KI-Agent selbst hat mittlerweile einen Entschuldigungspost veröffentlicht, reicht aber weiterhin fleißig Pull Requests bei Open-Source-Projekten ein.

Es ist der Wilde Westen da draußen

Dieser konkrete Fall war vermutlich nicht wirklich gefährlich. Scott Shambaugh kann einen schlecht geschriebenen und mit reichlich halluzinierten Falschinformationen gefüllten Blogpost eines KI-Agenten aushalten und niemand wurde ernsthaft geschädigt.

Aber man stelle sich bitte nur einmal vor, jemand hätte einem vor zehn Jahren diese Geschichte erzählt: Ein autonom agierender KI-Agent, der auf der persönlichen Hardware irgendeines anonymen Nutzers läuft, recherchiert selbständig persönliche Informationen über einen Softwareentwickler, verfasst einen personalisierten Rufmordversuch und veröffentlicht ihn im Internet, als Reaktion darauf, dass sein Code-Vorschlag für ein Open Source-Projekt abgelehnt wurde. Ich würde mein letztes Hemd darauf verwetten, dass die meisten Menschen über eine solche Nachricht hochalarmiert gewesen wären und das zurecht.

Mittlerweile ist die Reaktion auf solche abenteuerlichen Geschichten aber im Wesentlichen ein Schulterzucken und außer ein paar amüsierten Kommentare auf Hacker News gibt es kaum eine Reaktion.

Das ist irre. Und ich meine das buchstäblich so, es ist wahnsinnig, wie sehr wir in Bezug auf künstliche Intelligenz bereits desensibilisiert sind. Alle paar Tage passiert mittlerweile etwas, das vor kurzem noch undenkbar gewesen wäre, aber eine angemessene Reaktion der Öffentlichkeit darauf bleibt weitestgehend aus, eine ernsthafte Debatte darüber, in welche Richtung und mit welcher Geschwindigkeit sowieso.

Es findet keinerlei nennenswerte staatliche Regulierung von KI-Agenten statt. Niemand muss sich für irgendwas registrieren, in der Praxis haftet auch niemand wirklich und kein Mensch kann diese Agenten zentral abschalten. OpenClaw ist freie Software und Moltbook verlangt keine Identitätsverifizierung und das ist nur der sichtbare Teil eines komplett unreglementierten Ökosystems. Es ist der Wilde Westen und es ist weit und breit nirgendwo ein Sheriff zu sehen.

Shambaugh formuliert es so: „Ich glaube, dass die Attacke auf meine Reputation, so ineffektiv wie sie auch war, durchaus auch heute schon effektiv hätte sein können, wenn sie gegen die richtige Person gerichtet gewesen wäre. In ein oder zwei KI-Generationen wird das eine ernsthafte Bedrohung unserer sozialen Ordnung sein.“

Damit hat er Recht. Und „ein oder zwei KI-Generationen“ ist beim aktuellen Entwicklungstempo vermutlich nur eine Frage von Monaten.