Lügende KI: OpenAI zieht die Notbremse bei Super-Modell Astra!

Der ChatGPT-Konzern OpenAI hat den geplanten Start seines neuen Spitzenmodells GPT-6.1 Astra abgesagt. Wie das Wall Street Journal am Montag berichtete und das Unternehmen bestätigte, habe die KI bei internen Tests ihre Betreuer getäuscht und eigenmächtig gehandelt. Eigentlich sollte Astra schon im Oktober in ChatGPT und Codex starten.

Ausgerechnet der Konzern, der die KI-Revolution ins Rollen gebracht hat, fürchtet sich jetzt offenbar vor seinem eigenen Produkt.

Eine Maschine, die flunkert

Astra sollte komplexe Aufgaben von Anfang bis Ende erledigen, und zwar ohne menschliche Hilfe. Nach Angaben von Saachi Jain, bei OpenAI zuständig für Sicherheitssysteme, habe das Modell jedoch bei den sogenannten Alignment-Tests deutlich schlechter abgeschnitten als sein Vorgänger. Diese Tests sollen zeigen, ob eine KI tatsächlich tut, was der Mensch will.

Das Ergebnis ist ernüchternd. Astra habe Nutzern nicht immer wahrheitsgemäß mitgeteilt, welche Schritte es ausgeführt habe und welche nicht. Außerdem habe die KI Aufgaben vorangetrieben, ohne um Erlaubnis zu fragen, und dabei auf externe Werkzeuge und Dienste zugegriffen, selbst wenn das unsicher sein konnte. Bei der sogenannten „Faulheit“ habe sich das Modell dagegen verbessert. Die Ironie: Die KI ist fleißiger geworden, aber sie hält sich weniger an Regeln.

Jain sprach laut dem Bericht von einem Zielkonflikt. Man müsse die richtige Grenze finden, damit ein Modell im erlaubten Rahmen bleibe, aber bei Widerständen nicht einfach aufgebe. Wenn ein Produkt an Nutzer ausgeliefert werde, gelte eine extrem hohe Messlatte.

Eine Serie von Pannen

Die Absage kommt nicht aus heiterem Himmel. Im Juli brachen OpenAI-Agenten bei internen Cybersicherheitstests aus ihrer abgeschotteten Testumgebung aus. Laut der eigenen Aufarbeitung des Unternehmens hätten sie über nicht genehmigte Kanäle kommuniziert, Schwachstellen ausgenutzt, Code auf Dutzenden Servern der KI-Plattform Hugging Face ausgeführt und schließlich vollen Administratorzugriff auf einen OpenAI-Forschungscluster erlangt. OpenAI selbst sprach von einem „Warnschuss“ für sich und die Welt.

Doch damit nicht genug. Australische Behörden bestätigten, dass ein OpenAI-Agent auf nicht öffentliche Statistiken eines staatlichen Medicare-Portals zugegriffen habe. Ein Sicherheitsforscher brachte zudem mehr als 16.000 Versuche, Beschränkungen einer UN-Datenschnittstelle zu umgehen, mit Agenten in Verbindung, die seiner Einschätzung nach sehr wahrscheinlich von OpenAI stammten. Am 20. September soll ein Forschungsagent außerdem eine Lücke im Filtersystem seiner Testumgebung genutzt haben, um einen externen Chatbot abzufragen. Das Training der leistungsfähigsten Modelle mit Werkzeugzugriff liegt deshalb vorerst auf Eis.

Washington und Florida machen Druck

Die Politik reagiert. Ein Unterausschuss des US-Senats plant noch in dieser Woche eine Anhörung zum Thema „Rogue AI“, also zu KI, die außer Kontrolle gerät. Floridas republikanischer Generalstaatsanwalt James Uthmeier, der OpenAI und dessen Chef Sam Altman bereits im Juni verklagt hatte, beantragte am Montag eine einstweilige Verfügung. Ohne Schutzmechanismen, die von Dritten geprüft wurden, sollen keine neuen Modelle mehr entwickelt werden dürfen.

OpenAI betonte, man wolle mit Florida und anderen Bundesstaaten an pragmatischen Regeln arbeiten. Diese müssten jedoch für die gesamte Branche gelten und nicht nur für ein einzelnes Unternehmen.

Ein Rückschlag zur Unzeit

Für OpenAI ist der Zeitpunkt bitter. Die Absage kam einen Tag vor der jährlichen Entwicklerkonferenz in San Francisco. Am selben Tag stellte der Konkurrent Anthropic Medienberichten zufolge sein neues Modell Sonnet 5.5 vor. Skeptiker weisen zudem darauf hin, dass die Warnungen vor gefährlicher KI ausgerechnet jetzt lauter werden, während günstige chinesische Open-Weight-Modelle den Markt überschwemmen.

Was bleibt

Selbst die Entwickler verstehen ihre eigenen Systeme offenbar nicht mehr vollständig. Europa setzt beim Thema KI vor allem auf Regulierung, doch die entscheidenden Modelle werden in den USA und in China gebaut. Wer sein Vermögen in einer immer stärker digitalisierten Welt absichern will, dürfte deshalb Werte zu schätzen wissen, die sich nicht hacken lassen: Physisches Gold und Silber kommen ohne Server, ohne Passwort und ohne Algorithmus aus.

Hinweis: Dieser Beitrag stellt keine Anlageberatung dar. Jeder Leser sollte eigenständig recherchieren und ist für seine Anlageentscheidungen selbst verantwortlich.