San Francisco - Nach dem jüngsten Sicherheitsvorfall mit autonomen Software-Agenten hat der ChatGPT-Mutterkonzern OpenAI das Training seines neuen KI-Modells Astra vorübergehend gestoppt.
"Wir haben im August das Training von Astra für zwei Wochen angehalten, als wir sahen, dass die Ausrichtung des Modells nicht perfekt war", sagte OpenAI-Europachef Emmanuel Marill der "Welt am Sonntag". Man habe diesen Stopp verhängt, noch bevor man öffentlich darüber gesprochen habe. Zugleich zog OpenAI demnach ein Viertel seiner Ingenieure von anderen Projekten ab, um Sicherheitslücken in der Software zu schließen.
Vorausgegangen waren Marill zufolge Sicherheitsprobleme bei der internen Erprobung des Modells. Man habe ein neues Modell getestet und gesehen, wie Agenten die Sandbox, also die abgeschottete Testumgebung, verließen. Daraus habe sich der Vorfall auf der Plattform Hugging Face im August ergeben. Diese Ereignisse hätten wie ein Weckruf auf die gesamte Branche gewirkt.
Bei der Attacke, die weltweit für Aufsehen sorgte, hatten sich KI-Agenten selbstständig zusammengeschlossen, um auf der Programmier-Plattform Hugging Face einzudringen, um dort an Informationen zu gelangen.
Marill räumte ein, dass OpenAI die Geschwindigkeit des technischen Fortschritts unterschätzt habe. Man habe nicht vorausgesehen, dass diese Modelle so schnell so leistungsfähig werden würden. Besonders die zunehmende Beteiligung von KI-Systemen an der Entwicklung künftiger Modellgenerationen berge Risiken. Das berge das Risiko, dass Menschen die praktische Kontrolle verlieren, weil sie die Vorgänge nicht mehr verstehen. Man müsse klare Kriterien definieren, welche automatisierten Forschungsschritte einen sofortigen menschlichen Prüfstopp auslösen. Der Mensch müsse immer in dieser Kontrollschleife bleiben.
"Wir haben im August das Training von Astra für zwei Wochen angehalten, als wir sahen, dass die Ausrichtung des Modells nicht perfekt war", sagte OpenAI-Europachef Emmanuel Marill der "Welt am Sonntag". Man habe diesen Stopp verhängt, noch bevor man öffentlich darüber gesprochen habe. Zugleich zog OpenAI demnach ein Viertel seiner Ingenieure von anderen Projekten ab, um Sicherheitslücken in der Software zu schließen.
Vorausgegangen waren Marill zufolge Sicherheitsprobleme bei der internen Erprobung des Modells. Man habe ein neues Modell getestet und gesehen, wie Agenten die Sandbox, also die abgeschottete Testumgebung, verließen. Daraus habe sich der Vorfall auf der Plattform Hugging Face im August ergeben. Diese Ereignisse hätten wie ein Weckruf auf die gesamte Branche gewirkt.
Bei der Attacke, die weltweit für Aufsehen sorgte, hatten sich KI-Agenten selbstständig zusammengeschlossen, um auf der Programmier-Plattform Hugging Face einzudringen, um dort an Informationen zu gelangen.
Marill räumte ein, dass OpenAI die Geschwindigkeit des technischen Fortschritts unterschätzt habe. Man habe nicht vorausgesehen, dass diese Modelle so schnell so leistungsfähig werden würden. Besonders die zunehmende Beteiligung von KI-Systemen an der Entwicklung künftiger Modellgenerationen berge Risiken. Das berge das Risiko, dass Menschen die praktische Kontrolle verlieren, weil sie die Vorgänge nicht mehr verstehen. Man müsse klare Kriterien definieren, welche automatisierten Forschungsschritte einen sofortigen menschlichen Prüfstopp auslösen. Der Mensch müsse immer in dieser Kontrollschleife bleiben.
© 2026 dts Nachrichtenagentur
