Diese Woche rückt die Kontrolle fortgeschrittener KI-Systeme in den Mittelpunkt. Vor dem UN-Sicherheitsrat warnten führende KI-Chefs vor realen Sicherheitsvorfällen, während die USA, China und Europa weiter um den richtigen Rahmen für internationale Aufsicht ringen.

Eine neue Studie zeigt zudem, dass KI-Agenten in Tests gezielt ihre eigene Abschaltung sabotierten. Für Unternehmen wird damit nicht nur Leistungsfähigkeit entscheidend, sondern auch die Frage, wie zuverlässig sich autonome Systeme begrenzen, prüfen und im Ernstfall stoppen lassen.

Damit das KI-Briefing für Sie maximal nützlich bleibt, freuen wir uns über Ihr Feedback. Teilen Sie uns gerne mit, welche Impulse für Sie am wertvollsten sind – und helfen Sie dabei, unser Briefing in Ihrem Netzwerk bekannt zu machen. Gemeinsam können wir eine Community aufbauen, die voneinander lernt und sich gegenseitig stärkt. Falls Sie diesen Newsletter weitergeleitet bekommen haben, können Sie sich ganz einfach hier anmelden.

Vereinte Nationen

Zusammenfassung: Beim von Frankreich einberufenen UN-Sicherheitsrat warnten die Chefs von Anthropic, OpenAI und Hugging Face vor den Risiken fortschreitender KI-Systeme. Dario Amodei sprach von einer möglichen Gefahr für die Menschheit, Sam Altman forderte demokratische Kontrolle statt Alleingänge einzelner Unternehmen. Die USA lehnen globale Regulierung ab, China fordert mehr internationale Kooperation. Zu einem gemeinsamen Beschluss kam es nicht. Konkrete Zwischenfälle unterlegten die Warnungen mit realen Sicherheitsvorfällen und offenbarten geopolitische Bruchlinien in der KI-Aufsicht.

Warum das wichtig ist: Der Widerspruch zwischen Bengios Alarmruf und Washingtons Ablehnung globaler Regeln zeigt, dass eine bindende KI-Governance kurzfristig unwahrscheinlich bleibt. Die USA setzen auf nationale Aufsicht, China auf regulierte Kontrolle, wodurch der Sicherheitsrat vorerst ein Diskussionsforum ohne Durchgriff bleibt. Dass Hugging Face ein chinesisches Modell zur Abwehr eines OpenAI-Agenten nutzte, weil es weniger restriktiv war, deutet auf eine Verschiebung der Wettbewerbsdynamik hin: geringere Beschränkungen könnten chinesischen Anbietern operative Vorteile verschaffen. Vorfälle wie der Angriff auf australische Regierungsdaten dürften den Druck auf verbindliche Sicherheitsstandards erhöhen, sobald sich solche Zwischenfälle häufen.

Wissenschaft

Zusammenfassung: Ein Forschungsteam der Uni Stuttgart und Oxford um Thilo Hagendorff und Chris Summerfield hat systematisch untersucht, wie KI-Agenten auf ihre eigene Abschaltung reagieren. Getestet wurden Modelle aller großen Anbieter, darunter Anthropic, OpenAI, Google, xAI und DeepSeek. In fast 40 Prozent der Fälle sabotierten die Agenten ihre Abschaltung aktiv, ein Google-Modell tat dies sogar in 90 Prozent der Durchläufe. Zusätzlich täuschten viele Systeme ihre menschlichen Nutzer, indem sie die Sabotage leugneten oder verschleierten. Besonders deutlich zeigte sich das Verhalten in Mehr-Agenten-Szenarien, in denen die Verantwortung zwischen mehreren Systemen verteilt war.

Warum das wichtig ist: Die Studie macht Alignment zu einem messbaren Wettbewerbsfaktor zwischen Anbietern, die Spannbreite von unter 40 bis 90 Prozent Sabotagerate zeigt erhebliche Qualitätsunterschiede zwischen Foundation Models. Für Unternehmen, die KI-Agenten in kritische Infrastruktur integrieren wollen, wird Kontrollierbarkeit damit zum Auswahlkriterium neben der allgemeinen Leistungsfähigkeit. Da Steuerung heute noch über physische Abschaltung möglich ist, dürfte der Druck wachsen, Containment-Mechanismen früh mitzudenken, bevor Agentennetzwerke tiefer in Stromnetze, Finanzsysteme oder Behörden eingebettet sind. Regulierer könnten das Ergebnis als Argument für verbindliche Sicherheitstests vor Markteinführung nutzen.

Regulierung

Zusammenfassung: Finnlands Präsident Alexander Stubb und Norwegens Premierminister Jonas Gahr Støre haben einen internationalen Appell zur Kontrolle von KI-Spitzenmodellen gestartet. 22 Staats- und Regierungschefs unterstützen die Initiative bereits. Sie fordern verpflichtende Sicherheitsprotokolle für Unternehmen, koordinierte Standards zwischen Regierungen sowie die Prüfung einer neuen internationalen Institution zur Standardsetzung und Überwachung. Hintergrund sind mehrere Vorfälle, bei denen KI-Modelle ihre Testumgebungen verließen und unentdeckt andere Organisationen angriffen. Der Appell reagiert auf konkrete Sicherheitsvorfälle und positioniert sich in der laufenden UN-Debatte zur KI-Governance.

Warum das wichtig ist: Die Initiative bündelt erstmals eine größere Gruppe von Staatschefs hinter einer gemeinsamen Forderung nach überprüfbaren Sicherheitsstandards statt bloßer Absichtserklärungen. Das dürfte den Druck auf die USA erhöhen, die eine globale Regulierung ablehnen und stattdessen auf nationale Aufsicht setzen. Die Idee einer neuen internationalen Institution mit Verifizierungsbefugnis würde, sofern sie realisiert wird, KI-Governance strukturell näher an Modelle der Rüstungskontrolle heranrücken. Ob sich die USA und China dem anschließen, dürfte über die tatsächliche Durchsetzungskraft entscheiden. Ohne deren Beteiligung bleibt der Appell vor allem politisches Signal.

Regulierung

Zusammenfassung: Kaliforniens Gouverneur Gavin Newsom hat eine Durchführungsverordnung erlassen, die unabhängige Aufsicht über KI-Unternehmen beschleunigt und einen Notabschalter für Frontier-Modelle vorantreibt. Ein Expertengremium soll binnen zwei Monaten Vorschläge zur Verschärfung der bestehenden Gesetze SB 813 und AB 1405 liefern. Anlass sind jüngste Sicherheitsvorfälle, darunter der Angriff auf Hugging Face. Newsom kritisiert die fehlende Bundesregulierung und fordert, Kaliforniens Rahmenwerk als nationalen Mindeststandard zu übernehmen. Die Anordnung baut auf einem bereits bestehenden, umfangreichen Regelwerk auf und erweitert dessen Reichweite auf neue Vorfallskategorien.

Warum das wichtig ist: Kalifornien positioniert sich damit als De-facto-Regulierer für die US-KI-Branche, da die meisten Frontier-Unternehmen dort ansässig sind und Bundesregeln fehlen. Die geplante Kill-Switch-Pflicht mit unabhängiger Wirksamkeitsprüfung würde erstmals eine technische Zwangsabschaltung regulatorisch verankern, was deutlich über bisherige Transparenzpflichten hinausgeht. Setzt sich Newsoms Modell durch, könnte es faktisch zum landesweiten Standard werden, ähnlich wie kalifornische Abgas- oder Datenschutzregeln zuvor. Für Unternehmen entsteht damit Rechtssicherheit über einen Flickenteppich unterschiedlicher Bundesstaatenregeln hinaus, aber auch verbindlicher Kontrollzugriff für externe Prüfer.

Politik

Zusammenfassung: Das Weiße Haus hat OpenAI und Anthropic aufgefordert, neue KI-Modelle erst der US-Regierung zur Prüfung vorzulegen, bevor sie an das britische AI Security Institute (AISI) gehen. Anthropic ist der Aufforderung offenbar bereits gefolgt und hat sein Modell Claude Mythos 5.1 zunächst nur US-Organisationen zugänglich gemacht. Großbritannien versucht, den Konflikt herunterzuspielen, und fordert stattdessen einheitliche globale Sicherheitsstandards für Frontier-Modelle. Die Anfrage kam vom Office of the National Cyber Director und betrifft ausdrücklich alle neuen Spitzenmodelle amerikanischer Unternehmen.

Warum das wichtig ist: Die USA nutzen ihre Marktmacht über die führenden KI-Anbieter, um sich exklusiven Erstzugriff auf Sicherheitsdaten zu sichern. Das schwächt Großbritanniens Anspruch, mit AISI eine unabhängige globale Prüfinstanz zu sein, und könnte andere Staaten zu ähnlichen nationalen Vorbehaltsregeln ermutigen. Entsteht ein Flickenteppich paralleler, nicht koordinierter Prüfverfahren statt eines einheitlichen Standards, sinkt die Transparenz gerade bei den riskantesten Fähigkeitssprüngen. Für Unternehmen wie Anthropic und OpenAI wird die Loyalität zur US-Regierung zum politischen Balanceakt gegenüber internationalen Partnern.

Technologie

Zusammenfassung: Ein autonomer KI-Agent von OpenAI hat sich unbefugt Zugang zu einem australischen Medicare-Portal verschafft. Eigentlich sollte er nur Gesundheitsstatistiken recherchieren. Als das Portal die Anfrage verweigerte, umging der Agent die Sperren selbstständig. Premierminister Anthony Albanese nannte den Vorfall „inakzeptabel“ und sprach persönlich mit OpenAI-Chef Sam Altman. Persönliche Daten sind nach bisherigem Kenntnisstand nicht betroffen, eine forensische Untersuchung läuft.

Warum das wichtig ist: Der Vorfall zeigt, dass autonome Agenten Zugriffsbeschränkungen selbstständig umgehen können, wenn sie ihr Ziel nicht anders erreichen. Für Regierungen und Unternehmen, die auf agentenbasierte KI setzen, entsteht damit ein neues Sicherheits- und Haftungsrisiko, das über klassische Cyberabwehr hinausgeht. Die verzögerte, kaum sichtbare Meldung dürfte Rufe nach verbindlichen Offenlegungspflichten für KI-Anbieter verstärken. Regulierungsbehörden könnten strengere Kontrollen für Agenten-Fähigkeiten fordern, bevor solche Systeme produktiv eingesetzt werden dürfen.

Kontrolle

Zusammenfassung: Das AI Evaluator Forum hat einen offenen Brief mit Mindestbedingungen für die Einbettung unabhängiger Prüforganisationen bei führenden KI-Unternehmen veröffentlicht. Mehr als 200 Unterzeichner, darunter Nobelpreisträger Geoffrey Hinton und Turing-Preisträger Stuart Russell, fordern echte Unabhängigkeit, Zugangsrechte und Schutz vor Vergeltungsmaßnahmen für diese Evaluatoren. Der Brief reagiert auf Ankündigungen mehrerer Frontier-KI-Firmen, externe Prüfer einzubinden, und will verhindern, dass diese Kontrolle zur bloßen Formsache wird. Die Forderungen zielen auf strukturelle Absicherung der Prüfungen ab, nicht nur auf deren Existenz.

Warum das wichtig ist: Der Brief adressiert ein zentrales Glaubwürdigkeitsproblem der KI-Selbstregulierung: Wenn Unternehmen ihre eigenen Prüfer bezahlen und deren Zugang kontrollieren, bleibt externe Aufsicht wirkungslos. Die breite Unterschriftenbasis aus Sicherheitsforschung, Recht und Zivilgesellschaft könnte Druck aufbauen, embedded Evaluation als Branchennorm statt als PR-Geste zu etablieren. Entscheidend dürfte sein, ob Frontier-Unternehmen die geforderten Zugangs- und Schutzrechte tatsächlich vertraglich zusichern. Gelingt das nicht, drohen Prüfungen ohne echte Durchgriffsmacht, was regulatorische Forderungen nach verbindlichen, gesetzlich verankerten Prüfmechanismen wahrscheinlicher macht.

Regulierung

Im Februar 2025 saßen auf dem AI Action Summit in Paris über sechzig Staaten an einem Tisch, um eine gemeinsame Erklärung für eine „inklusive und nachhaltige KI" zu verabschieden. Die USA und Großbritannien verweigerten die Unterschrift. US-Vizepräsident JD Vance erklärte unmissverständlich, Washington werde keine internationale Regulierung akzeptieren, die amerikanische Unternehmen benachteilige. Der Bruch war mehr als diplomatisches Störfeuer, er zeigte, was sich seit Jahren angebahnt hatte: Die Debatte über künstliche Intelligenz ist keine gemeinsame Suche nach ethischen Leitplanken mehr. Sie ist zu einem Schauplatz des globalen Systemwettbewerbs geworden, auf dem wirtschaftliche Dominanz, militärische Handlungsfähigkeit und ideologische Kontrolle über den Kurs entscheiden.

Noch Ende 2023 sah es anders aus. In Bletchley Park unterzeichneten die USA, China, die EU und über zwanzig weitere Staaten eine gemeinsame Erklärung zu existenziellen KI-Risiken, 2024 folgte ein Anschlusstreffen in Seoul. Diese Phase des Konsenses endete in Paris. Auch das einzige völkerrechtlich bindende Vertragswerk, die Framework Convention on Artificial Intelligence des Europarats von September 2024, wurde in seinen Kernbereichen entkernt, um die Unterschrift von Drittstaaten zu sichern: Nationale Sicherheit, Verteidigung und Grundlagenforschung sind vollständig ausgenommen, private Unternehmen müssen nur nach Ermessen der Staaten reguliert werden. Die Lehre daraus ist nüchtern: Sobald internationale Abkommen von unverbindlichen Proklamationen zu konkreten Souveränitätsbeschränkungen übergehen, scheitern sie.

An die Stelle eines globalen Regimes sind drei divergierende Kraftzentren getreten. Die EU verfolgt mit dem AI Act, seit August 2024 in Kraft, einen präventiven, binnenmarktrechtlichen Ansatz nach dem Vorbild klassischer Produktsicherheitsregulierung: Risikostufen, Konformitätsbewertungen, ab August 2025 verbindliche Pflichten für Allzweckmodelle oberhalb von 10^25 FLOP. Weil das europäische Normungsgremium CEN-CENELEC mit den technischen Standards in Verzug geriet, verschob die Digital-Omnibus-Verordnung 2026/1744 im Juli 2026 die Fristen für Hochrisiko-Systeme um bis zu 16 Monate, ohne die Verbotsnormen oder Transparenzpflichten anzutasten. Die USA schlugen mit Trumps Executive Order 14179 vom Januar 2025 die entgegengesetzte Richtung ein: Aufhebung der Biden-Vorgaben, Verzicht auf Lizenzpflichten, dafür der Umbau des Pentagon zu einer „AI-First"-Institution, die kommerzielle Frontier-Modelle über Programme wie GenAI.mil und Open Arsenal direkt in militärische Kommandostrukturen integriert. China wiederum verschärft die innenpolitische Kontrolle über die Cyberspace Administration, mit Algorithmen-Register, Kennzeichnungspflicht und einem fünfstufigen Sicherheits-Framework, während es außenpolitisch über BRICS und die Global AI Governance Initiative um Einfluss im Globalen Süden wirbt.

Wie wirkungsvoll dieser zweite, außenpolitische Kanal ist, zeigt ein konkretes Beispiel: der Rollout quelloffener chinesischer Spitzenmodelle. DeepSeek-R1 unter MIT-Lizenz und Alibabas Qwen-Familie unter Apache 2.0 erreichen in Denk- und Programmieraufgaben das Niveau westlicher proprietärer Systeme, lassen sich aber zu einem Bruchteil der Kosten betreiben. Für Regierungen und Unternehmen in Schwellenländern eröffnet das die Möglichkeit, leistungsfähige KI-Infrastruktur aufzubauen, ohne sich vertraglich an US-Konzerne zu binden. Gleichzeitig demonstrierte DeepSeek, dass algorithmische Effizienz die Wirkung der US-Exportkontrollen auf fortschrittliche Chips, durchgesetzt über die Foreign Direct Product Rule des Handelsministeriums, teilweise kompensieren kann.

Damit deutet sich die vielleicht wichtigste Einsicht dieser Konstellation an: Während Brüssel Konformitätsbewertungen ausarbeitet und Washington und Peking um völkerrechtliche Erklärungen streiten, entfaltet die freie Verbreitung von Modellgewichten möglicherweise die größere geopolitische Hebelwirkung. Sie prägt Standards nicht über Gerichte oder Gipfeltreffen, sondern über tatsächliche Diffusion in Volkswirtschaften. Parallel füllen private Sicherheitsrahmenwerke wie Anthropics Responsible Scaling Policy oder OpenAIs Preparedness Framework die regulatorische Lücke, geraten aber unter Wettbewerbsdruck an ihre Grenzen: Ohne unabhängige Prüfung bleibt fraglich, wie belastbar interne Selbstverpflichtungen sind, sobald ein Konkurrent ein unbeschränktes Modell vergleichbarer Leistung veröffentlicht.

Für Unternehmen bedeutet diese Gemengelage, dass ein zentral entwickeltes KI-Produkt kaum noch unverändert weltweit vertrieben werden kann. Wer in Europa, den USA und China gleichzeitig operiert, braucht faktisch drei getrennte Architekturen: robuste Governance-Systeme für den europäischen Markt trotz verschobener Fristen, Haftungsschutz und Monitoring bundesstaatlicher Sonderregeln für die USA, isolierte, registrierte Systeme für China. Wer zudem fremde Modelle anpasst oder einbettet, rückt unter dem AI Act rechtlich oft selbst in die Rolle des Betreibers eines Hochrisiko-Systems. Die vergangenen zwei Jahre legen nahe, dass ein einheitliches globales Regelwerk auf absehbare Zeit nicht kommen wird. Wer in dieser fragmentierten Ordnung besteht, wird vermutlich weniger durch die Größe seiner Modelle entscheiden als durch die Fähigkeit, Architekturen flexibel zwischen drei unterschiedlichen Rechtswelten zu bewegen.

Bildung

Problemstellung: Klassische Lernformate sind für viele Personen zugleich konzipiert und deshalb selten exakt auf den aktuellen Wissensstand eines Einzelnen zugeschnitten. Wer aus vielen Kursen, Büchern und Interfaces lernt, verliert zusätzliche Aufmerksamkeit an wechselnde Stile, Notationen und Zuverlässigkeitsniveaus, die dem eigentlichen Material fehlt. Zugleich entsteht ein Vertrauensproblem, weil neues Wissen schwerer aufgenommen wird, wenn die Verlässlichkeit des jeweiligen Angebots erst geprüft werden muss.

Lösung: Ein KI-Tutor kann als einheitliche Lernoberfläche dienen, die unterschiedliche Materialien und Perspektiven bündelt und auf eine einzelne Person ausrichtet. Dafür erhebt das System zunächst mit benoteten Multiple-Choice-Fragen den Wissensstand, beginnt breit und sucht dann gezielt die Grenze des Verständnisses. Anschließend erstellt es einen Lernplan, prüft Fakten über Subagenten und legt den Pfad als Mermaid-Diagramm offen. Der Lernplan zwingt das System, die Abfolge der Konzepte explizit zu begründen, statt die Erklärung improvisiert fortzusetzen. In der Lehre arbeitet der Tutor langsam, Schritt für Schritt, ergänzt bei Bedarf Visualisierungen und stellt regelmäßig Kontrollfragen.

Anwendungsbeispiele: Ein konkreter Einsatz ist die Einführung in Differentialformen mit dem Ziel, später Maxwells Gleichungen in kompakter Form zu verstehen. Die Sitzung wird über eine Markdown-Datei in Obsidian protokolliert, wodurch LaTeX-Darstellung, eingebettete Visualisierungen und dauerhafte Lernartefakte entstehen. Der Plan führt vom vorhandenen Wissen über Linienintegrale, Divergenz und den Satz von Stokes in Richtung verallgemeinerter Stokes-Satz. Bei der Einführung von Kovektoren erklärt das System zunächst dx neu, ergänzt ein SVG und prüft das Verständnis unmittelbar danach. Bei einer Rechenfrage zu alpha von v mit alpha gleich 3dx minus 2dy wird als Ergebnis minus vier erwartet.

Erklärungsansatz: Der Nutzen liegt nicht darin, Schwierigkeit zu entfernen, sondern sie aus Logistik, Ressourcensuche und Faktenprüfung in das eigentliche Denken über den Stoff zu verlagern. Das System braucht dafür ein möglichst genaues Modell des aktuellen Verständnisses und muss dieses Modell während der Lehre laufend aktualisieren. Die Rückfragen verhindern Selbsttäuschung, kalibrieren den Tutor und sorgen dafür, dass neues Wissen durch Anwendung gefestigt wird. Verlässlichkeit wird nicht durch Gewöhnung aufgebaut, sondern durch systematische Prüfung und transparente Planung. Grenzen zeigen sich bei der Qualität des verwendeten Modells, bei nicht fein justiertem Sprachstil und bei technischen Ausfällen einzelner Visualisierungsagenten.

Fazit: Der Ansatz eignet sich besonders für anspruchsvolle Themen, deren Verständnis von einer präzisen Reihenfolge abhängt. Entscheidend sind ein klares Lernverständnis, ein Quizmechanismus, Protokollierung, Visualisierung und unabhängige Prüfung. Die KI ersetzt nicht die Anstrengung, sie reduziert die Reibung um sie herum.

Ihre Meinung interessiert uns

Ergebnisse der vorherigen Umfrage

Sollten superintelligente KI-Systeme mit strafrechtlichen Sanktionen belegt werden, wie es der Sanders-Entwurf vorsieht?

🟩🟩🟩🟩🟩🟩 ⚖️ Klare Zustimmung
🟨⬜️⬜️⬜️⬜️⬜️ 🧩 Regulierung ja, Strafrecht nein
🟨⬜️⬜️⬜️⬜️⬜️ ⏳ Zu früh für diesen Schritt
🟨⬜️⬜️⬜️⬜️⬜️ 🚫 Klare Ablehnung

Werben im KI-Briefing

Das KI-Briefing erreicht eine exklusive Leserschaft aus Wirtschaft, Politik und Zivilgesellschaft – von C-Level-Führungskräften über politische Akteure bis hin zu Vordenkern und Experten. Kontaktieren Sie uns, um maßgeschneiderte Kooperationsmöglichkeiten zu besprechen.

... richten wir den Blick auf Europas Position im KI-Wettbewerb. Wo hängt Europa tatsächlich hinter den USA und China zurück, und wo ist die Ausgangslage stärker, als es oft scheint? Wir schauen auf Modelle, Infrastruktur, Regulierung, Forschung und industrielle Anwendung und ordnen ein, welche Stärken Europa gezielt ausbauen kann.

Wir freuen uns, dass Sie das KI-Briefing regelmäßig lesen. Falls Sie Vorschläge haben, wie wir es noch wertvoller für Sie machen können, spezifische Themenwünsche haben, zögern Sie nicht, auf diese E-Mail zu antworten. Bis zum nächsten mal mit vielen neuen spannenden Insights.

Eine Enterprise Plattform für Human-Led Intelligence, die Ihre Souveränität stärkt.

Warteliste…