KI braucht Kontrolle, nicht Vertrauen

Ein Anwalt in Iowa hat eine offizielle Rüge kassiert. Er hatte einen Schriftsatz mit KI-Hilfe erstellt und eingereicht, der schlicht erfundene Informationen enthielt. Das Gericht hat es gemerkt. Der Anwalt nicht, bevor er unterschrieben hat.

Das ist kein Einzelfall, aber auch kein Grund zur Panik. Es ist ein klares Signal: Wer KI-Texte ungeprüft weitergibt, haftet für den Inhalt. Das gilt für Anwälte vor Gericht genauso wie für dich, wenn du KI-Entwürfe an Kunden, Behörden oder Geschäftspartner schickst.

Die Praxis-Regel ist einfach: KI schreibt den Entwurf, ein Mensch prüft die Fakten. Nicht weil KI grundsätzlich unzuverlässig ist, sondern weil sie manchmal mit großer Überzeugung Dinge behauptet, die nicht stimmen. Das passiert auch bei guten Modellen.

Für deinen Betrieb reicht eine schlichte interne Regel als Anfang: Alles, was nach draußen geht und Zahlen oder rechtliche Aussagen enthält, liest ein Mensch gegen, der die Fakten kennt. Keine große Prozedur, nur eine klare Zuständigkeit.

Leg heute fest, welche ausgehenden KI-Texte in deinem Betrieb vor dem Versand von einem Menschen auf Fakten geprüft werden.

Wer KI-Agenten einführt, sollte das mit klaren Regeln tun. CISA und NSA haben dazu einen gemeinsamen Leitfaden veröffentlicht, der Grundprinzipien für den sicheren Einsatz agentischer KI-Systeme formuliert.

Für deinen Betrieb bedeutet das vor allem: Die Kernfragen, die du dir vor dem Einsatz stellen solltest, sind jetzt schwarz auf weiß formuliert. Welche Systeme darf ein KI-Agent eigenständig ansprechen? Welche Entscheidungen brauchen immer einen Menschen im Loop? Wo liegen die Daten, und wer hat Zugriff?

Der Leitfaden empfiehlt, KI-Agenten nur mit den Rechten auszustatten, die sie für ihre konkrete Aufgabe wirklich brauchen. Kein Generalzugriff auf Systeme, keine dauerhaften Berechtigungen, wenn eine zeitlich begrenzte reicht. Außerdem: Protokolliere, was dein Agent tut. Nicht weil du ihm misstraust, sondern weil du im Fehlerfall nachvollziehen können musst, was passiert ist.

Das Dokument kommt aus den USA und richtet sich primär an amerikanische Behörden und Unternehmen. Die Grundprinzipien gelten aber genauso für einen Maschinenbauer im Emsland wie für eine Bundesbehörde in Washington. Minimale Rechte, menschliche Kontrolle an kritischen Punkten, lückenlose Protokollierung: Das ist kein Bürokratismus, sondern sauberes Handwerk.

Wenn du KI-Agenten bereits nutzt oder planst, nimm den Leitfaden als Checkliste. Er ist kostenlos verfügbar und spart dir im Zweifel viel Ärger.

Angreifer nutzen KI längst, um Schwachstellen schneller zu finden als IT-Teams sie schließen können. Google Cloud zieht jetzt nach: Die neue Plattform AI Threat Defense soll Lücken in Unternehmenssystemen automatisiert erkennen, nach Dringlichkeit sortieren und direkt patchen.

Für dich als Mittelständler ist das weniger eine Google-Meldung als ein Hinweis auf eine echte Verschiebung. Wer Sicherheit noch manuell oder mit veralteten Werkzeugen betreibt, gerät ins Hintertreffen. Nicht weil Google das sagt, sondern weil die Angriffsmuster tatsächlich schneller werden und die Lücke zwischen Angriff und Reaktion größer wird.

Die direkte Relevanz für deinen Betrieb ist überschaubar. Die meisten Mittelständler betreiben keine Google-Cloud-Infrastruktur in dem Umfang, den diese Plattform adressiert. Aber die Frage, die dahintersteckt, ist für jeden relevant: Wie lange dauert es bei euch, eine kritische Lücke zu erkennen? Und wie lange, sie zu schließen? Wer darauf keine klare Antwort hat, hat ein Problem, unabhängig davon, welchen Anbieter er nutzt.

Frag deinen IT-Dienstleister oder Cloud-Anbieter konkret danach. Gute Anbieter haben dafür messbare Werte und klare Prozesse. Wer ausweicht oder auf Bauchgefühl verweist, ist kein verlässlicher Partner für das, was gerade auf Angreiferseite passiert.

Der Trend hinter der Meldung ist real. KI-gestützte Angriffe sind kein Zukunftsszenario mehr. Automatisierte Verteidigung wird zur Grundausstattung, nicht zur Premium-Option. Wer das heute ignoriert, zahlt es morgen mit Ausfallzeit oder Datenverlust.

Penny baut Deckenkameras mit KI-Auswertung in seine Märkte ein. Das System heißt Eagle Eye und erkennt automatisch, wie lang die Schlangen an den Kassen sind. Wird ein Schwellenwert überschritten, öffnet der Markt eine weitere Kasse. Kein Mitarbeiter muss mehr schätzen oder melden.

Zum Datenschutz: Penny betont, dass keine personenbezogenen Daten gespeichert werden. Das System zählt und misst, es identifiziert nicht. Das ist der entscheidende Unterschied, der solche Lösungen DSGVO-tauglich macht. Wer ähnliches plant, sollte genau dort ansetzen: anonymisierte Auswertung, kein Personenbezug, klare Zweckbindung.

Das Prinzip dahinter ist simpel: Kamera liefert Bild, KI liefert Zahl, System löst Aktion aus. Penny zeigt, dass operative KI nicht mit einem Chatbot anfangen muss, sondern mit einem konkreten Engpass im Tagesgeschäft.

Eine Frist, eine klare Aufgabe: Ab August 2026 verlangt der EU AI Act, dass KI-generierte Inhalte als solche erkennbar sind. Texte, Bilder, Videos oder Audio, die dein Betrieb mit KI erstellt und nach außen gibt, müssen entsprechend gekennzeichnet werden.

Für den Alltag im Mittelstand bedeutet das vor allem eines: Du brauchst einen Überblick, wo bei dir KI im Einsatz ist und was davon nach außen geht. Wer heute schon weiß, welche Inhalte KI-generiert sind, hat im August 2026 kein Problem. Wer das nicht weiß, hat ein Organisations-Problem, kein Technik-Problem.

Die Anforderung klingt nach Bürokratie, ist aber handhabbar. Eine kurze interne Liste reicht als Ausgangspunkt: Welche Kanäle nutzen KI-Texte? Welche Bilder kommen aus KI-Tools? Wo antwortet ein KI-System direkt an Kunden? Das ist keine Mammutaufgabe, sondern ein Nachmittag mit den richtigen Leuten.

Die gute Nachricht: Kennzeichnung ist kein Imageschaden. Transparenz über KI-Einsatz stärkt das Vertrauen bei Kunden eher als es zu schwächen. Wer offen kommuniziert, ist im Vorteil.

Hinweis: Weitere Transparenzpflichten aus dem EU AI Act werden schrittweise bis Ende 2026 konkretisiert. Die genauen Anforderungen für bestimmte Systemkategorien solltest du mit deinem Rechtsberater im Blick behalten, sobald die Durchführungsbestimmungen feststehen.