Cybersecurity

Wenn der Angreifer ein LLM ist

Wenn der Angreifer ein Sprachmodell ist, versagen die alten Erkennungsregeln. Wie sich Phishing, Bots und Schwachstellensuche durch KI verändern und was hilft.

In den früheren Teilen dieser Reihe ging es darum, wie man Angreifer an ihrem Verhalten erkennt. Ein Bot lädt keine Bilder, ein Skript ist zu schnell, ein Automat verrät sich am Muster. Das galt jahrelang. Jetzt kommt eine neue Klasse von Angreifern, gegen die diese Erkennung an ihre Grenzen stößt. Der Angreifer ist keine simple Schleife mehr. Er ist ein Sprachmodell, das denkt, formuliert und sich verhält wie ein Mensch.

Dieser Artikel gehört keinem der Bücher an, aus denen diese Reihe stammt. Er kann es nicht, denn als sie geschrieben wurden, gab es diese Technik noch nicht. Genau deshalb ist er wichtig.

Was sich verändert hat

Ein klassischer Bot war dumm. Er tat eine Sache, immer gleich, immer schnell, und genau diese Stumpfheit war seine Schwäche. Die Interessenbestimmung aus dem ersten Teil dieser Reihe lebt davon: Aus vielen kleinen Signalen erkennt man, dass am anderen Ende kein Mensch sitzt.

Ein Sprachmodell dreht das um. Es kann eine überzeugende, individuelle Phishing-Mail schreiben, in fehlerfreiem Deutsch, angepasst an das Opfer. Es kann eine Kundenanfrage formulieren, die von einer echten nicht zu unterscheiden ist. Es kann, gekoppelt an ein Werkzeug, das einen Browser steuert, eine Seite bedienen wie ein Mensch, mit Pausen, mit plausibler Navigation, mit den richtigen Klicks. Die alten Signale, Tempo, fehlende Ressourcen, stumpfe Wiederholung, verschwinden.

Drei Fronten

Konkret zeigt sich das an drei Stellen.

Beim Phishing. Die verräterischen Zeichen schlechter Betrugsmails, holpriges Deutsch, falsche Anrede, plumpe Aufmachung, sind weg. Ein Sprachmodell schreibt sauber, persönlich und in jeder Sprache. Die Faustregeln, mit denen wir Nutzern jahrelang geholfen haben, Phishing zu erkennen, greifen nicht mehr zuverlässig.

Bei der Schwachstellensuche. KI-Systeme können Code lesen und auf Schwachstellen prüfen, schneller als ein Mensch. Das hilft Verteidigern, aber eben auch Angreifern, die damit automatisiert nach Lücken suchen.

Bei der Automatisierung von allem, was früher menschliche Arbeit war. CAPTCHAs, die verhaltensbasiert prüfen, ob ein Mensch da ist, lassen sich von KI-gesteuerten Agenten zunehmend überwinden. Der Trick aus dem Bot-Teil, dass ein echter Browser schwer zu imitieren ist, verliert an Kraft, wenn die Imitation von einem System kommt, das den Browser wirklich bedient.

Was trägt, was neu gedacht werden muss

Die gute Nachricht zuerst. Die Grundhaltung dieser Reihe bleibt richtig. Je aufwendiger die Imitation, desto teurer der Angriff. Auch ein KI-Agent hinterlässt Spuren, nur andere. Der TLS-Fingerabdruck aus dem ersten Teil zeigt oft, dass hinter dem menschlich wirkenden Verhalten eine Automatisierungssoftware steckt. Die Interessenbestimmung stirbt nicht, sie verschiebt sich auf tiefere, schwerer fälschbare Signale.

Was neu dazukommt, ist eine zweite Ebene der Erkennung. Nicht mehr nur „verhält sich das wie ein Mensch?“, sondern „ist dieser menschlich wirkende Text vielleicht maschinell erzeugt?“. Und auf der Verteidigungsseite selbst kommt KI zum Einsatz, um KI-Angriffe zu erkennen. Es ist dasselbe Wettrüsten wie immer, nur auf einer neuen Stufe.

Und es gibt eine ganz neue Angriffsfläche, die es 2019 nicht gab: die KI-Systeme, die du selbst einsetzt. Ein Chatbot auf deiner Seite, ein KI-gestützter Prozess, kann selbst zum Ziel werden, durch manipulierte Eingaben, die das System zu unerwünschtem Verhalten bringen. Wer KI einbaut, baut eine neue Tür ein, und die will genauso durchdacht sein wie jede andere.

Was du tun kannst

Ein paar konkrete Konsequenzen.

Verlass dich bei der Nutzeraufklärung nicht mehr auf „erkenne schlechtes Deutsch“. Setz auf technische Schutzmechanismen, die unabhängig von der Qualität des Textes wirken, etwa Passkeys, die Phishing strukturell erschweren, weil sich der Anmeldeschlüssel an die echte Domain bindet.

Erweitere deine Erkennung um die tieferen Signale, die auch ein KI-Agent schwer fälscht, und rechne damit, dass Verhaltenssignale allein nicht mehr genügen.

Und wenn du selbst KI einsetzt, behandle sie als das, was sie ist: eine neue, mächtige Komponente mit eigener Angriffsfläche. Wende darauf dieselbe zerlegende Haltung an wie auf jeden anderen Prozess. Was, wenn jemand diese Eingabe manipuliert? Was, wenn das System etwas tut, das es nicht soll?

Zum Mitnehmen

Der Angreifer, der sich wie ein Mensch verhält, weil er von einem Sprachmodell gesteuert wird, ist kein Zukunftsszenario mehr. Die alten Erkennungsregeln über Tempo und Stumpfheit reichen nicht mehr, die Haltung dahinter, aus vielen Signalen ein Bild bauen und Systeme aus der Angreiferperspektive denken, trägt weiter. Sie muss nur auf tiefere Signale und auf eine neue Angriffsfläche ausgeweitet werden: die KI, die du selbst benutzt.

Weiterführend in dieser Reihe

Zurück: Browser sind kompliziert, und das ist dein Vorteil · Weiter: Was EXIF-Daten in hochgeladenen Bildern verraten