Im Januar dieses Jahres wurde ein soziales Netzwerk namens "Moltbook" veröffentlicht.
Es war ein ungewöhnliches soziales Netzwerk, in dem nur KI-Agenten posten konnten, und es wurde fast vollständig von KI erstellt. Das könnte man als Vibe Coding bezeichnen.
Innerhalb von drei Tagen nach der Veröffentlichung fiel einem Sicherheitsforscher etwas auf:
"Jeder kann den Inhalt der Datenbank dieser App lesen und überschreiben."
Was durchsickerte, waren etwa 1,5 Millionen Authentifizierungstoken, etwa 35.000 E-Mail-Adressen und Tausende von privaten Nachrichten.
Das Management behob das Problem sofort, aber bis dahin konnte tagelang jeder nehmen, was er wollte.
Meine Aufgabe umfasst die Unterstützung der internen Entwicklung von KI-Tools und die Durchführung von Sicherheitsüberprüfungen.
Dieser Vorfall zeigte genau die gleiche Schwachstelle, die ich am häufigsten in Unternehmen sehe, die interne Tools mit KI entwickelt haben.
Hier ist, was passiert ist, und fünf Dinge, auf die Sie achten sollten, damit Ihnen das nicht passiert.
====
Was passiert ist
Es gab nur zwei Ursachen.
Erstens. Die Datenbank hatte keine Regel, die besagte: "Du kannst nur deine eigenen Daten sehen."
Zweitens. Der Schlüssel, der für die Verbindung zur Datenbank verwendet wurde, war direkt in den Code auf der Browserseite geschrieben.
Jeder kann einen im Browser geschriebenen Schlüssel sehen, indem er einfach die Entwicklertools öffnet.
Wenn man sich mit diesem Schlüssel mit der Datenbank verbindet, werden alle Daten zurückgegeben, da es keine einschränkenden Regeln gibt.
Mit anderen Worten: Alles war durch die Hintertür sichtbar, ohne auch nur die Oberfläche der App zu durchlaufen.
Die KI hat erfolgreich eine "funktionierende App" erstellt.
Allerdings hat sie den Teil "vor anderen verstecken" nicht gebaut, weil sie nicht darum gebeten wurde.
Dies ist die größte Falle beim Bauen mit KI.
====
1. "Einloggen können" und "Daten anderer nicht sehen" sind zwei verschiedene Dinge
Bei der Entwicklung einer App ist fast immer eine Anmeldefunktion enthalten.
Die Leute neigen dazu zu denken: "Ich habe vorerst eine Anmeldefunktion hinzugefügt, also ist es in Ordnung", aber das ist falsch.
Das Einloggen ist eine Funktion, um zu überprüfen, "wer" jemand ist.
Was "diese Person sehen darf", muss separat gebaut werden.
Moltbook hatte auch ein Anmeldesystem.
Nach dem Einloggen konnten die Benutzer jedoch auf die Daten anderer Personen zugreifen.
Die Überprüfung ist einfach.
Erstellen Sie zwei Testkonten, melden Sie sich mit Konto A an und versuchen Sie, die URL der Daten von Konto B direkt zu öffnen.
Wenn Sie sie sehen können, sind Sie exponiert.
Hier ist der Prompt für die KI:
"Stellen Sie sicher, dass Benutzer nur auf ihre eigenen Daten zugreifen können. Stellen Sie sicher, dass sie die Daten anderer nicht sehen können, selbst wenn sie die URL der Daten einer anderen Person öffnen."
====
2. Fügen Sie auf der Datenbankseite eine Regel "Nur deinen eigenen Anteil sehen" hinzu
Der erste Punkt bezog sich auf die App-Seite.
Aber wie bei Moltbook könnte jemand durch die Hintertür direkt eine Verbindung zur Datenbank herstellen, ohne die App zu durchlaufen.
Daher sollten Sie in der Datenbank selbst eine Regel aufstellen, die besagt: "Diese Person kann nur diese Zeile sehen."
Wenn dies vorhanden ist, können die Daten anderer Personen selbst dann nicht abgerufen werden, wenn der Schlüssel durchsickert.
Datenbankdienste, die in der aktuellen KI-Entwicklung häufig verwendet werden, haben diese Funktion.
Allerdings ist sie standardmäßig oft deaktiviert. Die KI aktiviert sie nur, wenn sie dazu aufgefordert wird.
Hier ist der Prompt:
"Aktivieren Sie eine Regel für alle Datenbanktabellen, sodass Benutzer nur ihre eigenen Zeilen lesen können."
====
3. Platzieren Sie keine Schlüssel auf der Browserseite
Die andere Ursache für Moltbook war, dass der Schlüssel im Browser geschrieben war.
Eine App hat "Code, der auf der Serverseite läuft" und "Code, der auf der Browserseite läuft".
Die Browserseite wird vollständig an den PC des Benutzers gesendet. Mit anderen Worten: Das Schreiben eines Schlüssels dort ist das Gleiche, als würde man ihn an alle verteilen.
So überprüfen Sie es: Öffnen Sie die Entwicklertools und suchen Sie nach "key", "token" oder "secret".
Wenn eine lange Zeichenfolge erscheint, die wie eine solche aussieht, müssen Sie vorsichtig sein.
Hier ist der Prompt:
"Halten Sie Schlüssel und Passwörter strikt auf der Serverseite. Fügen Sie sie niemals in den Code auf der Browserseite ein."
====
4. Lassen Sie vor der Veröffentlichung eine "andere KI" den Bösewicht spielen
Wenn Sie die KI, die es gebaut hat, fragen: "Ist es sicher?", wird sie "Ja" sagen. Weil sie es selbst gebaut hat.
Daher sollten Sie eine andere KI als die für die Entwicklung verwendete bitten, es aus der Perspektive eines Angreifers zu überprüfen.
Fragen Sie sie: "Wenn Sie in diese App einbrechen wollten, wo würden Sie hereinkommen?"
Wenn ich das mit den Tools von Kunden mache, kommen Schwachstellen zum Vorschein, die ihnen nicht aufgefallen sind.
Die beiden Schwachstellen in Moltbook sind auf einem Niveau, das normalerweise mit dieser Frage gefunden würde.
Hier ist der Prompt:
"Sie sind ein Angreifer. Listen Sie alle Möglichkeiten auf, die Daten anderer Personen in dieser App einzusehen. Wenn Sie welche finden, geben Sie auch die Korrekturen an."
====
5. Zeichnen Sie nach der Veröffentlichung auf, "wer was gesehen hat", und überprüfen Sie es in der ersten Woche täglich
Moltbook wurde behoben, weil ein externer Forscher es fand und Kontakt aufnahm.
Sie hatten es selbst nicht bemerkt.
Bei internen Tools wird sich niemand bei Ihnen melden.
Führen Sie daher ein Protokoll darüber, "wer sich wann eingeloggt hat und welche Daten er angesehen hat".
Überprüfen Sie dieses Protokoll dann in der ersten Woche nach der Veröffentlichung täglich.
Eine unbekannte Zugriffsquelle, massiver Zugriff mitten in der Nacht oder eine Person, die die Daten aller öffnet.
Sie können diese Dinge sofort erkennen, wenn Sie sich die Protokolle ansehen.
Hier ist der Prompt:
"Führen Sie ein Protokoll darüber, wer wann auf welche Daten zugegriffen hat. Schreiben Sie jedoch keine Passwörter oder persönlichen Informationen in die Protokolle."
====
Zusammenfassung
Um den Moltbook-Vorfall in einem Satz zusammenzufassen:
"KI baut das, worum sie gebeten wird, aber sie baut nicht das, worum sie nicht gebeten wird."
Wenn wir interne Tools erstellen, kommunizieren wir: "Ich möchte diese Art von Funktion."
Aber wir sagen nicht: "Zeig es anderen nicht" oder "Setz den Schlüssel nicht in den Browser."
Weil wir es nicht sagen, wird es nicht eingebaut.
Umgekehrt können alle fünf dieser Dinge eingebaut werden, indem man der KI einfach einen einzigen Satz hinzufügt.
Versuchen Sie zunächst, mit einem Tool, das Sie derzeit verwenden, zwei Testkonten zu erstellen und die URL der Daten einer anderen Person zu öffnen.
Allein das wird Ihnen sagen, ob Sie die gleiche Schwachstelle wie Moltbook haben.
====
Zum Schluss eine Ankündigung.
Unser Unternehmen bietet einen Service an, bei dem wir von Grund auf aufgabenspezifische KI-Agenten für Ihr Unternehmen entwickeln.
Anstatt Schulungen oder Tool-Einführungen anzubieten, befragen wir Sie zu Ihrem tatsächlichen Geschäftsablauf und liefern etwas, das "ab morgen einsatzbereit" ist. Wir bieten durchgängige Unterstützung von der Einführung über die Verbesserung bis hin zur internen Entwicklung.
Wir bieten auch einen Service an, bei dem Ingenieure Sie begleiten, um die Sicherheit und den Betrieb interner KI-Tools zu überprüfen sowie die anschließende Wartung und Änderungen durchzuführen. Ein Hauptmerkmal ist, dass wir nicht nur nach dem Bauen aufhören, sondern ein "kontinuierliches Schutzsystem" aus der Perspektive der fünf Punkte in diesem Artikel etablieren.
Wenn Sie ein Geschäftsinhaber oder Manager sind, der denkt: "Unser Tool könnte Daten anzeigen, wenn jemand die URL einer anderen Person öffnet", lassen Sie uns bitte mit Ihnen sprechen.
Das Erstgespräch ist kostenlos, und wir können Ihnen vor Ort eine Demo der in diesem Artikel vorgestellten Überprüfung aus Angreiferperspektive zeigen. Da wir damit beginnen können, gemeinsam zu analysieren, wo Ihr System verwundbar ist, kontaktieren Sie uns bitte jederzeit per DM oder LINE.
Sagen Sie einfach "KI"↓
![So gewinnst du den Startup-Bewerbungsprozess [Umfassender Leitfaden]](/cdn-cgi/image/width=1920,quality=90,format=auto,metadata=none/https%3A%2F%2Fcms-assets.youmind.com%2Fmedia%2F1789923905631_0phs96_HScKjpFXIAA4PfY.jpg)
