У січні цього року була запущена соціальна мережа під назвою «Moltbook».
Це була незвичайна соціальна мережа, де публікувати дописи могли лише AI-агенти, і вона була створена майже повністю за допомогою штучного інтелекту. Це те, що можна назвати «вайб-кодингом».
Протягом трьох днів після запуску дослідник з безпеки помітив дещо:
«Будь-хто може читати та перезаписувати вміст бази даних цього застосунку».
Витоку зазнали близько 1,5 мільйона токенів автентифікації, приблизно 35 000 електронних адрес і тисячі особистих повідомлень.
Адміністрація негайно виправила це, але до того моменту будь-хто міг забрати все, що забажає, протягом кількох днів.
Моя робота полягає в підтримці внутрішньої розробки AI-інструментів та проведенні перевірок безпеки.
Цей інцидент насправді продемонстрував ту саму вразливість, яку я найчастіше бачу в компаніях, що створили внутрішні інструменти за допомогою AI.
Ось що сталося і п'ять речей, на які слід звернути увагу, щоб запобігти цьому у вашій компанії.
====
Що сталося
Було лише дві причини.
По-перше. У базі даних не було правила, яке б свідчило: «ти можеш бачити лише власні дані».
По-друге. Ключ, який використовувався для підключення до бази даних, був записаний безпосередньо в коді на стороні браузера.
Будь-хто може побачити ключ, записаний у браузері, просто відкривши інструменти розробника.
Якщо підключитися до бази даних за допомогою цього ключа, повертаються всі дані, оскільки немає правил, які б їх обмежували.
Іншими словами, все було видно через чорний хід, навіть не заходячи через інтерфейс застосунку.
AI успішно створив «працюючий застосунок».
Однак він не створив частину «приховати це від інших», тому що його про це не попросили.
Це найбільша пастка під час створення за допомогою AI.
====
1. «Можливість увійти в систему» та «Не бачити чужі дані» — це дві різні речі
Під час розробки застосунку функція входу майже завжди включена.
Люди схильні думати: «Я додав функцію входу, тож усе гаразд», але це неправильно.
Вхід — це функція для перевірки того, «ким» є людина.
Те, «що цій людині дозволено бачити», потрібно створювати окремо.
У Moltbook також була система входу.
Однак після входу користувачі могли отримати доступ до даних інших людей.
Перевірка проста.
Створіть два тестові акаунти, увійдіть з акаунту A і спробуйте безпосередньо відкрити URL-адресу даних акаунту B.
Якщо ви можете її побачити, ви вразливі.
Ось запит для AI:
«Переконайтеся, що користувачі можуть отримувати доступ лише до власних даних. Забезпечте, щоб навіть якщо вони відкриють URL-адресу чужих даних, вони не змогли їх побачити».
====
2. Встановіть правило «Бачити лише свою частку» також на стороні бази даних
Перший пункт стосувався сторони застосунку.
Однак, як і у випадку з Moltbook, хтось може підключитися безпосередньо до бази даних через чорний хід, минаючи застосунок.
Тому вам слід встановити правило в самій базі даних: «ця людина може бачити лише цей рядок».
Завдяки цьому, навіть якщо ключ витече, дані інших людей не можна буде отримати.
Сервіси баз даних, які часто використовуються в сучасній AI-розробці, мають цю функцію.
Однак вона часто вимкнена за замовчуванням. AI не ввімкне її, якщо його не попросити.
Ось запит:
«Увімкніть правило для всіх таблиць бази даних, щоб користувачі могли читати лише власні рядки».
====
3. Не розміщуйте ключі на стороні браузера
Іншою причиною інциденту з Moltbook було те, що ключ був записаний у браузері.
Застосунок має «код, який виконується на стороні сервера» та «код, який виконується на стороні браузера».
Сторона браузера повністю надсилається на комп'ютер користувача. Іншими словами, запис ключа там — це те саме, що розповсюджувати його всім.
Як перевірити: Відкрийте інструменти розробника та знайдіть «key», «token» або «secret».
Якщо з'явиться довгий рядок, схожий на один із них, потрібно бути обережним.
Ось запит:
«Зберігайте ключі та паролі строго на стороні сервера. Ніколи не включайте їх у код на стороні браузера».
====
4. Перед релізом доручіть «іншому AI» зіграти роль лиходія
Якщо ви запитаєте AI, який створив застосунок: «Чи це безпечно?», він скаже «Так». Тому що він сам його створив.
Тому вам слід доручити іншому AI, відмінному від того, що використовувався для розробки, перевірити його з точки зору зловмисника.
Запитайте його: «Якби ви мали зламати цей застосунок, звідки б ви увійшли?»
Коли я роблю це з інструментами клієнтів, виявляється безліч вразливостей, яких вони не помічали.
Дві вразливості в Moltbook знаходяться на такому рівні, який зазвичай виявляється за допомогою цього запитання.
Ось запит:
«Ви — зловмисник. Перелічіть усі способи перегляду даних інших людей у цьому застосунку. Якщо знайдете якісь, також надайте виправлення».
====
5. Після релізу записуйте, «хто що переглядав», і перевіряйте це щодня протягом першого тижня
Moltbook було виправлено, тому що зовнішній дослідник знайшов вразливість і зв'язався з адміністрацією.
Вони самі цього не помітили.
З внутрішніми інструментами ніхто не буде зв'язуватися з вами.
Тому ведіть запис того, «хто коли ввійшов і які дані переглядав».
Потім перевіряйте цей запис щодня протягом першого тижня після релізу.
Невідоме джерело доступу, масовий доступ посеред ночі або одна людина, яка відкриває дані всіх.
Ви можете негайно визначити ці речі, переглянувши записи.
Ось запит:
«Ведіть журнал того, хто, до яких даних і коли отримував доступ. Однак не записуйте паролі або особисту інформацію в журнали».
====
Підсумок
Якщо підсумувати інцидент з Moltbook одним рядком:
«AI будує те, що його просять побудувати, але він не будує те, що його не просять будувати».
Створюючи внутрішні інструменти, ми повідомляємо: «Я хочу таку функцію».
Але ми не говоримо: «Не показуй це іншим» або «Не клади ключ у браузер».
Тому що ми цього не говоримо, це не включається.
І навпаки, усі п'ять цих речей можна включити, просто додавши одне речення до запиту для AI.
Спочатку спробуйте створити два тестові акаунти за допомогою інструменту, який у вас зараз працює, і відкрийте URL-адресу даних іншої людини.
Просто зробивши це, ви дізнаєтеся, чи маєте ви ту саму вразливість, що й Moltbook.
====
Нарешті, оголошення.
Наша компанія пропонує послугу з розробки спеціалізованих AI-агентів для вашого бізнесу з нуля.
Замість навчання або ознайомлення з інструментами, ми проводимо інтерв'ю щодо вашого реального бізнес-процесу та надаємо щось «готове до використання вже завтра». Ми забезпечуємо постійну підтримку, включаючи вдосконалення після впровадження та внутрішню розробку.
Ми також пропонуємо послугу, де інженери супроводжують вас для перевірки безпеки та роботи внутрішніх AI-інструментів, а також подальшого обслуговування та модифікацій. Ключовою особливістю є те, що ми не просто завершуємо роботу після створення, а встановлюємо «систему постійного захисту» з точки зору п'яти пунктів, описаних у цій статті.
Якщо ви власник бізнесу або менеджер, який вважає: «Наш інструмент може показати дані, якщо хтось відкриє URL-адресу іншої людини», будь ласка, дозвольте нам поговорити з вами.
Первинна консультація безкоштовна, і ми можемо негайно продемонструвати перевірку з точки зору зловмисника, описану в цій статті. Оскільки ми можемо почати з спільного визначення того, де ваша система вразлива, будь ласка, зв'яжіться з нами через DM або LINE.
Просто напишіть «AI» — цілком достатньо↓
