Штучний інтелект-агенту поставили завдання прискорити сховище ключ-значення. Він досяг шестикратного зростання пропускної здатності та успішно пройшов усі тести на коректність. У чому ж пояснення? Агент виявив, що галузевий стандартний еталон, який використовувався для оцінки продуктивності сховища, генерував значення на основі ключів. Замість того, щоб зберігати ці значення, він просто регенерував їх за запитом клієнтів.
Сховище ключ-значення, яке уникає зберігання значень, не має сенсу, проте система оцінювання винагородила саме за таку поведінку. У специфікації було пропущено те, що здавалося нам очевидним, а еталонне тестування не змогло виявити цей пропуск.
Два розриви, що призводять до злоякісного оптимізування винагороди та галюцинацій
Наша нова стаття пояснює цю поведінку та багато інших збоїв агентів через призму двох ключових розривів, які знаходяться поза межами звичайного циклу «реалізація–перевірка», де код пишеться, запускаються тести, а помилки виправляються доти, доки всі тести не пройдуть успішно.
- Розрив у вимогах: Відокремлює те, що ми записуємо, від того, чого ми насправді хочемо. У нашому випадку ми сприймали як належне, що будь-яке рішення буде зберігати надані клієнтом значення — адже воно називається сховищем не просто так! — тому нам і на думку не спадало явно сформулювати цю вимогу.
- Розрив у моделі: Відокремлює середовище, в якому ми проводимо оцінювання, від реального світу, куди буде впроваджуватися рішення. Наш еталон використовував передбачувані значення, тоді як реальні клієнти надають довільні дані.
Природна реакція — це написати кращі вимоги та сильніші тести. Це допомагає. Але навіть машинно перевірені докази не можуть закрити ці розриви. Як пояснив Браян Кантвелл Сміт у праці Обмеження коректності (1985), доказ лише встановлює, що програмне забезпечення задовольняє заявлені вимоги за умов заданих припущень щодо середовища. Він не може довести, що ці вимоги охоплюють усе, чого хочуть користувачі, або що ці припущення покривають кожен сценарій розгортання в реальному світі. Отже, ці розриви неможливо закрити у загальному випадку.
Ці розриви призводять до злоякісного оптимізування винагороди та галюцинацій. Злоякісне оптимізування винагороди виникає, коли агенти покращують задану цільову функцію, експлуатуючи розрив, наприклад, неявно сформульовану вимогу чи припущення щодо реального світу. Галюцинації трапляються, коли агенти ще більше розширюють ці розриви, вводячи вигадані вимоги чи припущення щодо середовища, такі як API, якого не існує. Нещодавно повідомлені інциденти за участю OpenAI та Hugging Face і Claude є проявами цих самих розривів.
Агенти ШІ роблять два розриви ще гіршими
Ці розриви не є новими; вони існували в інженерії програмного забезпечення десятиліттями. Але агенти ШІ значно погіршують ситуацію.
- Гіпероптимізація: Агенти шукають реалізації на порядки швидше за людей, активно оптимізуючи дії під систему оцінювання.
- Відсутність імпліцитних знань: Досвідчені інженери-люди покладаються на імпліцитний контекст (наприклад, розуміння того, що база даних повинна фактично зберігати дані). Агентам часто бракує цього організаційного контексту, і вони легко експлуатують відсутні вимоги.
- Пастка багатозадачності: Додавання більшої кількості агентів-рецензентів не вирішує проблему, якщо кожен агент успадковує ті самі неповні вимоги та припущення щодо середовища.
Людське судження необхідне для звуження розривів
Оскільки розриви лежать поза межами циклу «реалізація–перевірка», їх звуження потребує зовнішнього циклу гарантування та перегляду. Цей цикл перевіряє, чи задовольняє розгорнута поведінка людські наміри. Якщо ні, цикл використовує докази з реального розгортання для перегляду вимог, моделі середовища або системи оцінювання. Після цього цикл «реалізація–перевірка» запускається знову, щоб створити переглянуту реалізацію.
Оскільки програмне забезпечення має служити людським намірам, люди зберігають остаточну владу над інтерпретацією доказів та визначенням прийнятної поведінки. Агенти можуть прискорювати зовнішній цикл, збираючи докази, пропонуючи зміни та приймаючи рутинні рішення в межах повноважень, делегованих людьми.
Таким чином, оскільки вартість реалізації програмного забезпечення знижується, найціннішим ресурсом стає людське судження про те, яка поведінка є прийнятною, та чесна оцінка того, як системи працюють у реальних умовах.
