Як моделі ШІ засвоюють нові навички та поведінку?
Цей процес напрочуд людяний і легкий для розуміння, навіть якщо ви не маєте досвіду в машинному навчанні.
Корисні колеги
Моделі ШІ, які все частіше використовуються через агенти, схожі на корисного колегу. Які риси об'єднують найкращих людей, з якими ви працювали?
Можливо, ви згадали колег, які вміли чудово комунікувати або мали розуміння, коли варто попросити про допомогу, а коли — розібратися самотужки. Є й більш людські якості, як-от приємність у спілкуванні, емпатія та доброта. Але мені особливо подобається працювати з людьми, які вміють братися за неоднозначні проблеми та знаходити способи їх вирішення.
Тож як змусити модель поводитися як той ідеальний колега? Спочатку нам потрібно записати нашу версію «правильної» поведінки. Цей документ називають модельною специфікацією, принципами, конституцією або подібним чином. Він використовується як для внутрішнього узгодження, так і як орієнтир для тестування поведінки моделі (тобто оцінювання) під час навчання.
Як нам ставати кращими у своїй роботі?
Моє спрощення — пробувати складні речі, помилятися, вчитися та вдосконалюватися через повторення.
Якщо ви вводите в курс справ нового члена команди, ви не очікуєте, що він буде продуктивним у перший же день. Йому потрібно навчитися користуватися вашими системами та інструментами, а також зрозуміти, як ваша команда працює разом. Люди, з усіма нашими недосконалостями, досить добре вміють засвоювати нові навички (і пам'ятати їх).
Припустимо, ви хочете стати найкращим баскетболістом у світі. Який підхід обрати для вдосконалення своїх навичок?
- Прочитати все, що коли-небудь було написано про гру в баскетбол. Ігноруємо той факт, що ми обмежені 24 годинами на добу.
- Зіграти 10 000 ігор у баскетбол. Ті самі правила викривлення часу діють. Ви вчитеся методом спроб і помилок, переглядаючи записи ігор, оцінюючи свої рішення та вдосконалюючись на тренуваннях.
Знання та досвід — це дві різні характеристики, і в ідеалі ви хочете максимізувати обидві. Це нагадує мені, як люди кажуть про «книжковий розум» проти «життєвого розуму». Найкращі гравці мають і те, й інше.
Як ми можемо навчатися швидше? З тренером! Ідеальний тренер спостерігатиме за вашою грою, підкаже, що виправити, і постійно розширюватиме ваші поточні межі. Він навчить вас приймати якісні рішення, коли ви залишаєтеся самі, поступово коригуючи вашу «нейронну мережу» в бік кращих рішень.
Як навчаються моделі?
Моделі навчаються не зовсім так, як люди, але людське навчання дає корисну аналогію.
Ці моделі спочатку вчаться передбачати закономірності з величезної бібліотеки чужого досвіду (тобто попереднє навчання). Вони справді можуть прочитати кожну книгу про баскетбол!
Після попереднього навчання ви отримуєте базову модель. Модель може бути дуже «книжково розумною» (наприклад, вона знає все про стародавню історію), але вона недосконала і має деякі дивацтва. З нею не дуже приємно розмовляти, і вона може припускатися помилок.
Потім ви показуєте моделі багато прикладів бажаної поведінки, яку вона має імітувати (тобто контрольоване доналаштування, або SFT). Думайте про це як про вивчення записів ігор великих гравців. Це допомагає просунутися, але не можна стати великим, лише копіюючи чужі рухи.
Вам потрібно спостерігати, як модель виконує реальну роботу, щоб допомогти їй вчитися та вдосконалюватися. Щоб сформувати її поведінку, ви дозволяєте моделі грати в симульовані ігри та винагороджуєте її, коли вона робить добре (тобто навчання з підкріпленням, або RL). Ця винагорода схожа на зворотний зв'язок тренера: ви повідомляєте моделі, чи були прийняті нею рішення хорошими чи поганими, спонукаючи її до покращення з кожною новою спробою.
Нові дослідження також свідчать, що більш узагальнювані якості, як-от правдивість, можна засвоїти під час RL. Якщо навчити модель бути більш чесною, відповідаючи на запитання з однієї галузі, такі цінності, як правдивість, можуть узагальнюватися на відповіді на будь-які запитання.
Оцінювання моделі
Ми вимірюємо, чи вдосконалюються моделі, двома основними способами: практичні тести, де вони можуть перевірити відповіді, та іспити, де вони ніколи не бачили запитань раніше.
Людям було б важко знати, чи покращуються вони в, скажімо, математичному аналізі, без перевірки розуміння. Якщо ви складаєте тест і провалюєте його, ви точно знаєте, де вам потрібно вдосконалитися, але це працює лише тоді, коли сфера, яка тестується (наприклад, математика), має ключ із відповідями.
Однією з головних проблем у навчанні великих моделей ШІ є створення різноманітного набору «тестів». Ці тести можуть бути на будь-що: від математики до програмування. Якщо ви можете створити ключ із відповідями, то моделі можуть багаторазово проходити тест і вчитися вдосконалюватися.
А що з вимірюванням інтелекту в багатьох різних завданнях? Згадайте випускні іспити Advanced Placement (AP), які охоплюють предмети від математичного аналізу до історії. Багато з цих іспитів поєднують питання з множинним вибором, які оцінюються за правильністю, із запитаннями з відкритою відповіддю, які оцінюються за критеріями.
Це схоже на те, як ми оцінюємо моделі за допомогою бенчмарків. Деякі бенчмарки вимірюють об'єктивно перевірені речі (наприклад, чи пройшли тести?), а інші просять окрему модель оцінити результати за допомогою критеріїв (тобто LLM-як-суддя). Ці результати дають вам орієнтир, щоб зрозуміти, чи справді модель навчається та вдосконалюється під час тренування.
Важливо, що бенчмарки призначені для тестування небачених або «прихованих» завдань. Інакше це було б схоже на запам'ятовування всіх відповідей до тесту, а потім прихід і запис їх по пам'яті, що не є справжнім виміром інтелекту.
Одного інтелекту недостатньо
Якщо ви геній, але грубіян і не розумієте соціальних норм, швидше за все, людям ви не подобатиметеся.
Напевно, кожен із нас може згадати когось такого. Бути просто розумним недостатньь! Саме тому узгодження моделей, щоб вони діяли «правильно» (згідно з визначеною нами модельною специфікацією), є надзвичайно важливим.
Уявіть, що у вас є друг, який закінчує кожну розмову якимось популярним ШІ-штампом на кшталт «Чесно? Ось у чому фішка». Ви б дуже швидко втомилися з ним спілкуватися.
Інженери та дослідники, які навчають моделі, проводять багато часу, розмовляючи з новою моделлю до того, як її завершать. Вони документують усі дивацтва та місця, де її можна покращити. Це може бути надмірне використання стандартних фраз на кшталт «Суть:» або жертвування ясністю заради коротшого пункту списку, що призводить до дивної незрозумілої мови з надто складними словами.
Визначивши проблеми, вони можуть працювати над подальшим навчанням моделі та штрафувати погану поведінку, поступово приводячи модель до більш узгодженої поведінки. Крім того, вони можуть A/B тестувати модель у продакшені та вимірювати, чи віддавали користувачі перевагу відповідям нової версії та чи мали вони кращі результати.
Постійне навчання
Ви могли б очікувати, що ці моделі з часом ставатимуть розумнішими.
Але сьогодні це не так! Навчання відбувається лише тоді, коли модель тренується. Ваші розмови не оновлюють інтелект моделі в реальному часі.
Натомість вам потрібно записувати речі, які слід пам'ятати, зазвичай у вигляді правил або навичок. Агенти можуть потім зчитувати ці файли та включати їх у контекст під час запиту до моделі.
Цей наївний підхід до пам'яті через файли напрочуд добре працює, але потрібно зробити ще багато роботи, перш ніж агенти зможуть навчатися та запам'ятовувати навички так само, як це робив би новий колега.
Навчання моделей бути корисними — це глибока тема. Сподіваюся, цей огляд на високому рівні був достатньо цікавим, щоб надихнути вас дізнатися більше. Якщо ви хочете побачити більше подібних пояснень або хочете, щоб я розкрив якусь іншу частину глибше, дайте мені знати!
