Питання 1. Розподіл відповідальності між моделлю та кодом
Виберіть одну функцію на основі ШІ, яку ви нещодавно впровадили, та поясніть, які частини оброблялися моделлю, а які гарантувалися стандартним кодом.
Окрім вдосконалення підказок, що ви зробили для підвищення якості та надійності?
Питання 2. Робота з знаннями, що постійно оновлюються
Якби ви проєктували систему для відповідей на запитання на основі внутрішніх документів, що часто оновлюються, з цитуванням джерел, як би ви вирішили наступні елементи?
- Розбиття документів на фрагменти
- Пошук (Retrieval)
- Переранжування результатів пошуку
- Контроль доступу
- Відображення оновлень та видалення документів
Питання 3. Методи виявлення погіршення якості через зміни
Коли ви змінюєте підказки, моделі, методи пошуку або визначення інструментів, як ви забезпечуєте, щоб існуюча функціональність не зламалася?
Що ви зберігаєте як тестові сценарії, і які метрики використовуєте для прийняття рішення про випуск?
Питання 4. Наскільки ви довіряєте оцінці на основі ШІ?
Коли ви використовуєте ШІ як оцінювача, які види упереджень або помилкових суджень виникають?
Як ви поєднуєте автоматизовану оцінку ШІ з оцінкою людиною?
Питання 5. Як безпечно виконувати операції з побічними ефектами
Припустимо, що ШІ викликає інструменти, які змінюють зовнішні стани, наприклад, переказ грошей, надсилання електронних листів або створення заявок.
Розробіть потік виконання, який включає перевірку вхідних даних, перевірку дозволів, схвалення користувача, повторні спроби та запобігання дублюванню виконання.
Питання 6. Як зупинити ШІ, що вийшов з-під контролю
ШІ увійшов у цикл повторних пошуків або викликів інструментів і не може завершити обробку.
Як ви виявляєте цикл, і за яких умов ви його зупиняєте?
Як ви встановлюєте ліміти на час, кількість виконань, токени, вартість та використання інструментів?
Питання 7. Безперервність обслуговування під час збою моделі
Високопродуктивна модель стає недоступною через затримки, обмеження швидкості або збої.
За яких умов ви перемикаєтеся на іншу модель?
Якщо альтернативна модель призводить до нижчої якості або функціональності, як ви змінюєте користувацький досвід?
Питання 8. Як відстежити окремий збій
Користувач повідомляє, що «відповідь була повільною, а вміст неправильним».
Як ви відстежуєте саме цей екземпляр обробки?
Питання 9. Аналіз збільшення витрат
Витрати на використання ШІ зросли порівняно з попереднім місяцем.
Як ви визначаєте, яка саме функція, клієнт, робочий процес або етап обробки спричинив зростання, а не просто яка модель?
Які критерії ви використовуєте, щоб визначити, чи варті ці витрати бізнес-цінності?
Питання 10. Що було вивчено з виробничих збоїв?
Опишіть найнебезпечніший збій, який ви пережили під час експлуатації функції на основі ШІ.
- Що сталося?
- Як це було виявлено?
- Як ви зупинили вплив?
- Як ви визначили причину?
- Що ви змінили, щоб запобігти повторенню?
