Вопрос 1. Разделение ответственности между моделью и кодом
Выберите одну недавно реализованную функцию на основе ИИ и объясните, какие части обрабатывались моделью, а какие гарантировались стандартным кодом.
Помимо улучшения промптов, что вы реализовали для повышения качества и надежности?
Вопрос 2. Обработка постоянно обновляющихся знаний
Если бы вы проектировали систему для ответов на вопросы на основе часто обновляемых внутренних документов с указанием источников, как бы вы обработали следующие элементы?
- Разбиение документов на фрагменты
- Поиск (Retrieval)
- Переранжирование результатов поиска
- Контроль доступа
- Отражение обновлений и удалений документов
Вопрос 3. Методы обнаружения ухудшения качества из-за изменений
Когда вы меняете промпты, модели, методы поиска или определения инструментов, как вы гарантируете, что существующая функциональность не нарушена?
Что вы сохраняете в качестве тестовых примеров, и какие метрики используете для принятия решения о выпуске?
Вопрос 4. Насколько вы доверяете оценке на основе ИИ?
При использовании ИИ в качестве оценщика, какие виды предвзятости или ошибок суждения возникают?
Как вы сочетаете автоматизированную оценку ИИ с человеческой оценкой?
Вопрос 5. Как безопасно выполнять операции с побочными эффектами
Предположим, ИИ вызывает инструменты, которые изменяют внешнее состояние, например, перевод денег, отправку писем или создание тикетов.
Спроектируйте поток выполнения, включающий проверку входных данных, проверку разрешений, одобрение пользователя, повторные попытки и предотвращение дублирующего выполнения.
Вопрос 6. Как остановить вышедший из-под контроля ИИ
ИИ вошел в цикл повторяющихся поисков или вызовов инструментов и не завершает обработку.
Как вы обнаруживаете цикл, и при каких условиях вы его останавливаете?
Как вы устанавливаете бюджеты на время, количество выполнений, токены, стоимость и использование инструментов?
Вопрос 7. Непрерывность обслуживания при сбое модели
Высокопроизводительная модель становится недоступной из-за задержек, ограничений скорости или сбоев.
При каких условиях вы переключаетесь на другую модель?
Если альтернативная модель приводит к снижению качества или функциональности, как вы изменяете пользовательский опыт?
Вопрос 8. Как отследить единичный сбой
Пользователь сообщает, что «ответ был медленным, а содержимое — неверным».
Как вы отслеживаете этот конкретный экземпляр обработки?
Вопрос 9. Анализ увеличения затрат
Плата за использование ИИ увеличилась по сравнению с предыдущим месяцем.
Как вы определяете, какая конкретная функция, клиент, рабочий процесс или этап обработки вызвали увеличение, а не просто какая модель?
Какие критерии вы используете, чтобы оценить, оправдывает ли эта стоимость бизнес-ценность?
Вопрос 10. Что было изучено на основе производственных сбоев?
Опишите самый опасный сбой, с которым вы столкнулись при эксплуатации функции на основе ИИ.
- Что произошло?
- Как это было обнаружено?
- Как вы остановили воздействие?
- Как вы определили причину?
- Что вы изменили для предотвращения повторения?
