F1. Trennung der Verantwortlichkeiten zwischen Modell und Code
Wählen Sie eine KI-Funktion aus, die Sie kürzlich implementiert haben, und erklären Sie, welche Teile vom Modell und welche durch Standardcode sichergestellt wurden.
Was haben Sie neben der Verbesserung von Prompts implementiert, um die Qualität und Zuverlässigkeit zu steigern?
F2. Umgang mit sich ständig aktualisierendem Wissen
Wenn Sie ein System entwickeln würden, das Fragen basierend auf häufig aktualisierten internen Dokumenten mit Quellenangaben beantwortet, wie würden Sie die folgenden Elemente handhaben?
- Dokumenten-Chunking
- Retrieval
- Neubewertung von Suchergebnissen
- Zugriffskontrolle
- Berücksichtigung von Aktualisierungen und Löschungen von Dokumenten
F3. Methoden zur Erkennung von Qualitätsverschlechterungen durch Änderungen
Wenn Sie Prompts, Modelle, Suchmethoden oder Tool-Definitionen ändern, wie stellen Sie sicher, dass die bestehende Funktionalität nicht beeinträchtigt wurde?
Was behalten Sie als Testfälle und welche Metriken verwenden Sie, um über eine Veröffentlichung zu entscheiden?
F4. Inwieweit vertrauen Sie KI-basierter Bewertung?
Welche Arten von Verzerrungen oder Fehlurteilen treten auf, wenn KI als Bewerter eingesetzt wird?
Wie kombinieren Sie automatisierte KI-Bewertung mit menschlicher Bewertung?
F5. Sichere Ausführung von Operationen mit Nebenwirkungen
Angenommen, die KI ruft Tools auf, die externe Zustände ändern, wie z. B. Geldüberweisungen, E-Mail-Versand oder das Erstellen von Tickets.
Entwerfen Sie einen Ausführungsablauf, der Eingabevalidierung, Berechtigungsprüfungen, Benutzerfreigabe, Wiederholungsversuche und die Verhinderung doppelter Ausführung umfasst.
F6. Stoppen einer außer Kontrolle geratenen KI
Die KI befindet sich in einer Schleife wiederholter Suchvorgänge oder Tool-Aufrufe und schließt die Verarbeitung nicht ab.
Wie erkennen Sie die Schleife und unter welchen Bedingungen stoppen Sie sie?
Wie legen Sie Budgets für Zeit, Ausführungsanzahl, Tokens, Kosten und Tool-Nutzung fest?
F7. Dienstkontinuität bei Modellausfällen
Ein leistungsstarkes Modell wird aufgrund von Latenz, Ratenbegrenzungen oder Ausfällen nicht verfügbar.
Unter welchen Bedingungen wechseln Sie zu einem anderen Modell?
Wenn das alternative Modell zu geringerer Qualität oder Funktionalität führt, wie passen Sie die Benutzererfahrung an?
F8. Rückverfolgung eines einzelnen Fehlers
Ein Benutzer meldet, dass "die Antwort langsam und der Inhalt falsch war".
Wie verfolgen Sie diese spezifische Verarbeitungsinstanz zurück?
F9. Analyse gestiegener Kosten
Die KI-Nutzungsgebühren sind gegenüber dem Vormonat gestiegen.
Wie identifizieren Sie, welche spezifische Funktion, welcher Kunde, welcher Workflow oder welche Verarbeitungsstufe den Anstieg verursacht hat, und nicht nur welches Modell?
Welche Kriterien verwenden Sie, um zu beurteilen, ob diese Kosten den geschäftlichen Nutzen wert sind?
F10. Was wurde aus Produktionsausfällen gelernt?
Beschreiben Sie den gefährlichsten Ausfall, den Sie bei einer von Ihnen betriebenen KI-Funktion erlebt haben.
- Was ist passiert?
- Wie wurde es entdeckt?
- Wie haben Sie die Auswirkungen gestoppt?
- Wie haben Sie die Ursache identifiziert?
- Was haben Sie geändert, um ein erneutes Auftreten zu verhindern?
