Questions d'entretien sur l'apprentissage par renforcement 2026

Après avoir vu plusieurs personnes recevoir des offres de doctorat puis décrocher immédiatement des postes très bien rémunérés dans l'industrie lors du recrutement de printemps, je me suis demandé si entrer directement dans l'industrie ne serait pas finalement la meilleure option.

J'ai donc passé en revue pratiquement toutes les expériences d'entretien liées au RL que j'ai pu trouver sur Zhihu, je les ai combinées avec des discussions récentes et mes propres observations, et j'ai distillé le tout en 35 questions parmi les plus intéressantes.

Considérez cela comme un benchmark d'entretien RL.

Version CN sur Zhihu : https://zhuanlan.zhihu.com/p/2046740446353811230

Quelques notes :

• La liste ne sépare pas strictement le RL des LLM du RL agentique. Certaines questions ont des réponses très différentes selon le contexte.

• Presque chaque question peut être approfondie bien davantage. Aucune réponse de référence n'est fournie. Si vous utilisez un LLM, continuez à poser des questions de suivi et effectuez des recherches approfondies.

• Le recrutement moderne en RL exige de plus en plus une compréhension full-stack. Si vous êtes chercheur en algorithmes, on vous posera quand même des questions sur l'infrastructure. L'inverse est également vrai.

• Les questions liées aux données ne sont pas incluses. Elles sont presque impossibles à mémoriser et dépendent fortement de votre expérience réelle.

• Mémoriser les questions d'entretien ne suffit pas. La compréhension profonde est bien plus importante.

Algorithme

1. Pourquoi utiliser Actor-Critic plutôt qu'une approche purement Critic ?
2. Quelle est la relation entre la divergence KL, l'entropie croisée et le MLE ?
3. Comment les récompenses doivent-elles être conçues dans différents scénarios de RL ?
4. Comment l'échantillonnage par importance, l'échantillonnage par rejet et les autres méthodes de Monte Carlo s'intègrent-ils dans le RL ?
5. Comment l'avantage est-il calculé dans PPO et GRPO ? Pourquoi soustraire une baseline ? La normalisation par l'écart type est-elle vraiment nécessaire ?
6. Comment l'exploration est-elle réalisée différemment dans l'entraînement RL et le scaling au moment du test ?
7. Comment fonctionne le clipping dans PPO ? Pourquoi prendre l'objectif minimum ? Que se passe-t-il sans clipping ? En quoi CISPO diffère-t-il ?
8. Pourquoi GRPO inclut-il une pénalité KL ? Comment la KL est-elle calculée ? Pourquoi des méthodes comme DAPO et GSPO la suppriment-elles ?
9. Pendant l'entraînement d'un LLM, que se passe-t-il si la perte est accidentellement réduite (All Reduced) plusieurs fois ?
10. Quelle est la fonction de récompense dans DPO ? Le reward hacking peut-il se produire ? Comment l'atténuer ?
11. Quelles méthodes traitent le décalage entraînement-inférence dans les modèles MoE, et comment fonctionnent-elles ?
12. Comment choisir la taille du groupe, le taux d'apprentissage, les époques PPO et la longueur de génération pendant l'entraînement RL ?
13. Par rapport à GRPO, comment Dr.GRPO, DAPO, GSPO, CISPO, SAPO, DPPO, MaxRL et SimKO améliorent-ils le processus d'entraînement ? Quelles sont leurs limites ?
14. Comment TRPO, DPPO et AReaL imposent-ils des contraintes de région de confiance sur les objectifs RL ?
15. Le RL peut-il fondamentalement élargir la frontière des capacités des LLM ?
16. Sur la base de travaux tels que ProRL, comment devrions-nous envisager le scaling des limites de l'entraînement RL ?
17. Quelles améliorations OPD apporte-t-il par rapport au RL traditionnel et au SFT ? Quelles sont ses applications ?
18. À quel stade de l'entraînement la capacité de raisonnement émerge-t-elle dans les LLM ?
19. De DeepSeek R1 à V3.2 et aux futurs systèmes V4, quelles améliorations liées au RL ont été introduites ? En quoi le RL est-il différent dans les modèles MoE ?

Infrastructure

1. En ignorant le déchargement CPU, combien de copies du modèle existent en mémoire pendant l'entraînement GRPO ? Combien de mémoire diverses optimisations peuvent-elles économiser ?
2. Inférence distribuée : optimisation du transfert du cache KV et stratégies de communication multi-GPU.
3. INT8 contre FP8. Quels sont les compromis ? Quelles précisions sont préférées pour l'entraînement et l'inférence ?
4. Quel est le problème de la longue traîne dans les rollouts RL, et comment peut-il être résolu ?
5. Quels problèmes le batching continu introduit-il dans l'entraînement RL ? En quoi vLLM et SGLang diffèrent-ils ?
6. Comment mesurez-vous l'utilisation dans vLLM et SGLang ? Comment évaluez-vous l'utilisation du cache KV pendant l'entraînement ?
7. Comment la rétropropagation est-elle implémentée dans l'entraînement RL multi-nœuds à grande échelle ?
8. Quels frameworks RL asynchrones existent, et quels goulots d'étranglement de synchronisation résolvent-ils ?
9. Dans AReaL ou d'autres frameworks de rollout partiel, les caches KV des politiques précédentes sont-ils conservés ?
10. Comment le parallélisme d'experts affecte-t-il le débit des MoE ?
11. Dans l'entraînement à contexte long, comment concevoir le chevauchement calcul-communication ? En quoi Megatron et FSDP diffèrent-ils dans leurs stratégies de parallélisme ?
12. Comment activer l'exécution déterministe ? Qu'est-ce que l'invariance par lot ? Qu'est-ce qui la cause ? L'ajout atomique est-il impliqué ? L'ajout atomique peut-il résoudre le problème ?
13. En quoi AReaL et slime diffèrent-ils dans leur compréhension du goulot d'étranglement du rollout RL ?
14. Comment devrions-nous considérer le problème de l'obsolescence dans l'entraînement RL totalement asynchrone ? Quelles sont les valeurs typiques en pratique ?
15. Comment les données circulent-elles dans slime ? Comment est-il intégré à Megatron ? Comment la perte est-elle calculée ?
16. Si vous deviez choisir parmi VeRL, TRL, Unsloth, AReaL et slime, lequel utiliseriez-vous et pourquoi ?

Bonne chance.

Et rappelez-vous : la préparation aux entretiens aide, mais la compréhension authentique va bien plus loin que les réponses mémorisées.