CTC: 44-58 LPA
@Cloudflare のエンジニアにコールドメールを送ってみた。ポジションと自分の経歴について少しやり取りしたところ、数日後に面接の招待が届き、日程を選ぶためのリンクが付いていた。
最初のラウンドの相手は 10 年以上の経験を持つ Lead Staff Engineer で、テーマは AI Workers チームだった。
Cloudflare の AI スタックはかなり面白い。サーバーレスの GPU 上でモデルをグローバルネットワーク全体に展開し、ユーザーの近くで推論を行う。さらに、より大規模でフロンティア級のモデルへと徐々に移行している。
このあたりの Cloudflare の取り組みには事前にあまり詳しくなかったので、チームが何を構築してきたのか、そして高速で効率的な AI 推論を大規模にどう実現しようとしているのかについて、時間をかけて話した。
それから、自分の経験の話に移った。
インターン中は、エンコーダーベースのモデル（主にリランカーと埋め込みモデル）のデプロイ、ルーフライン分析、推論の最適化に取り組んでいた。これらは社内の GPU 上で動かしていた。
エンコーダーのみのモデルで、ほとんどが MLP の積み重ねだったため、通常の LLM の attention を中心とした推論スタック や KV cache、vLLM、SGLang は、このケースではあまり関係がなかった。
かなり深く掘り下げたのは、以下の点だ。
ルーフライン分析とプロファイリングへのアプローチ方法 バッチサイズの選択とその影響の測定 推論ワークロードのスケーリング 推論パイプライン全体のボトルネックの特定 p50 / p99 レイテンシの最適化 TTFT と全体的な応答レイテンシ
明らかなボトルネックを取り除いた後に、さらに最適化を進めるとしたらどうアプローチするかについても話した。
特に気に入った質問がひとつあった。
あなたにとってフロンティア AI とは何か？
ラウンドはうまくいった そして、なんと次のラウンドの話まで進んだ。そこでは実際に PyTorch を触る予定だった。
最終的には通過できなかった。向こうは、より実践的な LLM 推論の経験を持つ人を求めていたのだと思う。当時、LLM 推論とシステムについては積極的に勉強していたけれど、その分野で関連する本番運用の経験はほとんどなかった。実際に手を動かしてきた仕事は、主に分散トレーニング、ML システム、インフラ周りだった。
それでも、本当にいい面接体験だった。この議論を通じて、Cloudflare のスケールで AI モデルをサーブする際に伴う問題について、ずっと深く理解できるようになった。
