CTC: 44-58 LPA
Ich habe einen Ingenieur bei @Cloudflare kalt angemailt. Wir haben ein wenig über die Rolle und meinen Hintergrund gesprochen, und ein paar Tage später bekam ich eine Interview-Einladung mit einem Link zur Terminauswahl.
Die erste Runde fand mit einem Lead Staff Engineer mit 10+ Jahren Erfahrung statt und drehte sich um das AI Workers Team.
Cloudflares KI-Stack ist ziemlich interessant: Sie betreiben Modelle auf serverlosen GPUs über ihr globales Netzwerk, wobei die Inferenz näher an den Nutzern stattfindet, und bewegen sich dabei zunehmend in Richtung größerer und Frontier-Modelle.
Ich war mit dieser Seite von Cloudflare vorher nicht sehr vertraut, also haben wir etwas Zeit damit verbracht zu besprechen, was das Team aufbaut und wie sie schnelle, effiziente KI-Inferenz in großem Maßstab angehen.
Dann kamen wir zu meiner eigenen Erfahrung.
Während meines Praktikums habe ich an Model Deployment, Rooflining und Inferenzoptimierung von Encoder-basierten Modellen gearbeitet, hauptsächlich Rerankern und Embedding-Modellen, die intern auf GPUs liefen.
Das waren reine Encoder-Modelle, meist Stapel von MLPs, daher war der übliche LLM-Inferenz-Stack rund um Attention, KV-Cache, vLLM oder SGLang in diesen Fällen nicht wirklich relevant.
Wir sind ziemlich ins Detail gegangen:
wie ich an Rooflining und Profiling herangehe die Auswahl von Batch-Größen und die Messung ihrer Auswirkungen die Skalierung von Inferenz-Workloads das Finden von Engpässen in der Inferenz-Pipeline die Optimierung von p50- und p99-Latenz TTFT und Gesamtantwortlatenz
Außerdem haben wir besprochen, wie ich die weitere Optimierung angehen würde, sobald die offensichtlichen Engpässe beseitigt wären.
Eine Frage, die mir besonders gut gefallen hat:
Was bedeutet Frontier-KI für dich?
Die Runde lief gut und wir haben sogar über die nächsten Runden gesprochen, die praktische Arbeit mit PyTorch beinhaltet hätten.
Am Ende habe ich es nicht geschafft. Ich glaube, sie suchten jemanden mit mehr praktischer LLM-Inferenz-Erfahrung. Ich hatte mich intensiv mit LLM-Inferenz und -Systemen beschäftigt, aber damals hatte ich nicht viel relevante Produktionserfahrung in diesem Bereich. Der Großteil meiner praktischen Arbeit drehte sich um verteiltes Training, ML-Systeme und Infrastruktur.
Trotzdem eine wirklich gute Interview-Erfahrung. Das Gespräch hat mir ein viel besseres Verständnis für die Probleme vermittelt, die mit dem Serving von KI-Modellen in Cloudflares Größenordnung verbunden sind.
