CTC: 44-58 LPA
Cloudflare'da bir mühendise soğuk e-posta attım. Rol ve geçmişim hakkında biraz konuştuk ve birkaç gün sonra slot seçmem için bağlantı içeren bir mülakat daveti aldım.
İlk tur, 10+ yıl deneyime sahip bir Lead Staff Engineer ileydi ve AI Workers ekibine odaklıydı.
Cloudflare'ın AI stack'i oldukça ilginç: küresel ağları üzerinde serverless GPU'larda modeller çalıştırıyor, inference'ı kullanıcılara daha yakın hale getiriyor ve giderek daha büyük, frontier ölçekli modellere geçiyorlar.
Cloudflare'ın bu tarafını önceden pek bilmiyordum, bu yüzden ekibin neler üzerinde çalıştığını ve büyük ölçekte hızlı, verimli AI inference'a nasıl yaklaştıklarını tartışarak biraz zaman geçirdik.
Sonra kendi deneyimime geçtik.
Stajım sırasında, ağırlıklı olarak reranker ve embedding modelleri olan encoder tabanlı modellerin model dağıtımı, rooflining ve inference optimizasyonu üzerinde çalıştım; bu modeller şirket içinde GPU'larda çalışıyordu.
Bunlar, çoğunlukla MLP yığınlarından oluşan encoder-only modellerdi, bu yüzden olağan LLM attention etrafındaki inference stack'i, KV cache, vLLM veya SGLang bu durumlarda pek geçerli değildi.
Oldukça derinlemesine şu konulara girdik:
rooflining ve profiling'e nasıl yaklaştığım batch boyutlarını seçme ve etkilerini ölçme inference iş yüklerini ölçekleme inference pipeline'ındaki darboğazları bulma p50 ve p99 gecikmesini optimize etme TTFT ve genel yanıt gecikmesi
Ayrıca, bariz darboğazlar giderildikten sonra daha ileri optimizasyona nasıl yaklaşacağımı da tartıştık.
Özellikle hoşuma giden bir soru:
Sana göre frontier AI ne anlama geliyor?
Tur iyi geçti ve hatta sonraki turları bile konuştuk; bu turlar uygulamalı PyTorch içerecekti.
Sonunda ilerleyemedim. Sanırım daha fazla uygulamalı LLM inference deneyimine sahip birini arıyorlardı. LLM inference ve sistemleri aktif olarak öğreniyordum ama o sırada bu alanda çok fazla ilgili üretim deneyimim yoktu. Uygulamalı çalışmalarımın çoğu distributed training, ML sistemleri ve altyapı etrafındaydı.
Yine de gerçekten iyi bir mülakat deneyimiydi. Bu tartışma, Cloudflare ölçeğinde AI modellerini sunmanın beraberinde getirdiği sorunları çok daha iyi anlamamı sağladı.
