CTC: 44-58 LPA
Tôi đã gửi một cold email tới một kỹ sư tại @Cloudflare, chúng tôi trao đổi một chút về vị trí và kinh nghiệm của tôi, và vài ngày sau tôi nhận được lời mời phỏng vấn kèm link để chọn lịch.
Vòng đầu tiên là với một Lead Staff Engineer có hơn 10 năm kinh nghiệm, tập trung vào team AI Workers.
AI stack của Cloudflare khá thú vị: họ chạy model trên GPU serverless trải khắp mạng lưới toàn cầu, đưa inference đến gần người dùng hơn, đồng thời ngày càng hướng tới các model lớn hơn và đạt quy mô frontier.
Trước đó tôi không quen thuộc lắm với mảng này của Cloudflare, nên chúng tôi đã dành thời gian trao đổi về những gì đội ngũ đang xây dựng và cách họ tiếp cận bài toán AI inference nhanh và hiệu quả ở quy mô lớn.
Sau đó, chúng tôi chuyển sang kinh nghiệm của riêng tôi.
Trong kỳ thực tập, tôi làm về triển khai model, rooflining và tối ưu hóa inference cho các model dựa trên encoder, chủ yếu là reranker và embedding model, chạy nội bộ trên GPU.
Đây là các model chỉ dùng encoder, chủ yếu là các MLP xếp chồng, nên các thành phần thường thấy của LLM như inference stack xoay quanh attention, KV cache, vLLM hay SGLang thực sự không mấy liên quan trong các trường hợp này.
Chúng tôi đã đi khá sâu vào:
cách tôi tiếp cận rooflining và profiling chọn batch size và đo lường tác động của chúng mở rộng quy mô workload inference tìm điểm nghẽn trong pipeline inference tối ưu độ trễ p50 và p99 TTFT và tổng độ trễ phản hồi
Chúng tôi cũng thảo luận về cách tôi sẽ tiếp tục tối ưu hóa sau khi đã loại bỏ những điểm nghẽn rõ ràng.
Một câu hỏi tôi đặc biệt thích:
Frontier AI có ý nghĩa gì với bạn?
Vòng phỏng vấn diễn ra khá tốt và chúng tôi thậm chí còn trao đổi về các vòng tiếp theo, vốn sẽ bao gồm việc thực hành PyTorch trực tiếp.
Cuối cùng thì tôi không vượt qua được. Tôi nghĩ họ đang tìm kiếm người có nhiều kinh nghiệm thực chiến hơn về LLM inference. Tôi đã chủ động tìm hiểu về LLM inference và systems, nhưng thời điểm đó tôi chưa có nhiều kinh nghiệm production liên quan trong lĩnh vực này. Phần lớn công việc thực tế của tôi xoay quanh distributed training, ML systems và infra.
Dù vậy, đây vẫn là một trải nghiệm phỏng vấn rất tốt. Cuộc trao đổi giúp tôi hiểu rõ hơn nhiều về những bài toán liên quan đến việc phục vụ các model AI ở quy mô của Cloudflare.
