Production Engineer, LLM Serving

RNGD NPU 기반 LLM 서빙의 안정성, 성능, 관찰성 개선을 담당하는 역할입니다. 인프라, 런타임, 컴파일러 팀과 협업해 서빙 서비스 계층을 운영하고 최적화합니다.

주요 업무

• RNGD 기반 LLM 서빙 서비스 운영 및 신뢰성 기준 정의
• 지표·로그·트레이스·대시보드·알림 구축 및 모니터링
• 프로덕션에 맞는 벤치마크·부하 테스트 설계 및 실행
• 라우팅·배칭·캐시·네트워킹 병목 진단 및 성능 개선
• 배포 토폴로지·오토스케일·헬스체크·롤아웃 자동화 개선

자격 요건

• 컴퓨터공학 학사 이상 또는 동등 경험
• 3+년 프로덕션 서비스 개발 및 운영 경험
• Rust, C++, Python 또는 Go 프로그래밍 능력
• Kubernetes 운영 및 리눅스·컨테이너·네트워크 이해
• LLM 서빙 개념 및 성능 영향 이해

기술

• llm-d
• Furiosa-LLM
• Istio
• Kubernetes
• Mooncake
• Rust
• C++
• Python
• Go
• Prometheus
• Grafana
• OpenTelemetry

이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.