Production Engineer, LLM Serving
RNGD NPU 위에서 운영되는 대형언어모델(LLM) 서빙 서비스의 신뢰성, 관측성, 성능을 책임지는 역할입니다. 인프라, 런타임, 컴파일러 팀과 협업해 지연, 처리량, 자원 효율성 개선을 진행합니다.
주요 업무
- RNGD 기반 LLM 서빙 서비스 운영 및 신뢰성 기준 정의
- 메트릭·로그·트레이스·대시보드·알림 구축과 모니터링
- 프로덕션을 반영한 벤치마크와 부하 테스트 설계 및 실행
- 라우팅·배칭·캐시·네트워크·추론 병목 진단 및 개선
- 배포 자동화, 카나리 롤아웃, 온콜·사건 대응 및 런북 작성
자격 요건
- 학사 학위 또는 동등한 실무 경험 보유
- Rust, C++, Python, 또는 Go에 능숙
- Kubernetes 운영 경험과 Linux, 컨테이너 이해
- LLM 서빙 개념과 KV-cache·배칭 이해
- 프로덕션 프로파일링과 텔레메트리 분석 경험
기술
이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.
이 공고는 FuriosaAI의 채용 페이지에서 가져왔습니다. 원문으로 바로 연결됩니다.