공고 목록으로

Production Engineer, LLM Serving

  • Seoul

RNGD NPU 위에서 운영되는 대형언어모델(LLM) 서빙 서비스의 신뢰성, 관측성, 성능을 책임지는 역할입니다. 인프라, 런타임, 컴파일러 팀과 협업해 지연, 처리량, 자원 효율성 개선을 진행합니다.

주요 업무

  • RNGD 기반 LLM 서빙 서비스 운영 및 신뢰성 기준 정의
  • 메트릭·로그·트레이스·대시보드·알림 구축과 모니터링
  • 프로덕션을 반영한 벤치마크와 부하 테스트 설계 및 실행
  • 라우팅·배칭·캐시·네트워크·추론 병목 진단 및 개선
  • 배포 자동화, 카나리 롤아웃, 온콜·사건 대응 및 런북 작성

자격 요건

  • 학사 학위 또는 동등한 실무 경험 보유
  • Rust, C++, Python, 또는 Go에 능숙
  • Kubernetes 운영 경험과 Linux, 컨테이너 이해
  • LLM 서빙 개념과 KV-cache·배칭 이해
  • 프로덕션 프로파일링과 텔레메트리 분석 경험

기술

  • llm-d
  • Furiosa-LLM
  • Istio
  • Kubernetes
  • Mooncake
  • Rust
  • C++
  • Python

이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.

이 공고는 FuriosaAI의 채용 페이지에서 가져왔습니다. 원문으로 바로 연결됩니다.

기업 웹사이트에서 지원하기

비슷한 채용 공고를 이메일로 받기

같은 분야, 같은 도시의 새 채용 공고를 주 1회 보내드립니다. 그 외에는 보내지 않습니다.