Source: https://www.startupjobs.kr/jobs/9811-production-engineer-llm-serving

[공고 목록으로](https://www.startupjobs.kr/jobs)

# Production Engineer, LLM Serving

- Seoul

RNGD NPU 위에서 운영되는 대형언어모델(LLM) 서빙 서비스의 신뢰성, 관측성, 성능을 책임지는 역할입니다. 인프라, 런타임, 컴파일러 팀과 협업해 지연, 처리량, 자원 효율성 개선을 진행합니다.

## 주요 업무

- RNGD 기반 LLM 서빙 서비스 운영 및 신뢰성 기준 정의
- 메트릭·로그·트레이스·대시보드·알림 구축과 모니터링
- 프로덕션을 반영한 벤치마크와 부하 테스트 설계 및 실행
- 라우팅·배칭·캐시·네트워크·추론 병목 진단 및 개선
- 배포 자동화, 카나리 롤아웃, 온콜·사건 대응 및 런북 작성

## 자격 요건

- 학사 학위 또는 동등한 실무 경험 보유
- Rust, C++, Python, 또는 Go에 능숙
- Kubernetes 운영 경험과 Linux, 컨테이너 이해
- LLM 서빙 개념과 KV-cache·배칭 이해
- 프로덕션 프로파일링과 텔레메트리 분석 경험

## 기술

- llm-d
- Furiosa-LLM
- Istio
- Kubernetes
- Mooncake
- Rust
- C++
- Python

이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.

이 공고는 FuriosaAI의 채용 페이지에서 가져왔습니다. 원문으로 바로 연결됩니다.

- [FuriosaAI 퓨리오사에이아이(FuriosaAI)는 데이터센터용 고성능 저전력 AI 가속기(NPU)와 관련 하드웨어와 소프트웨어를 설계합니다. 이들 제품은 컴퓨터 비전, 생성형 AI와 대형언어모델 등 고부하 AI 워크로드를 처리하려는 기업과 클라우드 사업자를 대상으로 합니다. 기업 페이지 보기](https://www.startupjobs.kr/companies/furiosaai)

- **근무 형태**: 하이브리드

- **언어**: 한국어, 영어

- **근무지**: Seoul

- **등록**: 2026. 9. 18.

## 이 회사가 귀사인가요?

무료로 소유권을 신청하면 로고와 소개를 추가하고 공고 성과를 확인할 수 있습니다. 삭제를 요청하실 수도 있습니다.

[무료로 소유권 신청하기](https://www.startupjobs.kr/claim-your-company) [회사 정보 삭제하기](https://www.startupjobs.kr/remove-your-company)

[기업 웹사이트에서 지원하기](https://www.startupjobs.kr/out/9811)
