Senior Software Engineer, Inference Engine (Platform Software)

대규모 및 멀티모달 언어 모델용 고성능 추론 엔진을 설계·구현하는 역할입니다. 컴파일러 및 하드웨어 팀과 협업해 FuriosaAI NPU에 맞춘 추론 성능을 최적화합니다.

주요 업무

• 대규모 및 멀티모달 LLM용 추론 엔진 설계 및 구현
• 추론 최적화 기법 설계 및 적용(예 speculative decoding 등)
• 분산·확장형 추론 기능 개발 및 KV-cache 저장소 설계
• 컴파일러 팀과 협업해 NPU 실행 공동 최적화
• 최신 추론 기술 연구·평가·통합

자격 요건

• 학사 학위 또는 동등 실무 경험 포함 관련 경력 최소 3년
• Rust 또는 C++ 프로그래밍 능력
• 딥러닝, LLM 또는 생성형 AI에 대한 지식 및 관심
• 문제 해결 및 데이터 분석 능력
• 우수한 의사소통 및 협업 능력

기술

• Rust
• C++
• CUDA
• Triton
• LLM serving frameworks
• speculative decoding
• KV-cache management
• tensor/model parallelism

이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.