Software Engineer, LLM Performance & Evaluation
NPU에서 LLM 추론 성능과 모델 정확도를 측정·추적하는 엔지니어 역할입니다. 벤치마크, 평가 파이프라인, 분석 도구를 구축해 여러 팀과 협업합니다.
주요 업무
- 추론 기능별 성능 벤치마크 설계 및 유지관리
- TTFT, 토큰 간 지연, 처리량, 메모리 등 측정
- 지원 모델의 정확도 평가 및 기준 비교
- 자동화된 벤치마크와 평가 파이프라인 구축 운영
- 회귀 조사 및 프로파일링으로 원인 규명
자격 요건
- Python으로 자동화·데이터 파이프라인 구축 경험
- ML 추론 또는 복합 시스템 성능 측정 경험
- 변환기 기반 LLM 추론 이해
- PyTorch·Hugging Face 등으로 모델 정확도 평가 경험
- 실험 설계·데이터 분석 및 결과 전달 능력
기술
이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.
이 공고는 FuriosaAI의 채용 페이지에서 가져왔습니다. 원문으로 바로 연결됩니다.