Software Engineer, LLM Performance & Evaluation

NPU에서 LLM 추론 성능과 모델 정확도를 측정·추적하는 소프트웨어 엔지니어 역할입니다. 벤치마크, 평가 파이프라인, 분석 도구를 개발해 여러 팀과 협업합니다

주요 업무

• 추론 기능 영향 분리하는 벤치마크 설계 및 유지
• TTFT, 토큰별·종단 지연, 처리량, 메모리, 활용도 측정
• 모델별 정확도 평가와 NPU 대조 검증 수행
• 벤치마크·정확도 자동화와 버전 관리 구현
• 회귀 조사 및 성능·정확도 트레이드오프 문서화

자격 요건

• 강한 Python 프로그래밍 능력
• ML 추론 또는 복잡한 시스템 성능 측정 경험
• 트랜스포머 기반 LLM 추론 이해
• PyTorch·Hugging Face 등으로 모델 정확도 평가 경험
• 실험 설계와 데이터 분석 능력

기술

• Python
• PyTorch
• Hugging Face Transformers
• vLLM
• TensorRT-LLM
• lm-evaluation-harness
• Linux
• CI / dashboards

이 요약은 StartupJobs가 기업의 채용 공고를 바탕으로 작성했습니다. 전체 공고는 기업 웹사이트에 있습니다.