DeepSeek, 추론 엔진을 오픈소스로 공개
DeepSeek, 대규모 프로덕션 서비스용 고성능 추론 프레임워크 'DeepInfer' 오픈소스 공개
- DeepSeek이 자사 서비스에 사용하는 추론 엔진 DeepInfer를 Apache 2.0 라이선스로 공개함.
- NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 지원하며, 최적화 커널과 비동기 스케줄링을 통해 고성능 추론을 제공함.
- KV 캐시 시스템 등은 포함되지 않았으나, 대규모 모델 서빙을 위한 핵심 가속 기술을 포함하고 있음.