Qwen 3.8 Flash Next(125B)를 소비자용 하드웨어(RTX 4090)에서 초당 100토큰으로 실행하기
Strata를 활용해 소비자용 GPU(RTX 4090 등)에서 Qwen 3.8 Flash Next 모델을 초당 100토큰 이상의 속도로 로컬 실행.
- GPU, CPU, 시스템 메모리를 분산 활용하는 구조로, 대규모 모델을 일반 PC에서도 고성능으로 구동함.
- 작은 모델이 예측하고 큰 모델이 검증하는 방식을 통해 기존 대비 1.6~1.8배 빠른 추론 속도를 달성함.
- OpenAI 및 Anthropic 호환 API를 제공하여 기존 코딩 에이전트(Cursor, Claude Code 등)와 즉시 연동 가능함.