Minions - 유휴 Mac의 GPU를 모아 머신러닝 추론 작업을 분산하는 Apple의 시스템
Apple이 유휴 Mac의 GPU 자원을 활용해 머신러닝 추론 작업을 분산 처리하는 내부 시스템 'Minions'를 공개함.
- 중앙 GPU 인프라의 비용과 대기 시간을 줄이기 위해, 팀 내 유휴 Apple Silicon Mac을 활용한 분산 추론 시스템을 구축함.
- 모델 병렬화가 아닌 작업 단위의 분산 실행 방식을 채택하여, 임베딩 생성 및 Ollama 기반 LLM 추론 작업을 여러 기기에 할당함.
- PostgreSQL로 작업 상태를 관리하고 AWS S3를 데이터 저장소로 활용하며, 장애 발생 시 작업을 재할당하는 복구 로직을 포함함.