카테고리
GQA
-
SmolLM3가 3B급에서 앞선 이유
Hugging Face가 공개한 SmolLM3의 핵심을 정리합니다. 3B 모델이 Llama-3.2-3B와 Qwen2.5-3B를 앞선 이유, 128k 문맥, 384 H100, 24일 학습 수치와 GQA·NoPE의 역할을 함께 봅니다.
카테고리
Hugging Face가 공개한 SmolLM3의 핵심을 정리합니다. 3B 모델이 Llama-3.2-3B와 Qwen2.5-3B를 앞선 이유, 128k 문맥, 384 H100, 24일 학습 수치와 GQA·NoPE의 역할을 함께 봅니다.