카테고리
Nemotron 3.5 Lightning
-
66GB를 22GB로 줄이고도 품질을 지킨 비결: 압축이 아니라 되돌리기다
모델을 작게 만든다고 하면 대부분 “숫자를 4비트로 줄였다” 정도로 이해하고 넘어간다. 그런데 NVIDIA가 Nemotron 3.5 Lightning을 66GB에서 22GB로, 즉 3분의 1로 줄이면서 공개한 과정을 뜯어보면 진짜 어려운 대목은 압축이 아니었다…
카테고리
모델을 작게 만든다고 하면 대부분 “숫자를 4비트로 줄였다” 정도로 이해하고 넘어간다. 그런데 NVIDIA가 Nemotron 3.5 Lightning을 66GB에서 22GB로, 즉 3분의 1로 줄이면서 공개한 과정을 뜯어보면 진짜 어려운 대목은 압축이 아니었다…