QAD

모델을 작게 만든다고 하면 대부분 “숫자를 4비트로 줄였다” 정도로 이해하고 넘어간다. 그런데 NVIDIA가 Nemotron 3.5 Lightning을 66GB에서 22GB로, 즉 3분의 1로 줄이면서 공개한 과정을 뜯어보면 진짜 어려운 대목은 압축이 아니었다…

더 읽기 →