카테고리
FlashAttention
-
어텐션은 왜 128K에서 추론 시간의 85%를 먹어치우나
모델 성능을 이야기할 때 우리는 보통 파라미터 수나 벤치마크 점수를 본다. 그런데 긴 문맥을 다루기 시작하면 진짜 발목을 잡는 건 다른 곳에 있다. 바로 어텐션이다. 짧은 프롬프트에서는 존재감도 없던 이 연산이, 문맥이 128K로 길어지면 추론 시간의 85%를…
카테고리
모델 성능을 이야기할 때 우리는 보통 파라미터 수나 벤치마크 점수를 본다. 그런데 긴 문맥을 다루기 시작하면 진짜 발목을 잡는 건 다른 곳에 있다. 바로 어텐션이다. 짧은 프롬프트에서는 존재감도 없던 이 연산이, 문맥이 128K로 길어지면 추론 시간의 85%를…