카테고리
RNN
-
긴 입력에서 정보가 밀려나던 문제, Transformer는 이렇게 우회했다
Transformer를 설명하는 글은 대부분 query·key·value부터 들이민다. 순서가 거꾸로다. 이 구조는 어느 날 갑자기 발명된 게 아니라, RNN이 긴 문장에서 계속 실패하던 구체적인 병목을 하나씩 우회하다 나온 결과물이다. 그래서 구조를 외우는 …
카테고리
Transformer를 설명하는 글은 대부분 query·key·value부터 들이민다. 순서가 거꾸로다. 이 구조는 어느 날 갑자기 발명된 게 아니라, RNN이 긴 문장에서 계속 실패하던 구체적인 병목을 하나씩 우회하다 나온 결과물이다. 그래서 구조를 외우는 …