attention

Transformer를 설명하는 글은 대부분 query·key·value부터 들이민다. 순서가 거꾸로다. 이 구조는 어느 날 갑자기 발명된 게 아니라, RNN이 긴 문장에서 계속 실패하던 구체적인 병목을 하나씩 우회하다 나온 결과물이다. 그래서 구조를 외우는 …

더 읽기 →