728x90
ChatGPT의 GPT가 무슨 약자인지 찾아보다 'T'가 트랜스포머라는 걸 알게 됐다. 근데 트랜스포머가 뭔지는 또 모르겠어서(늘 이런 식이다) 이참에 정리해둔다.
트랜스포머가 뭐냐
요즘 나오는 LLM들은 대부분 트랜스포머 구조를 기반으로 한다고 한다. 2017년 구글이 낸 "Attention Is All You Need"라는 논문에서 처음 제안됐고, 지금은 GPT 같은 LLM을 설명할 때 거의 빠지지 않는 개념이 됐다. GPT의 T가 바로 이 Transformer다.
핵심은 '어텐션'
트랜스포머의 알맹이는 어텐션(Attention)이다. 문장을 이해하려면 단어 하나하나가 아니라 단어들 사이의 관계를 봐야 한다.
"그 은행에 갔다"
→ '은행'이 강가인지 금융기관인지는 주변 단어가 결정한다
어텐션은 "어떤 단어가 어떤 단어에 주목해야 하는지"를 계산하는 방식이다. "강아지가 공을 물었다"에서 '물었다'의 주체로 '강아지'를 강하게 연결하는 식(사람은 당연히 하는 걸 기계는 이렇게 계산한다).
텍스트가 처리되는 순서
대충 이런 흐름이다.
입력 텍스트
→ 토큰으로 쪼갬
→ 임베딩(숫자 벡터)으로 변환
→ 트랜스포머 여러 층 통과 (어텐션으로 문맥 반영)
→ 결과
- 토큰: 텍스트를 잘게 나눈 처리 단위
- 임베딩: 토큰을 의미를 담은 숫자로 바꾼 것
- 층(Layer): 깊게 쌓을수록 복잡한 패턴을 잡아냄
- 한 번에 볼 수 있는 토큰 수가 바로 컨텍스트 윈도우다
번역, 요약, 대화 같은 작업도 이런 구조를 기반으로 이해하면 대충 감이 잡힌다.
끝.
GPT 쓸 때마다 'T'가 뭔지 궁금했는데 이제 안 까먹겠지(아마도).
728x90
LIST