자연어처리 · 자연어처리와 대규모 언어모델
어텐션만으로 충분하다
Attention Is All You Need
트랜스포머(Transformer)를 처음 제안한 논문이다. 기계번역에서 표준이던 순환신경망(RNN)과 합성곱신경망(CNN)을 완전히 걷어내고, 오직 어텐션 연산만으로 인코더-디코더를 구성해도 더 좋은 성능이 나온다는 것을 보였다. 오늘날 GPT·BERT·Claude를 포함한 거의 모든 대규모 언어모델이 이 구조 위에 서 있다.
한눈에 보는 요약
순환·합성곱 구조를 모두 제거하고 self-attention만으로 구성한 트랜스포머(Transformer) 아키텍처를 제안했다. 병렬 학습이 가능해 학습 시간을 크게 줄이면서 기계번역 성능을 끌어올렸다.
왜 중요한가 GPT·BERT를 포함한 현대 언어모델 전부의 뼈대이며, AI 관련 과제라면 사실상 필수 인용 문헌이다.
초록 (한국어 정리)
지배적인 시퀀스 변환 모델은 인코더와 디코더를 포함한 복잡한 순환 또는 합성곱 신경망에 기반한다. 본 연구는 순환과 합성곱을 전부 배제하고 어텐션 메커니즘만으로 구성된 새로운 단순 신경망 구조인 트랜스포머를 제안한다. 두 건의 기계번역 과제에 대한 실험 결과, 제안 모델은 번역 품질에서 우수하면서도 병렬화가 용이하고 학습에 필요한 시간이 현저히 적었다.
원문 초록을 학술 문체에 맞게 한국어로 옮긴 것입니다. 직접 인용이 필요하다면 원문을 확인하세요.
연구 배경
- 당시 기계번역의 표준은 LSTM·GRU 같은 순환신경망이었다. 순환 구조는 앞 단어를 처리해야 다음 단어를 처리할 수 있어 시퀀스 길이에 비례한 순차 연산이 필요했고, 이는 GPU 병렬 처리를 원천적으로 막았다.
- 또한 문장이 길어질수록 앞부분 정보가 소실되는 장거리 의존성 문제가 있었다. 이를 보완하려고 순환 구조에 어텐션을 '덧붙이는' 연구가 이미 존재했다.
- 저자들의 질문은 단순했다. 어텐션이 그렇게 유용하다면, 순환 구조 없이 어텐션만 남기면 어떻게 될까?
연구 방법
- Scaled Dot-Product Attention — 질의(Query)·키(Key)·값(Value) 행렬의 내적을 키 차원의 제곱근으로 나눈 뒤 소프트맥스를 취해 값의 가중합을 구한다. 나눗셈은 내적 값이 커져 소프트맥스 기울기가 소실되는 것을 막는다.
- Multi-Head Attention — 어텐션을 여러 개(논문에서는 8개) 병렬로 두어 서로 다른 표현 부분공간에서 관계를 학습하게 한 뒤 결과를 결합한다. 한 헤드는 문법적 관계를, 다른 헤드는 의미적 관계를 포착하는 식이다.
- Positional Encoding — 순환 구조가 없으므로 단어 순서 정보가 사라진다. 서로 다른 주파수의 사인·코사인 함수를 임베딩에 더해 위치 정보를 주입했다.
- 전체 구조 — 인코더 6층, 디코더 6층을 쌓고 각 층마다 잔차 연결과 층 정규화(Layer Normalization), 위치별 순방향 신경망(FFN)을 배치했다. 디코더의 셀프 어텐션에는 미래 토큰을 보지 못하도록 마스킹을 적용한다.
주요 결과
- WMT 2014 영어→독일어 번역에서 28.4 BLEU를 기록해 앙상블을 포함한 기존 최고 기록을 2 BLEU 이상 경신했다.
- WMT 2014 영어→프랑스어에서 41.8 BLEU(당시 단일 모델 최고)를 8개 GPU로 3.5일 만에 달성했다. 기존 최고 모델 학습 비용의 일부에 불과했다.
- 영어 구문 분석(constituency parsing)에도 적용해, 과제 특화 설계 없이 좋은 성능을 냄으로써 구조의 범용성을 보였다.
학술적 기여
- 시퀀스 처리에서 순차 연산을 제거해 학습을 완전히 병렬화했다 — 이후 모델 규모 확장(scaling)의 전제 조건이 되었다.
- 임의의 두 위치 사이 경로 길이를 상수로 만들어 장거리 의존성 학습을 쉽게 했다.
- 인코더만 쓰면 BERT, 디코더만 쓰면 GPT가 되는 모듈형 설계를 제공해 이후 연구의 공통 언어가 되었다.
한계와 비판
- 어텐션의 계산·메모리 복잡도가 시퀀스 길이의 제곱(O(n²))에 비례해 긴 문서 처리에 불리하다. 이후 Longformer·FlashAttention 등 후속 연구가 이 문제를 다룬다.
- 실험이 기계번역과 구문 분석에 한정되어 있어, 논문 자체는 오늘날의 범용 언어모델 성능을 직접 입증하지 않는다.
- 위치 인코딩 방식(사인·코사인)은 이후 학습형·상대적 위치 인코딩(RoPE 등)으로 대체되는 추세다.
과제에서 이 논문을 다룰 때 한계 부분을 함께 서술하면 비판적으로 읽었다는 인상을 줍니다.
핵심 용어
- Self-Attention(셀프 어텐션)
- 한 문장 안의 모든 단어가 서로를 참조해 문맥에 맞는 표현을 만드는 연산.
- Multi-Head(멀티 헤드)
- 여러 개의 어텐션을 병렬로 두어 서로 다른 관점의 관계를 동시에 학습하는 기법.
- BLEU
- 기계번역 품질을 참조 번역과의 n-gram 일치도로 측정하는 지표(0~100, 높을수록 좋음).
- Positional Encoding(위치 인코딩)
- 순서 정보가 없는 어텐션 구조에 단어 위치를 알려주기 위해 더해주는 벡터.
보고서 목차 구성안
이 논문 한 편으로 보고서를 쓴다면 아래 순서를 그대로 사용하실 수 있습니다.
- 서론: 왜 기존 순환신경망으로는 부족했는가
- 관련 연구: RNN·CNN 기반 시퀀스 변환 모델의 한계
- 모델 구조: 인코더-디코더와 어텐션 계산 방식
- 핵심 기법: 멀티 헤드 어텐션과 위치 인코딩
- 실험 설정: WMT 2014 데이터셋과 학습 환경
- 결과: BLEU 점수와 학습 비용 비교
- 의의와 한계, 그리고 이후 연구로의 확장
발표 슬라이드 구성안
15분 내외 발표 기준입니다. 시간이 짧다면 핵심 아이디어와 결과 슬라이드만 남기세요.
| # | 슬라이드 | 담을 내용 |
|---|---|---|
| 1 | 문제 제기 | RNN은 순차 처리 때문에 느리고 긴 문장에 약하다 — 병렬화가 불가능하다는 점을 그림으로 |
| 2 | 아이디어 한 줄 | "순환을 버리고 어텐션만 남기자" |
| 3 | 어텐션이란 | Query·Key·Value 비유(검색어–색인–문서)로 설명, 수식 1개만 제시 |
| 4 | 트랜스포머 구조도 | 인코더/디코더 6층 블록 다이어그램 — 논문 Figure 1 재구성 |
| 5 | 멀티 헤드 어텐션 | 여러 관점에서 동시에 문장을 본다는 시각 자료 |
| 6 | 실험 결과 | BLEU 28.4 / 41.8, 학습 시간 3.5일 — 막대그래프 비교 |
| 7 | 영향력 | BERT·GPT 계열 계보도, 인용 수 추이 |
| 8 | 한계와 후속 연구 | O(n²) 복잡도, 긴 문맥 처리 연구로 연결 |
인용하기
본문에 넣을 한 문장
Vaswani 외(2017)는 순환 및 합성곱 구조 없이 어텐션 메커니즘만으로 구성된 트랜스포머를 제안하여, 기계번역 성능과 학습 효율을 동시에 개선하였다.
참고문헌 (APA 7판 형식)
Ashish Vaswani, et al. (2017). Attention Is All You Need. NeurIPS 2017. https://arxiv.org/abs/1706.03762
본문 괄호 인용
(Vaswani et al., 2017) / 한국어 서술: Vaswani 외(2017)는 …
저자가 3명 이상일 때 APA 7판은 첫 인용부터 et al.을 사용합니다. 자세한 규칙은 인용법 가이드를 참고하세요.
자주 묻는 질문
트랜스포머와 GPT는 어떻게 다른가요?
GPT는 트랜스포머의 디코더 부분만 쌓아 다음 단어를 예측하도록 학습한 모델입니다. 트랜스포머는 구조(아키텍처)이고 GPT는 그 구조로 만든 특정 모델입니다.
과제에서 이 논문을 어떤 맥락에 인용하나요?
'현대 언어모델의 기반 구조'를 언급할 때, 또는 '병렬 처리가 가능해지면서 모델 규모 확장이 가능해졌다'는 서술의 근거로 인용합니다.
원문을 다 읽어야 하나요?
초록, 3장(Model Architecture), Figure 1·2, 그리고 Table 2(결과)만 봐도 발표 자료를 만들기에 충분합니다.
함께 보면 좋은 논문
같은 주제의 다른 논문도 필요하신가요?
자연어처리와 대규모 언어모델 주제 페이지에서 관련 논문을 더 볼 수 있습니다.