사고 사슬 프롬프팅이 대규모 언어모델의 추론을 이끌어낸다

한눈에 보는 요약

초록 (한국어 정리)

본 연구는 중간 추론 단계의 연쇄, 즉 사고 사슬(chain of thought)을 생성하는 것이 대규모 언어모델의 복잡한 추론 수행 능력을 현저히 향상시킴을 보인다. 특히 사고 사슬 예시를 프롬프트에 포함하는 단순한 방법만으로 충분한 규모의 언어모델에서 추론 능력이 자연스럽게 발현된다. 세 가지 대규모 언어모델을 대상으로 한 실험에서, 사고 사슬 프롬프팅은 산술·상식·기호 추론 과제 전반의 성능을 개선하였다.

원문 초록을 학술 문체에 맞게 한국어로 옮긴 것입니다. 직접 인용이 필요하다면 원문을 확인하세요.

연구 배경

• GPT-3 이후 프롬프트에 예시를 넣는 few-shot 방식이 널리 쓰였지만, 여러 단계를 거쳐야 하는 산술·논리 문제에서는 성능이 좀처럼 오르지 않았다.
• 모델을 미세조정하거나 별도의 계산기를 붙이는 접근이 있었지만 비용이 크고 범용성이 떨어졌다.

연구 방법

• 프롬프트의 예시를 '질문 → 정답' 형태에서 '질문 → 단계별 풀이 → 정답' 형태로 바꾸는 것이 전부다. 모델 학습이나 구조 변경은 없다.
• 산술 추론(GSM8K 등), 상식 추론(CSQA, StrategyQA), 기호 추론(마지막 글자 잇기, 동전 뒤집기) 세 범주 벤치마크에서 평가했다.
• GPT-3, LaMDA, PaLM 등 여러 계열과 여러 크기의 모델을 비교해 규모에 따른 효과 차이를 분석했다.

주요 결과

• PaLM 540B에 사고 사슬 프롬프트 예시 8개만 넣었을 때 GSM8K 초등 수학 문제 정확도가 큰 폭으로 상승해, 당시 미세조정 기반 최고 성능을 넘어섰다.
• 효과는 모델 규모가 약 1000억 파라미터를 넘을 때부터 뚜렷하게 나타났다 — 작은 모델에서는 오히려 성능이 떨어지기도 했다. 저자들은 이를 창발적(emergent) 능력으로 해석했다.
• 모델이 생성한 중간 단계를 사람이 검토할 수 있어 오류 원인 파악이 쉬워진다는 부수적 이점도 보고했다.

학술적 기여

• 학습 없이 프롬프트 설계만으로 성능을 바꿀 수 있음을 명확히 보여, 프롬프트 엔지니어링을 정식 연구 주제로 끌어올렸다.
• 모델 출력의 추론 과정을 노출시켜 해석 가능성(interpretability) 논의에 실용적 도구를 제공했다.
• 이후 self-consistency, ReAct, Tree-of-Thoughts 등 수많은 후속 기법의 출발점이 되었다.

한계와 비판

• 모델이 생성한 추론 과정이 그럴듯해 보여도 실제 내부 연산과 일치한다는 보장은 없다.
• 충분히 큰 모델에서만 효과가 나타나 소형 모델에는 적용하기 어렵다.
• 예시를 사람이 직접 작성해야 하고, 예시 품질에 따라 성능 편차가 크다.
• 중간 단계 생성으로 토큰 사용량과 응답 지연이 늘어난다.

과제에서 이 논문을 다룰 때 한계 부분을 함께 서술하면 비판적으로 읽었다는 인상을 줍니다.

보고서 목차 구성안

이 논문 한 편으로 보고서를 쓴다면 아래 순서를 그대로 사용하실 수 있습니다.

1. 서론: 왜 큰 모델도 수학을 못 푸는가
2. 제안 방법: 사고 사슬 프롬프팅
3. 실험 설계: 세 가지 추론 범주와 모델 구성
4. 결과: 규모별 성능 변화
5. 창발성 분석과 오류 사례
6. 한계와 후속 기법
7. 실무 적용: 프롬프트 작성 체크리스트

발표 슬라이드 구성안

15분 내외 발표 기준입니다. 시간이 짧다면 핵심 아이디어와 결과 슬라이드만 남기세요.

자주 묻는 질문

함께 보면 좋은 논문