📑논문노트

🧠 주제별 논문

딥러닝 기초

딥러닝을 처음 다루는 과제·발표에 반드시 필요한 기초 논문 6편을 한국어 요약과 원문 링크로 정리했습니다.

딥러닝 과제를 시작할 때 가장 흔한 실수는 최신 논문부터 읽는 것입니다. 2024년 이후 논문은 대부분 여기 정리한 여섯 편을 이미 알고 있다고 전제하고 쓰여 있어서, 기초 없이 읽으면 문장은 읽히지만 의미가 남지 않습니다.

이 페이지의 논문들은 '왜 깊은 신경망이 잘 되는가'라는 하나의 질문에 대한 서로 다른 답입니다. AlexNet은 데이터와 연산이 충분하면 된다고 답했고, ResNet은 최적화를 쉽게 만들면 된다고 답했으며, Adam·드롭아웃·배치 정규화는 학습 과정 자체를 안정시키는 방법을 제시했습니다. 마지막의 Nature 리뷰 논문은 이 흐름 전체를 조망합니다.

보고서 서론을 쓴다면 LeCun 외(2015)의 Nature 리뷰를 인용해 정의를 세우고, 본론에서 AlexNet과 ResNet으로 기술 발전을 서술하는 구성이 가장 무난합니다.

이 주제의 핵심 논문 6편

아래 목록은 제목과 한두 줄 요약으로 먼저 훑어보고, 필요한 자료만 원문으로 넘어가도록 구성했습니다. 상세 정리 보기 표시가 있는 논문은 과제용 정리 페이지가 준비되어 있습니다.

심층 합성곱 신경망을 이용한 ImageNet 분류

ImageNet Classification with Deep Convolutional Neural Networks

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton · 2012 · NeurIPS (NIPS 2012)

6천만 개 파라미터의 합성곱 신경망을 GPU로 학습시켜 ImageNet 이미지 분류 오류율을 기존 최고 기록 대비 큰 폭으로 낮춘 연구다. ReLU·드롭아웃·데이터 증강 조합이 이후 딥러닝 표준이 되었다.

왜 중요한가 딥러닝 시대를 연 전환점으로, 거의 모든 컴퓨터 비전 논문이 출발점으로 인용한다.

CNN이미지분류GPU학습

이미지 인식을 위한 심층 잔차 학습

Deep Residual Learning for Image Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun · 2016 · CVPR 2016

층이 깊어질수록 성능이 나빠지는 열화(degradation) 문제를 '잔차 연결(skip connection)'로 해결하여 152층 신경망 학습을 가능하게 했다.

왜 중요한가 잔차 연결은 오늘날 트랜스포머를 포함한 거의 모든 심층 모델의 기본 부품이다.

잔차연결CNN최적화

Adam: 확률적 최적화를 위한 방법

Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba · 2015 · ICLR 2015

기울기의 1차·2차 모멘트 추정치를 함께 사용해 파라미터마다 학습률을 자동 조절하는 최적화 알고리즘을 제안했다.

왜 중요한가 현재까지도 딥러닝 학습의 기본 옵티마이저로 가장 널리 쓰인다.

최적화학습률경사하강법

드롭아웃: 신경망의 과적합을 막는 간단한 방법

Dropout: A Simple Way to Prevent Neural Networks from Overfitting

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov · 2014 · Journal of Machine Learning Research

학습 중 뉴런을 무작위로 꺼서 서로 다른 부분 신경망을 앙상블처럼 학습시키는 정규화 기법을 제안했다.

왜 중요한가 과적합 대응의 표준 기법으로, 정규화 개념을 설명할 때 반드시 등장한다.

정규화과적합앙상블

배치 정규화: 내부 공변량 변화를 줄여 학습을 가속하는 방법

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe, Christian Szegedy · 2015 · ICML 2015

각 층의 입력 분포를 미니배치 단위로 정규화하여 학습 속도를 크게 높이고 초기값 민감도를 줄였다.

왜 중요한가 학습 안정화의 대표 기법이며 이후 LayerNorm 등 변형 연구의 기준점이다.

정규화학습안정성

딥러닝 (리뷰 논문)

Deep Learning

Yann LeCun, Yoshua Bengio, Geoffrey Hinton · 2015 · Nature 521, 436–444

표현 학습의 관점에서 딥러닝의 원리와 응용을 개괄한 리뷰 논문으로, 비전공자도 읽을 수 있는 수준으로 정리되어 있다.

왜 중요한가 서론에서 '딥러닝이란 무엇인가'를 인용할 때 가장 안전한 출처다.

리뷰개론표현학습

이 주제로 과제를 쓸 때

자주 묻는 질문

딥러닝 입문 논문을 딱 한 편만 읽어야 한다면?

LeCun, Bengio, Hinton의 Nature 리뷰(2015)를 권합니다. 수식이 적고 분야 전체를 조망하며, 어느 학과에서든 인용 가능한 권위를 갖습니다.

논문 원문이 영어라 부담됩니다.

초록과 결론, 그림 캡션만 먼저 읽어도 발표 자료의 80%는 만들 수 있습니다. 이 사이트의 상세 정리 페이지는 그 순서대로 구성되어 있습니다.

다른 주제 둘러보기

이 주제의 최신 논문을 직접 찾아보세요

아래 검색창은 전 세계 학술 데이터베이스(OpenAlex)에서 실시간으로 논문을 찾습니다.