추론 모델 (Reasoning Models)

한 줄 정의

추론 모델은 질문에 바로 답하지 않고, 내부적으로 여러 단계의 중간 사고 과정(chain-of-thought)을 거친 뒤 답을 내도록 강화학습으로 훈련된 LLM입니다. 이 "더 오래 생각하기"에 쓰는 연산을 test-time compute라고 부릅니다.

지금 상태 (2026-09 기준)

2022년 초까지 "단계별로 생각해봐" 식으로 예시를 프롬프트에 넣어 모델의 추론을 유도하는 chain-of-thought는 순전히 프롬프트 기법이었습니다. 2024년 9월 OpenAI가 이 사고 과정을 프롬프트가 아니라 모델 자체의 학습된 능력으로 만든 o1을 공개하면서, 답변 전 내부 추론에 더 많은 토큰(=더 많은 연산, test-time compute)을 쓸수록 성능이 좋아진다는 것을 상용 제품으로 보여줬습니다. 2025년 1월에는 DeepSeek가 같은 성격의 모델(R1)을 MIT 라이선스 오픈 가중치로 공개해, 추론 모델이 특정 회사의 폐쇄형 API에만 갇힌 기술이 아님을 증명했습니다. 추론 모델은 일반 모델보다 답변 지연과 토큰 비용이 크다는 트레이드오프가 있습니다.

개념

• chain-of-thought(2022): 프롬프트에 "단계별로 생각하는" 예시를 몇 개 넣으면, 모델이 복잡한 산수·논리 문제를 훨씬 잘 푼다는 것을 실증한 프롬프트 기법. 모델 구조나 학습 방식은 그대로이며, 입력을 바꾸는 것만으로 성능이 오른다는 점이 핵심이었습니다.
• 학습된 추론으로의 전환(2024): OpenAI o1은 chain-of-thought를 프롬프트로 유도하는 대신, 강화학습으로 "스스로 여러 방법을 시도하고 실수를 알아채는" 사고 과정 자체를 모델에 학습시켰습니다. 이 때문에 같은 질문이라도 모델이 내부적으로 쓰는 토큰 수(=사고 시간)가 문제 난이도에 따라 달라집니다.
• test-time compute: 모델을 훈련할 때 쓰는 연산(train-time compute)과 별개로, 실제 답변을 생성하는 순간에 얼마나 많은 연산(=긴 사고 과정)을 쓰느냐도 성능을 좌우하는 축이라는 개념. o1이 상용 제품으로 처음 이를 증명했습니다.
• 순수 강화학습만으로 학습(DeepSeek-R1-Zero): DeepSeek는 사람이 만든 예시로 먼저 가르치는 지도학습(SFT) 단계 없이, 강화학습만으로 추론 능력을 학습시킨 R1-Zero를 함께 공개했습니다. 이후 초기 데이터를 약간 더해 성능을 다듬은 것이 정식 R1입니다.
• 컨텍스트와의 관계: 추론 모델의 긴 사고 과정 자체가 컨텍스트 창을 차지하는 토큰이므로, 얼마나/어떻게 그 사고 흔적을 남기거나 지울지는 컨텍스트 엔지니어링 (Context Engineering)에서 다루는 컨텍스트 관리 문제와 직접 연결됩니다.