LLM의 CoT 추론이 사실은 진정한 논리적 추론이 아닐수도?!?! - Is Chain‑of‑Thought Reasoning of LLMs a Mirage? A Data Distribution Lens

논문 원본 링크: https://arxiv.org/pdf/2508.01191

관련 뉴스

https://www.aitimes.com/news/articleView.html?idxno=201660

논문 요약

1. 연구 목적과 배경

Chain‑of‑Thought(CoT) 프롬프트는 LLM이 문제 해결 전에 인간처럼 중간 추론 과정을 표현하게 하여 성능을 향상시키는 기술입니다.

하지만 이러한 CoT가 실제 논리적 추론인지, 아니면 훈련 데이터의 패턴을 단순히 흉내 내는 것인지 의문이 있었습니다. 이 논문은 CoT가 진정한 추론 능력이 아니라, **훈련 데이터 분포에 의한 모방—즉 '신기루(mirage)'**일 수 있다는 가설을 중심으로 탐구합니다.

2. 분석 방법: DataAlchemy

DataAlchemy라는 통제된 환경을 구축하여, LLM을 처음부터 학습시키고, CoT가 얼마나 다양한 조건에서 일반화되는지를 조사했습니다.

세 가지 주요 변인에 따라 CoT의 강건성을 테스트했습니다:

**Task (과제 구조)**

**Length (사고 과정의 길이)**

**Format (프롬프트 형식)**

3. 주요 결과

훈련 데이터와 유사한 분포에서는 CoT가 제대로 작동하지만, 약간이라도 분포가 달라지면 성능이 급격히 떨어졌습니다.

유창하지만 논리적으로 모순된 추론이 생성되는 경우 있었는데, 예컨대 “1776년이 윤년이면서 평년이다”라는 이상한 결론을 도출했습니다.

따라서 CoT는 추론 능력이 아니라 **패턴 복원(pattern matching)**이라고 보는 것이 합리적입니다.

4. 실무 및 연구적 시사점

CoT에 과도히 의존하지 말라: 특히 의료, 금융, 법률처럼 논리적 정확성이 중요한 영역에선 위험합니다. 유창하지만 내용이 틀린 “fluently wrong” 응답이 사용자에게 허위 신뢰감을 줄 수 있습니다.

OOD (분포 외) 테스트 강화 필요: 일반적인 검증 방식으로는 CoT의 취약성을 알아내기 어렵습니다. 다양한 분포 변화 조건에서 모델을 검증해야 합니다.

파인튜닝은 '일시적 패치'일 뿐: SFT(Supervised Fine‑Tuning)가 특정 분포에 대해서 성능을 높여줄 수는 있지만, 이는 근본적인 문제 해결이 아니라 해당 분포 범위를 확장하는 수준에 그칩니다.

Reddit 반응

\> “CoT의 체인은 종종 유창하지만 논리적으로 일관성이 없고, 결과는 올바른데 과정은 틀린 경우도 있다.”

이는 패턴 모방 이상을 의미할 수 있는 다른 메커니즘이 있다는 감각을 반영한다고 언급하고 있습니다.