파라미터를 과거 데이터에 과하게 맞춰 노이즈까지 외운 상태. ‘20일이 좋네 → 19일이 더 좋네 → 18.5일이…’ 하는 순간 시작된다.
뾰족한 봉우리(과적합) vs 넓은 고원(강건) (가상 예시)
핵심
- 뾰족한 봉우리(과적합) vs 넓은 고원(강건)
- 최적값보다 강건성
- 고원의 한가운데를 고른다
왜 중요한가
파라미터를 과거에 너무 잘 맞추면 신호가 아니라 노이즈까지 외웁니다. 백테스트 성적은 최고지만 미래엔 무너지죠. ‘최고 성적’ 파라미터일수록 의심해야 하는 이유입니다.
예시 (가상)
이동평균 기간을 19일·20일·21일… 바꿔 가며 ‘제일 좋은’ 18.5일을 골랐다고 합시다. 그런데 18.5일이 18일·19일보다 유독 좋다면, 실력이 아니라 과거 데이터의 우연(노이즈)에 맞춘 것일 가능성이 큽니다.(가상 예시)
확인법
파라미터를 한 칸씩 바꿔도 성과가 완만하게 유지되는 ‘넓은 고원’을 고르세요. 한 점만 뾰족하게 솟은 ‘봉우리’는 과적합 신호입니다. 그리고 항상 OOS에서 재확인하세요.
강의 연결
검증 4관문. 최고 성적 파라미터일수록 의심하라.