전략 수립에 쓰지 않고 숨겨둔 기간(Out-of-Sample)에서의 검증. 여기서도 기댓값 E>0이어야 ‘진짜’에 가깝다.
핵심
- IS 70% / OOS 30%로 분리
- OOS에서 무너지면 = 과적합 신호
- 워크포워드로 확장
왜 중요한가
전략을 ‘만든’ 데이터에서 잘 나오는 건 당연합니다. 진짜 질문은 ‘한 번도 보지 않은 기간에서도 통하는가’예요. OOS는 검증의 심장입니다.
예시 (가상)
데이터를 시간순으로 70%(IS, 학습)와 30%(OOS, 검증)로 나눕니다. IS에서 규칙·파라미터를 다 정한 뒤 OOS에 딱 한 번 돌려요. IS에선 연 80%였는데 OOS에서 마이너스라면, 그 전략은 과거에만 맞춘 것입니다.(가상 예시)
확인법
OOS는 마지막에 한 번만 쓰세요. OOS를 보고 다시 파라미터를 고치면 그 순간 OOS도 IS가 돼 의미가 사라집니다(=느린 과적합). 더 엄격하게는 워크포워드(이동 창 반복 검증)로 확장합니다.
강의 연결
검증의 심장. 사업(런칭)에도 같은 사고를 적용한다.