VIDEO NOTE
과적합을 막는 퀀트 트레이딩 전략 검증 4단계와 순열 검정 기법
neurotrader · 21분 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 투자
트레이딩 전략 최적화 과정에서 발생하는 데이터 마이닝 편향과 과적합을 방지하기 위한 4단계 검증 프로세스를 소개한다. 표본 내 성과 확인, 표본 내 몬테카를로 순열 검정, 워크포워드 테스트, 워크포워드 순열 검정의 개념을 파이썬 코드로 구현하고 돈키언 채널 및 의사결정나무 모델에 적용해 검증한다. 무작위로 섞은 노이즈 데이터 대비 실제 데이터에서 통계적으로 유의미한 성과가 나오는지 판별하는 방법을 다룬다.
핵심
- 트레이딩 전략 개발 4단계는 표본 내 최적화, 표본 내 순열 검정, 워크포워드 테스트, 워크포워드 순열 검정으로 나뉜다.
- 바 단위 수익률을 계산해 샤프 지수나 수익 계수(Profit Factor)를 산출하면 거래 단위 평가보다 통계적으로 훨씬 안정적이다.
- 표본 내 순열 검정은 가격 변화분을 무작위로 셔플해 만든 노이즈 데이터에서도 전략을 재최적화하여 가짜 패턴을 걸러낸다.
- 순열 데이터 생성 시 시가와 종가 차이, 캔들 내 상대 변동성을 보존하는 방식을 적용해 시장 데이터의 기본 통계치를 유지한다.
- 과적합된 의사결정나무 모델은 표본 내 수익 계수 1.39를 기록했지만 순열 검정 p-value 0.974로 탈락했다.
- 2016~2019년 비트코인 데이터로 최적화한 돈키언 채널 전략은 표본 내 순열 검정을 통과했으나 2020년 워크포워드 순열 검정에서 p-value 21.5%로 최종 불합격했다.
- 검증용 표본 외 데이터를 반복해서 재사용하면 선택 편향이 누적되어 결국 검증 데이터에도 과적합된다.
RAISE LAB 에서 배우는 사람에게
투자나 시계열 예측용 AI 에이전트를 개발할 때 백테스트 성과가 실제 시장 패턴 때문인지 단순 데이터 마이닝 편향 때문인지 통계적으로 엄밀히 걸러내는 체계를 배울 수 있다.
챕터
- 0:00트레이딩 전략 개발 4단계 개요 (새 탭에서 열림)
- 0:29바 단위 수익률과 목적 함수 계산 (새 탭에서 열림)
- 1:31돈키언 채널 돌파 전략 최적화 (새 탭에서 열림)
- 4:35데이터 마이닝 편향과 표본 내 순열 검정 원리 (새 탭에서 열림)
- 6:27가격 데이터 셔플 순열 알고리즘 코드 (새 탭에서 열림)
- 10:42돈키언 채널 표본 내 순열 검정 실행 (새 탭에서 열림)
- 11:53과적합된 의사결정나무 모델 검증 실패 사례 (새 탭에서 열림)
- 13:56선택 편향과 표본 외 검증 세트의 한계 (새 탭에서 열림)
- 15:46워크포워드 테스트와 순열 검정 코드 (새 탭에서 열림)
- 18:44돈키언 채널 워크포워드 검정 결과와 해석 (새 탭에서 열림)
- 19:48참고 도서 및 최적화에 대한 결론 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. neurotrader 원작자 채널 (새 탭에서 열림)