In-sample và Out-of-sample

In-sample và Out-of-sample là gì?

• In-sample (IS): giai đoạn dữ liệu dùng để chọn và chỉnh cài đặt.
• Out-of-sample (OOS): giai đoạn được để riêng, không nhìn khi chỉnh cài đặt, chỉ dùng để kiểm tra cài đặt đã chọn.

Cách chia đơn giản: khoảng 2/3 dữ liệu đầu làm In-sample, 1/3 sau làm Out-of-sample. Giai đoạn ngoài mẫu nên là giai đoạn mới hơn, vì đó là thứ gần nhất với “tương lai”.

Walk-forward lặp lại việc này nhiều lần: chọn cài đặt trên một cửa sổ, kiểm tra trên cửa sổ kế tiếp, rồi trượt tiếp theo thời gian.

Vì sao cần chia dữ liệu?

• Mọi cấu hình đều có thể đẹp trên dữ liệu đã dùng để chọn nó. Đó là bản chất của việc tối ưu.
• Ngoài mẫu đo khả năng tổng quát hóa. Nếu cấu hình chỉ đẹp trong mẫu, rất có thể nó đã học cả nhiễu ngẫu nhiên (overfitting).
• Kỳ vọng thực tế hơn. Kết quả ngoài mẫu thường gần với kết quả giao dịch thật hơn kết quả trong mẫu.

Những lỗi làm hỏng giai đoạn ngoài mẫu

• Xem kết quả OOS rồi quay lại chỉnh tiếp. Lúc đó OOS đã trở thành dữ liệu trong mẫu.
• Thử nhiều cấu hình trên OOS rồi chọn cái đẹp nhất. Cũng là tối ưu trên OOS.
• Giai đoạn ngoài mẫu quá ngắn. Vài chục lệnh không đủ để kết luận.
• Chọn giai đoạn ngoài mẫu “dễ”. Ví dụ chỉ chọn giai đoạn xu hướng mạnh; nên để thời gian quyết định ranh giới.

Ví dụ trên biểu đồ

Hình minh họa.

Làm với Strategy Validator của AURORA thế nào?

1. Đặt Validator cùng cài đặt với chỉ báo, phí và trượt giá đúng với broker của bạn.
2. Ô Backtest từ ngày / đến ngày: đặt khoảng In-sample, ô Sample tag chọn IS. Chỉnh cài đặt trong khoảng này.
3. Giữ nguyên cài đặt, đổi khoảng ngày sang giai đoạn còn lại, Sample tag chọn OOS. Ghi kết quả một lần.
4. Lệnh còn mở khi hết khoảng ngày được đóng với nhãn WINDOW; tên lệnh có thêm IS hoặc OOS để lọc khi xuất danh sách lệnh.
5. So sánh R trung bình, Profit Factor, drawdown lớn nhất và số lệnh giữa hai giai đoạn.

Đọc kết quả: ngoài mẫu kém hơn một chút là bình thường. Ngoài mẫu âm trong khi trong mẫu rất đẹp là dấu hiệu cấu hình không đáng tin.

Giới hạn

• Thị trường thay đổi. Một giai đoạn ngoài mẫu tốt chưa đảm bảo giai đoạn tiếp theo tốt.
• Dữ liệu có hạn. Chia ra làm dữ liệu mỗi phần ít đi; với khung lớn, có thể không đủ lệnh.
• Kết quả quá khứ không đảm bảo tương lai, kể cả kết quả ngoài mẫu.