Overfitting: khi hệ thống chỉ giỏi với quá khứ

Overfitting là gì?

Dữ liệu giá gồm hai phần: mẫu hình lặp lại (nếu có) và nhiễu ngẫu nhiên. Khi chỉnh tham số để backtest đẹp nhất, bạn không chỉ khớp với phần lặp lại, mà còn khớp cả với nhiễu.

Overfitting là khi phần khớp với nhiễu chiếm ưu thế: cài đặt rất đẹp trên dữ liệu quá khứ, nhưng nhiễu không lặp lại, nên trên dữ liệu mới kết quả kém hẳn.

Dấu hiệu nhận biết

• Ngoài mẫu sụp đổ. Kết quả Out-of-sample âm trong khi In-sample rất đẹp.
• Điểm đột biến. Chỉ một giá trị tham số cho kết quả tốt, các giá trị lân cận thì kém.
• Quá nhiều bộ lọc đặc thù. Ví dụ “chỉ mua thứ Ba, sau 10 giờ, khi RSI từ 53 đến 57”.
• Kết quả quá đẹp trên dữ liệu ngắn. Profit Factor rất cao, chuỗi thắng dài bất thường.
• Thử rất nhiều tổ hợp. Thử càng nhiều, khả năng tìm thấy một tổ hợp đẹp do ngẫu nhiên càng cao.

Vì sao điều này quan trọng?

• Bạn giao dịch tương lai, không phải quá khứ. Một cấu hình quá khớp cho kỳ vọng sai về lợi nhuận và rủi ro.
• Mỗi tham số là một cơ hội để khớp nhiễu. Thêm tham số và bộ lọc luôn làm backtest đẹp hơn, kể cả khi không thêm lợi thế thật.
• Chi phí ẩn. Hệ thống quá khớp thường có ít lệnh, nên thống kê kém tin cậy (xem bài Cỡ mẫu).

Ví dụ trên biểu đồ

Hình minh họa với số liệu dựng tay.

Đường xanh: kết quả tốt trong một vùng rộng giá trị tham số. Chọn giữa vùng đó an toàn hơn. Đường cam: chỉ có một điểm đột biến tốt; rất có thể đó là may mắn.

AURORA hạn chế overfitting thế nào?

Thiết kế của AURORA cố ý giảm cơ hội quá khớp:

• Các tầng chất lượng mặc định “Stats only”. Setup Quality, Tier 3, SMC Quality chỉ chấm điểm và thống kê, không tự lọc. Chỉ bật Filter sau khi kiểm chứng.
• Entry Filter Profile tách khỏi Trading Style, để mỗi lần chỉ đổi một yếu tố.
• Core parity làm mốc so sánh, gần với AURORA Standard, trước khi thử các profile chặt hơn.
• Dòng ⛔ Filtered đo giá trị thật của bộ lọc, thay vì chỉ nhìn kết quả sau lọc.
• Strategy Validator có khoảng ngày và nhãn IS / OOS để kiểm tra ngoài mẫu.

Tuy vậy, AURORA có nhiều ô cài đặt. Chỉnh tất cả để khớp một mã trên một giai đoạn vẫn là overfitting; công cụ không thể thay thế kỷ luật kiểm chứng.

Cách tránh

• Ít tham số, ít bộ lọc. Chỉ thêm khi có lý do rõ ràng và kiểm chứng được.
• Chọn vùng ổn định, không chọn điểm tốt nhất.
• Kiểm tra ngoài mẫu, trên nhiều mã cùng loại.
• Chiết khấu kết quả tốt nhất theo số lần thử: thử 100 tổ hợp thì tổ hợp đẹp nhất gần như chắc chắn đẹp hơn thực tế.