---
name: cjms-empirical-validation
description: Use when designing the real-data validation of a 《中国管理科学》 (Chinese Journal of Management Science) manuscript — forecasting and financial-engineering strands: data provenance, rolling out-of-sample tests, benchmark batteries, and significance of improvement. Validates methods on data; simulation-based studies belong to cjms-numerical-experiments.
---

# 实证与数据检验（cjms-empirical-validation）

## 触发时机

- 预测/金融类稿件只有全样本内拟合，没有样本外
- "新方法更优"只凭一张误差表，没有显著性检验
- 数据来源、频率、区间交代不清，无法复现

## 核心：本刊实证的四道硬门

预测与决策、市场与投资分析两个栏目的稿件，外审按四道门检查：

1. **数据可溯源**：来源（Wind/CSMAR/交易所官网/公开能源数据）、频率、起止区间、缺失处理逐项写明；关键序列给描述统计与平稳性检验。
2. **样本外为王**：训练/验证/测试切分或滚动窗口预先声明；窗口长度、步长、再估计频率写清。样本内 R² 再高也不算证据。
3. **基准电池**：至少三层——朴素基准（随机游走/等权组合）、经典基准（ARIMA/GARCH/均值-方差）、最强近敌（最新文献同型方法）。赢不过朴素基准的改进无发表价值。
4. **改进要显著**：预测类给 DM 检验或 MCS；组合类报夏普比、最大回撤并做子区间稳健性；单点百分比改进不构成结论。

## 稳健性设计（按威胁分类，不是堆表）

| 结论威胁 | 对应检验 |
|----------|----------|
| 结果靠某段行情 | 子样本/牛熊分段、危机窗口单独报告 |
| 结果靠调参 | 参数敏感性网格、默认参数对照 |
| 结果靠某个数据源 | 换数据源/频率复跑 |
| 结果靠事后信息 | 检查前视偏差：特征、标准化、模型选择全部只用当期可得信息 |

## 与代码库的衔接

面板/因果类支线（如政策冲击对市场的影响）可直接改用 `../../resources/code/` 的 Stata/Python 骨架（清洗→描述→DiD/IV/RDD→稳健性→出表）；时间序列预测线建议同样落成"一键复现"目录结构，随稿准备可提供的复现材料。

## 自检清单

- [ ] 数据来源/频率/区间/缺失处理可复现，关键变量有描述统计
- [ ] 样本外方案预先声明，滚动细节（窗长、步长、再估计）完整
- [ ] 基准电池三层齐全，含最强近敌
- [ ] 改进的统计显著性（DM/MCS 或子区间一致性）已报告
- [ ] 稳健性按威胁组织，每项检验能说出防的是哪条质疑
- [ ] 无前视偏差：逐环节核查信息时点

## 本刊实证节的外审期待

| 退稿信号（审稿常用语） | 根因 | 本刊期望的修法 |
|------------------------|------|----------------|
| "缺乏样本外检验" | 只报全样本拟合 | 滚动窗口方案入正文，细节可复现 |
| "对比方法选择不当" | 基准电池缺最强近敌 | 补近三年同型方法，正面交锋 |
| "改进幅度的显著性存疑" | 只报点值 | DM/MCS + 子区间一致性 |
| "结果可能依赖样本区间" | 区间恰避开极端行情 | 危机窗口单独报告，边界诚实 |
| "存在前视偏差之嫌" | 分解/标准化用了全样本信息 | 逐环节声明信息时点；分解类方法尤其要滚动重估 |

最后一条是预测栏目的高频雷区：EMD/VMD 类"分解-预测-集成"研究若对全样本一次性分解再切分训练测试，属于典型前视偏差，近年外审盯得很紧。

## 微型走查：碳价预测的检验设计

虚构稿件《基于模态自适应组合的全国碳市场价格预测》（示意设计）：

```
数据：全国碳排放权交易市场日收盘价，2021-07 至 2025-12，来源与
      缺失处理（节假日对齐）写明
样本外：滚动窗口 500 日，步长 1 日，每步重新分解与训练（防前视）
基准电池：朴素=随机游走；经典=ARIMA、GARCH；机器学习=LSTM、XGBoost；
          最强近敌=近三年文献的 VMD-LSTM 组合
指标：RMSE / MAE / MAPE + DM 检验（vs 逐个基准）+ MCS 90% 存活集
稳健性：履约季 vs 非履约季分段；窗长 250/750 敏感性；
        剔除政策公告日复跑
```

要点：履约季分段是碳市场特有的结构性检验——用情境知识设计稳健性，比堆通用检验更能说服本刊审稿人。

## 反模式

- 用样本内拟合优度讲故事，样本外一笔带过
- 基准只选弱者：跟十年前的方法比，回避最新同型文献
- 百分比误差改进 0.3% 就宣称"显著优于"，无任何检验
- 数据区间恰好停在方法失效的行情之前
- 把机器学习黑箱直接端上来，不报告特征与调参协议

## 输出格式

```
【数据】来源<…> 频率<…> 区间<…> 缺失处理<…>
【样本外方案】<切分或滚动细节>
【基准电池】朴素<…> 经典<…> 最强近敌<…>
【显著性】DM/MCS/子区间：<结果>
【稳健性矩阵】威胁→检验 × n
【下一步】cjms-numerical-experiments（如有仿真）或 cjms-managerial-insights
```