XAI.4 | L9 - L12
Explainable Neural Networks & Deep XAI
1. Why Neural Networks are Hard to Explain
原因
- 多层非线性映射
- 中间层特征高度混合
- 决策边界复杂且高维
XAI 两条路径
- Post-hoc：训练后解释黑箱
- By-design：模型结构本身可解释
2. Rectifier (ReLU) Networks 的可解释性
核心事实
- ReLU 网络在局部是线性的
- 每个样本只激活一条特定的线性路径
结论
[
f(x) = w(x)^T x + b(x)
]
其中：
- 权重 (w(x)) 依赖于当前激活模式
XAI 角度
- 局部解释 = 当前激活路径的线性模型
- 权重可直接解释为 feature relevance
3. Explainable-by-Design vs Post-hoc
| 类型 | 特点 |
|---|---|
| Post-hoc | 不改变模型结构 |
| By-design | 模型本身具备可解释结构 |
Rectifier Networks 属于：Explainable-by-design
Grad-CAM & Deep Visual Explanations
4. Grad-CAM
用途
- 解释 CNN 在图像上的预测依据
核心思想
- 使用目标类别的梯度
- 对卷积特征图进行加权求和
输出
- 热力图（highlight 重要区域）
性质
- Class-discriminative
- 不需要修改模型结构
局限
- 分辨率受限
- 梯度噪声
- 上采样引入伪影
Time Series Interpretability
5. Time Series 数据特点
定义
- 随时间变化的数据序列
分类
- Univariate / Multivariate
- Time steps × Variables
6. XEM（Explainable-by-design Ensemble）
问题
- 时间序列分类难以解释
核心思想
- 用滑动窗口生成子序列
- 子序列作为候选解释单元
流程
- 生成窗口子序列
- 展平（flatten）
- 用 LCE（bagging + boosting）训练
- 选择概率最高的子序列作为解释
解释形式
- 哪个变量
- 哪个时间段
- 对预测最重要
7. CRITS（Convolutional Rectifier for TS）
动机
- 解决 Grad-CAM / SHAP 在时间序列上的问题
核心思想
- CNN + ReLU
- 从输出可 trace back 到输入时间点
XAI 角度
- 给出时间点级别的重要性
- 解释稳定、计算高效
8. Z-Time
核心思想
- 将时间序列转化为事件区间
- 解释基于区间之间的时间关系
流程
- 识别事件区间
- 建模区间关系
- 用线性模型分类
解释形式
- 哪些事件
- 事件之间的关系
Fairness & XAI
9. Sensitive Attributes
定义
- 可能引发歧视的属性
如：性别、种族、年龄、健康状况
注意
- 移除敏感属性 ≠ 公平
- 代理变量（proxy）仍可能引入偏差
10. Sources of Bias
阶段
- Data collection
- Labeling
- Training
- Deployment
11. Fairness Metrics
Demographic Parity (DP)
- 群体接受率相同
Equality of Opportunity (EOp)
- 群体 TPR 相同
Equalized Odds (EO)
- 群体 TPR 和 FPR 都相同
Predictive Parity
- 群体 PPV 相同
12. Fairness Trade-offs
结论
- 公平指标之间可能冲突
- 不存在同时满足所有公平性的模型
13. Bias Mitigation Strategies
Pre-processing
- Reweighting
- Resampling
- Label massaging
In-processing
- Fairness constraints
- Adversarial debiasing
Post-processing
- Threshold adjustment
- Score calibration
14. Counterfactual Fairness
定义
- 改变敏感属性
- 其他特征不变
- 预测结果应保持不变
用途
- 从因果角度定义公平性
L9–L12 总结
- ReLU 网络具备局部线性可解释性
- Grad-CAM 提供视觉区域级解释
- 时间序列解释关注“哪一段时间重要”
- 公平性是多定义、多权衡的问题
- 反事实连接 XAI 与 Fairness