Global Model-Agnostic Methods

Global：解释模型整体行为
Model-agnostic：不依赖模型内部结构（适用于任意模型）

Global Explanations 的目的

理解模型整体如何使用特征
分析特征影响与特征交互
在不打开模型内部的情况下解释模型行为

1. Partial Dependence Plot (PDP)

目标

描述某个特征（或特征集合）对预测的平均影响

定义

$$
\hat{f}S(x_S) = \mathbb{E}{X_C}[f(x_S, X_C)]
$$

要点

对其他特征取平均
反映的是 global average effect
多维 PDP（≥3 个特征）不可视化

性质

PDP = 所有 ICE 曲线的平均
PDP 不能反映个体差异

局限

对特征相关性敏感
可能评估到数据中不存在的特征组合

2. Individual Conditional Expectation (ICE)

目标

描述某个特征对单个样本预测的影响

定义

$$
\hat{f}^{(i)}_S(x_S) = f(x_S, x_C^{(i)})
$$

要点

每条曲线对应一个样本
不进行平均

性质

ICE 显示个体异质性
ICE 可用于检测非线性与特征交互

关系

PDP = ICE 的平均

3. Accumulated Local Effects (ALE)

目标

在存在特征相关性时，可靠地估计特征影响

核心思想

基于局部变化
只在数据实际出现的区间内计算

计算要点

在每个区间内计算预测差值
对差值取平均
对区间结果进行累积（accumulate）
对整体结果中心化（均值为 0）

性质

ALE ≠ derivative
ALE ≠ difference
ALE = accumulated local differences

优势

对特征相关性更鲁棒
提供稳定的全局解释

4. Feature Interaction（特征交互）

定义

一个特征对预测的影响取决于另一个特征的取值

无交互

$$
f(x_j, x_k) = f_j(x_j) + f_k(x_k)
$$

有交互

$$
f(x_j, x_k) = f_j(x_j) + f_k(x_k) + g_{jk}(x_j, x_k)
$$

要点

特征交互在真实数据中普遍存在
交互形式不局限于乘积

5. Friedman’s H-statistic

用途

量化特征交互的强度

性质

Global
Model-agnostic
数值指标（scalar）

含义

$H \approx 0$：弱或无交互
$H \approx 1$：强交互

限制

不能描述交互的具体形式
不能替代 PDP / ICE / ALE

6. Functional ANOVA

目标

将复杂预测函数分解为一组可解释的子函数

形式

$$
f(x) = f_0 + \sum_i f_i(x_i) + \sum_{i<j} f_{ij}(x_i, x_j) + \dots
$$

要点

Incremental decomposition
各分量线性相加还原原函数

性质

可分解主效应与高阶交互
component 数量为 $2^d$（含 baseline）
所有 component functions 的期望为 0（centred）

能力

可评估特征交互的相对强度
非唯一的交互检测方法

7. Permutation Feature Importance (PFI)

目标

评估特征对模型性能的影响

方法

随机打乱单个特征
比较置换前后模型性能变化

性质

Model-agnostic
Global importance

性能变化方向

使用 loss：置换后通常 increase
使用 score：置换后通常 decrease

Lecture 3–4 总结

PDP：平均特征效应
ICE：个体特征效应
ALE：相关特征下的稳健效应
H-statistic：交互强度量化
Functional ANOVA：函数级分解
PFI：性能驱动的重要性评估