大模型可解释性技术
理解大模型的决策过程是可信AI的核心，本文介绍可解释性研究方法与实践。
可解释性维度
- 全局解释：
- 模型能力边界
- 知识分布
-
偏见分析
-
局部解释：
- 单次预测依据
- 注意力可视化
- 特征重要性
分析方法
基于注意力
- 注意力模式分析
- 头重要性评估
- 跨层注意力追踪
基于探针
- 概念激活向量
- 知识神经元定位
- 模块功能测试
可视化工具
- Transformer特定：
- BertViz
- exBERT
-
LIT（Language Interpretability Tool）
-
通用工具：
- SHAP
- LIME
- Captum
解释生成
- 自然语言解释：
- 自解释模型
- 事后解释生成
-
对比解释
-
结构化解释：
- 决策树提取
- 规则列表
- 影响图
应用场景
- 模型调试
- 合规审计
- 用户信任建立
- 安全漏洞检测
研究挑战
- 解释准确性验证
- 规模化解释
- 多模态解释