Captum

什么是Captum？

Captum 是一个基于 PyTorch 构建的综合模型可解释性库，旨在帮助研究人员和开发者分析哪些特征、概念或训练示例影响了模型预测。它支持广泛的 PyTorch 模型和包括视觉、文本和音频在内的多种模态。Captum 提供最先进的归因算法，如集成梯度和基于概念的方法（如TCAV），以及通过对抗攻击和扰动检测漏洞的鲁棒性工具。其可扩展设计有助于研究和实用故障排除，以提高模型透明度和可靠性。

主要功能

• 多模态可解释性

  支持解释处理图像、文本、音频等模型，具有广泛的适用性。

• 丰富的归因方法

  包含集成梯度（Integrated Gradients）、显著性图（Saliency Maps）、TCAV和分层相关传播（Layer-wise Relevance Propagation）等算法，用于详细的特征和概念分析。

• 鲁棒性和对抗工具

  提供快速梯度符号法（fast-gradient sign method）和投影梯度下降（projected-gradient descent）等指标和攻击方法，用于评估和提高模型鲁棒性。

• 无缝 PyTorch 集成

  与大多数 PyTorch 模型兼容，仅需少量修改，包括那些使用 torchvision 和 torchtext 构建的模型。

• 开源且可扩展

  允许研究人员在库中轻松实现新的可解释性算法并进行基准测试。

使用场景

• 模型调试和改进 : 识别影响预测的关键特征和概念，以完善和排查模型问题。
• 可解释性研究 : 在各种模型类型和数据模态中开发和基准测试新的可解释性算法。
• 公平性和偏见分析 : 使用基于概念的方法（如TCAV）来检测和评估模型中与敏感属性相关的偏见。
• 生产模型监控 : 提高已部署模型的透明度，帮助排查问题并向最终用户解释输出结果。

常见问题