Captum

¿Qué es Captum?

Captum es una biblioteca integral de interpretabilidad de modelos construida sobre PyTorch, diseñada para ayudar a investigadores y desarrolladores a analizar qué características, conceptos o ejemplos de entrenamiento influyen en las predicciones del modelo. Admite una amplia gama de modelos PyTorch y modalidades que incluyen visión, texto y audio. Captum ofrece algoritmos de atribución de última generación como Integrated Gradients y métodos basados en conceptos como TCAV, junto con herramientas de robustez para detectar vulnerabilidades mediante ataques adversariales y perturbaciones. Su diseño extensible facilita la investigación y solución práctica de problemas para mejorar la transparencia y fiabilidad del modelo.

Características Principales

• Interpretabilidad Multimodal

  Admite la interpretación de modelos que procesan imágenes, texto, audio y más, permitiendo una amplia aplicabilidad.

• Amplia Gama de Métodos de Atribución

  Incluye algoritmos como Integrated Gradients, Saliency Maps, TCAV y Layer-wise Relevance Propagation para un análisis detallado de características y conceptos.

• Herramientas de Robustez y Adversariales

  Proporciona métricas y ataques como el método fast-gradient sign y descenso de gradiente proyectado para evaluar y mejorar la robustez del modelo.

• Integración Perfecta con PyTorch

  Funciona con la mayoría de los modelos de PyTorch con modificaciones mínimas, incluidos los construidos con torchvision y torchtext.

• Código Abierto y Extensible

  Permite a los investigadores implementar nuevos algoritmos de interpretabilidad y evaluarlos fácilmente dentro de la biblioteca.

Casos de Uso

• Depuración y Mejora de Modelos : Identifica características y conceptos clave que influyen en las predicciones para refinar y solucionar problemas en los modelos.
• Investigación en Interpretabilidad : Desarrolla y evalúa nuevos algoritmos de interpretabilidad a través de diversos tipos de modelos y modalidades de datos.
• Análisis de Equidad y Sesgo : Utiliza métodos basados en conceptos como TCAV para detectar y evaluar sesgos relacionados con atributos sensibles en los modelos.
• Monitoreo de Modelos en Producción : Mejora la transparencia de los modelos implementados, ayudando en la solución de problemas y explicación de resultados a los usuarios finales.

Preguntas Frecuentes