Polarity

Qu'est-ce que Polarity ?

Polarity est une plateforme d'infrastructure d'évaluation conçue spécifiquement pour les agents IA fonctionnant en production. Son moteur principal, Keystone, lance chaque tâche d'agent dans un bac à sable Docker isolé préchargé avec de vrais services de support — Postgres, Redis, S3 et API internes — plutôt que des dépendances simulées. Cette approche de services réels permet à Polarity de détecter avec précision les modèles de défaillance multi-étapes avec état que les outils d'évaluation au niveau des prompts légers comme Braintrust, LangSmith ou Langfuse négligent généralement. Chaque échec détecté est livré avec un reproducteur de seed qui recrée le bac à sable exact localement en une seule commande, raccourcissant considérablement les cycles de débogage.

Fonctionnalités clés

• Isolation de bac à sable avec services réels

  Chaque tâche d'agent s'exécute dans un bac à sable Docker dédié préchargé avec des instances Postgres, Redis, S3 et API internes en direct, garantissant que les évaluations reflètent les conditions de production réelles plutôt que simulées.

• Notation par invariants comportementaux

  Keystone note chaque exécution d'agent selon des invariants comportementaux configurables et des règles d'actions interdites, fournissant aux équipes un signal structuré indiquant si les agents fonctionnent dans les limites prévues.

• Mesure du non-déterminisme

  Les exécutions sont répliquées automatiquement pour quantifier la variation de sortie d'un agent sur des entrées identiques, exposant les problèmes de fiabilité avant qu'ils n'apparaissent en production.

• Reproduction d'échec en une commande

  Chaque exécution échouée est livrée avec un reproducteur de seed qui recrée l'environnement de bac à sable exact localement, permettant aux développeurs de déboguer des échecs d'agents complexes sans reconstruction manuelle de l'environnement.

• Revue de code et tests automatisés

  Revue de pull request intégrée via @paragon-review et infrastructure de tests de bout en bout qui détecte les régressions et les bugs avant qu'ils n'atteignent la production.

• Surveillance en temps réel et assistant CLI

  Surveillance d'application avec alertes en direct, complétée par un assistant basé sur terminal (Paragon CLI) pour écrire, réviser et gérer le code directement depuis la ligne de commande.

Cas d'utilisation

• Évaluation d'agents en production : Les équipes d'ingénierie exécutant des agents IA en production utilisent Polarity pour évaluer en continu le comportement des agents sur de vrais services avec état, détectant les modes de défaillance qui n'apparaissent que dans des conditions réalistes.
• Tests d'agents multi-étapes complexes : Les équipes construisant des workflows d'agents multi-étapes de longue durée s'appuient sur Polarity pour valider le séquençage correct, la persistance d'état et l'interaction de service sur toute la chaîne d'exécution.
• Benchmarking de fiabilité des agents : Les organisations peuvent mesurer et comparer le non-déterminisme entre les versions ou configurations d'agents, aidant à prioriser les améliorations de stabilité avant un déploiement plus large.
• Débogage rapide des échecs : Les développeurs utilisent les reproducteurs de seed pour recréer instantanément les conditions d'échec exactes localement, réduisant le temps d'investigation sur les bugs avec état difficiles à reproduire.
• Intégration de pipeline CI/CD : Les équipes de développement intègrent les outils de revue de code et de test de Polarity dans leurs workflows de pull request pour appliquer automatiquement des portes de qualité à chaque modification de code.

FAQ