
Arize Phoenix
AI 可观测性领导者 Arize 推出的开源 LLM 评估与追踪套件,擅长 RAG 检索质量分析、幻觉侦测与测试集回归。
微软开源的企业级 LLM 应用开发与自动化评估全套工具套件,深度保障大模型从原型验证到生产交付的工程质量。
微软用于支撑 Azure AI Studio 核心应用工程能力的开源套件。Prompt flow 将大模型交互视作严格的软件工程,提供完善的批量评估(Evaluation Runs)与回归测试套件。让开发者在提示词微调或更换模型后,能基于数千条生产基准测试集定量跑出准确率、召回率变化,避免盲目上线。
pip install promptflow promptflow-tools && pf flow test --flow ./my_flow
支持针对大批量测试用例自动计算准召率等量化指标
可视化观察每次大模型调用的延迟、耗时与 Token 开销
与微软云 Azure AI 生态深度融合,一键转为生产端点
将 AI 开发带入传统 CI/CD 软件工程的标准化轨道







