Arize Phoenix
AI 可观测性领导者 Arize 推出的开源 LLM 评估与追踪套件，擅长 RAG 检索质量分析、幻觉侦测与测试集回归。
排序
Langfuse
开源 LLM 工程可观测与全链路追踪平台，深度追踪复杂 Agent 的内部嵌套调用链、提示词版本管理与自动化质检。
Helicone
专为大模型应用打造的一站式开源可观测性（Observability）平台，一行代理代码开启全球语义缓存、限流与成本审计。
OpenPipe
将昂贵的 GPT-4o 交互日志自动转化为专有小模型微调数据集，训练出成本低 95%、响应快 10 倍的专属蒸馏模型。
LiteLLM
用统一的 OpenAI 格式调用全球 100+ 种大模型 API（Claude、Bedrock、Ollama），自带代理网关与费用管控。
Milvus
LF AI & Data 基金会毕业的云原生超大规模向量数据库，为百亿级海量向量检索打造，分布式扩展无上限。
Weaviate
支持同时存储原始数据对象与向量的多模态 AI 数据库，内置混合搜索（BM25 + Vector）与重排序（Reranking）。
Qdrant
采用纯 Rust 打造的极致性能向量搜索引擎，独创 Payload 过滤与向量索引联合剪枝，混合检索快如闪电。
Pinecone
全球首个完全托管的无服务器（Serverless）云端向量数据库，支持数十亿级向量毫秒级极速相似度检索。
Chroma
开源 AI 原生向量数据库领头羊，极简几行代码即可完成嵌入存储与语义相似度近邻检索。
Chainlit
专为 AI 工程师打造的极速对话应用开源框架，几行 Python 代码即可在数分钟内构建出媲美 ChatGPT 的全功能生产级前端。
Semantic Kernel
微软官方企业级 AI 软件开发套件，支持 C#、Python 与 Java，专为将大模型无缝融入现代大型企业级软件架构而生。
Ragas
RAG（检索增强生成）系统量化评估的全球黄金基准，基于忠实度、答案相关性等指标实现自动化无人值守质检打分。
Haystack
德国 deepset 研发的工业级模块化 NLP 与 RAG 框架，主打高性能语义搜索管道、极简组件化与生产健壮性。
Prompt flow
微软开源的企业级 LLM 应用开发与自动化评估全套工具套件，深度保障大模型从原型验证到生产交付的工程质量。