Triton Inference Server
英伟达推出的AI推理服务器，支持多种深度学习框架。
排序
vLLM
高吞吐、低延迟的大语言模型推理引擎。
ClearML
一站式MLOps平台，涵盖实验追踪与模型编排。
Aim
开源机器学习实验追踪工具，可视化训练过程。
Optuna
专为机器学习设计的超参数优化框架。
Neptune
MLOps实验记录与模型注册平台，管理AI生命周期。
Ray Tune
基于Ray的可扩展超参数调优库，支持分布式训练。
TextGrad
通过文本反馈自动优化大语言模型输出的新框架。
DSPy
基于语言模型的编程框架，将提示词优化为代码。
Weave
轻量级工具，用于追踪和评估基于大模型的应用。
Promptfoo
命令行工具，用于测试和评估提示词的质量。
Langfuse
开源大模型工程平台，提供追踪、评估与指标分析。
Helicone
开源大模型可观测性平台，监控应用性能与成本。
LangSmith
LangChain官方平台，用于调试、测试和监控应用。
PearAI
开源AI代码编辑器，提供智能编程辅助功能。