Ollama
简单易用的本地大模型运行工具，支持多平台。
排序
TGI
Hugging Face推出的高性能文本生成推理服务器。
Kubeflow
基于Kubernetes的机器学习工具包，简化部署流程。
Triton Inference Server
英伟达推出的AI推理服务器，支持多种深度学习框架。
vLLM
高吞吐、低延迟的大语言模型推理引擎。
ClearML
一站式MLOps平台，涵盖实验追踪与模型编排。
Aim
开源机器学习实验追踪工具，可视化训练过程。
Optuna
专为机器学习设计的超参数优化框架。
Neptune
MLOps实验记录与模型注册平台，管理AI生命周期。
Ray Tune
基于Ray的可扩展超参数调优库，支持分布式训练。
TextGrad
通过文本反馈自动优化大语言模型输出的新框架。
DSPy
基于语言模型的编程框架，将提示词优化为代码。
Weave
轻量级工具，用于追踪和评估基于大模型的应用。
Promptfoo
命令行工具，用于测试和评估提示词的质量。
Langfuse
开源大模型工程平台，提供追踪、评估与指标分析。