LM Arena
通过众包投票对大模型进行基准测试和排名的平台
排序
LocalAI
兼容OpenAI API的本地推理服务，支持多种开源模型
Text Generation WebUI
基于Gradio的大模型文本生成Web界面，支持本地运行
Msty
专门用于搜索和发现最适合需求的大模型搜索引擎
llama.cpp
高效的大模型推理库，用C++编写，优化本地运行性能
LM Studio
支持在本地电脑运行和聊天大模型的桌面应用程序
GPT4All
本地运行大语言模型，支持离线使用与多平台。
Ollama
简单易用的本地大模型运行工具，支持多平台。
TGI
Hugging Face推出的高性能文本生成推理服务器。
Kubeflow
基于Kubernetes的机器学习工具包，简化部署流程。
Triton Inference Server
英伟达推出的AI推理服务器，支持多种深度学习框架。
vLLM
高吞吐、低延迟的大语言模型推理引擎。
ClearML
一站式MLOps平台，涵盖实验追踪与模型编排。
Aim
开源机器学习实验追踪工具，可视化训练过程。
Optuna
专为机器学习设计的超参数优化框架。