liaoweixiang

Text Generation WebUI

基于Gradio的大模型文本生成Web界面，支持本地运行

Msty

专门用于搜索和发现最适合需求的大模型搜索引擎

llama.cpp

高效的大模型推理库，用C++编写，优化本地运行性能

LM Studio

支持在本地电脑运行和聊天大模型的桌面应用程序

GPT4All

本地运行大语言模型，支持离线使用与多平台。

Ollama

简单易用的本地大模型运行工具，支持多平台。

TGI

Hugging Face推出的高性能文本生成推理服务器。

Kubeflow

基于Kubernetes的机器学习工具包，简化部署流程。

Triton Inference Server

英伟达推出的AI推理服务器，支持多种深度学习框架。

vLLM

高吞吐、低延迟的大语言模型推理引擎。

ClearML

一站式MLOps平台，涵盖实验追踪与模型编排。

Aim

开源机器学习实验追踪工具，可视化训练过程。