PredictionGuard
大模型安全防护工具，提供内容过滤和PII检测功能
排序
Patronus AI
大模型评估和防护平台，提供自动化测试和安全护栏
Contextual AI
专注于构建检索增强生成模型和AI应用的科技公司
ModelScope
阿里云的模型社区，提供海量开源模型和数据集下载
LM Arena
通过众包投票对大模型进行基准测试和排名的平台
LocalAI
兼容OpenAI API的本地推理服务，支持多种开源模型
Text Generation WebUI
基于Gradio的大模型文本生成Web界面，支持本地运行
Msty
专门用于搜索和发现最适合需求的大模型搜索引擎
llama.cpp
高效的大模型推理库，用C++编写，优化本地运行性能
LM Studio
支持在本地电脑运行和聊天大模型的桌面应用程序
GPT4All
本地运行大语言模型，支持离线使用与多平台。
Ollama
简单易用的本地大模型运行工具，支持多平台。
TGI
Hugging Face推出的高性能文本生成推理服务器。
Kubeflow
基于Kubernetes的机器学习工具包，简化部署流程。
Triton Inference Server
英伟达推出的AI推理服务器，支持多种深度学习框架。