TensorRT
NVIDIA高性能深度学习推理SDK，优化模型在GPU上的运行速度。
排序
ONNX Runtime
跨平台推理加速器，用于高性能运行ONNX格式的机器学习模型。
Segmind
生成式AI工具平台，提供Stable Diffusion图像生成API。
Cohere Embed
Cohere提供的文本嵌入API，支持多语言向量生成
BGE Embeddings
BAAI开源的高性能文本嵌入模型系列
Nomic Embed
Nomic开源的长上下文文本嵌入模型
pgvector
PostgreSQL扩展，为数据库添加向量相似度搜索
Milvus
开源向量数据库，用于存储和检索海量向量数据
Chroma
开源嵌入式数据库，专为AI应用构建的向量存储
GoodData
云端商业智能平台，提供数据可视化、仪表盘及嵌入式分析
LiteLLM
统一调用多种大模型接口的库，支持代理和负载均衡
Fiddler AI
AI可观测性和监控平台，提供模型解释和性能分析
Portkey
大模型网关，提升应用可靠性、速度并提供可观测性
Braintrust
AI工程平台，用于评估、调试和迭代大模型应用
ModelScope
阿里云的模型社区，提供海量开源模型和数据集下载