inference

共 6 篇网址

排序

发布更新浏览点赞

llama.cpp

高效的大模型推理库，用C++编写，优化本地运行性能

0100

AI开发 # inference # llm

TGI

Hugging Face推出的高性能文本生成推理服务器。

0100

AI开发 # inference # llm

Triton Inference Server

Triton Inference Server

英伟达推出的AI推理服务器，支持多种深度学习框架。

0130

AI开发 # inference # ml

vLLM

高吞吐、低延迟的大语言模型推理引擎。

090

AI开发 # inference # llm

Fireworks AI

快速的生成式AI推理平台，提供高性能模型服务

0110

AI开发 # inference

DeepInfra

开源大模型的无服务器推理平台，按量付费

080

AI开发 # inference