llm

共 8 篇网址

排序

发布更新浏览点赞

Ollama

简单易用的本地大模型运行工具，支持多平台。

0110

AI开发 # llm # local

llama.cpp

高效的大模型推理库，用C++编写，优化本地运行性能

0100

AI开发 # inference # llm

TGI

Hugging Face推出的高性能文本生成推理服务器。

0100

AI开发 # inference # llm

Text Generation WebUI

Text Generation WebUI

基于Gradio的大模型文本生成Web界面，支持本地运行

090

AI开发 # interface # llm

Msty

专门用于搜索和发现最适合需求的大模型搜索引擎

090

AI开发 # desktop # llm

GPT4All

本地运行大语言模型，支持离线使用与多平台。

090

AI开发 # llm # local

vLLM

高吞吐、低延迟的大语言模型推理引擎。

090

AI开发 # inference # llm

Semantic Kernel

Semantic Kernel

微软SDK，将大语言模型集成到现有代码中。

090