本地引擎

Draggy 引擎、colibri 以及 Draggy 可使用的本地服务器。

本机#

排在最前面的是 Draggy 引擎，里面是你在 设置 → 模型 中下载的模型。下面是 Draggy 认识的本地服务器：colibri、Ollama、LM Studio、llama.cpp server、vLLM、SGLang、Jan、LocalAI、KoboldCpp、text-generation-webui、GPT4All、llamafile 和 Lemonade。

colibri 引擎用于放不进内存的大型混合专家（MoE）模型。它会边运行边从硬盘读取模型的各个部分，所以速度较慢。

启动服务器，然后点击 扫描。Draggy 会在这台电脑上尝试每个服务器的常用端口，并列出找到的模型。如果服务器在别的端口或别的机器上，在 高级 中填写它的 地址。有些服务器共用同一个默认端口（colibri、vLLM 和 Lemonade 为 8000；llama.cpp、LocalAI 和 llamafile 为 8080），所以扫描结果可能列出错误的服务器。

本地 API#

Draggy 还能把自己的模型提供给其他程序使用。它默认关闭，监听 127.0.0.1:11500，使用 OpenAI 的 /v1/chat/completions 格式，需要密钥，同时只处理两个回复。它位于 设置 → 本地 API。