Локальные движки

Движок Draggy, colibri и локальные серверы, которые может использовать Draggy.

На этом компьютере#

Первым идёт движок Draggy с моделями, которые вы загрузили в Settings → Models. Ниже перечислены локальные серверы, которые знает Draggy: colibri, Ollama, LM Studio, llama.cpp server, vLLM, SGLang, Jan, LocalAI, KoboldCpp, text-generation-webui, GPT4All, llamafile и Lemonade.

Движок colibri предназначен для крупных моделей со смесью экспертов, которые не помещаются в память. Он подгружает части модели с диска по мере работы, поэтому работает медленно.

Запустите сервер и нажмите Scan. Draggy проверяет обычный порт каждого сервера на этом компьютере и выводит найденные модели. Для сервера на другом порту или на другой машине задайте его Address в разделе Advanced. У некоторых серверов порт по умолчанию совпадает (colibri, vLLM и Lemonade используют 8000; llama.cpp, LocalAI и llamafile используют 8080), поэтому сканирование может показать не тот сервер.

Локальный API#

Draggy может также отдавать свои модели другим программам. По умолчанию это выключено. Он слушает 127.0.0.1:11500, говорит в формате OpenAI /v1/chat/completions, требует ключ и отвечает на два запроса одновременно. Находится в Settings → Local API.