Не все модели существуют в готовом .gguf -формате. Иногда нужна модель, которую сообщество ещё не квантовало, или хочется получить конкретный квант ( Q4_K_M , Q5_K_M , Q8_0 ), которого нет в готовых сборках. В таких случаях её нужно сконвертировать самостоятельно : из «сырых» весов Hugging Face ( .safetensors ) в GGUF, а затем — в нужный квант. Скрипт convert_to_ gguf.sh автоматизирует весь процесс: от установки зависимостей до финального файла .gguf , с очисткой промежуточных данных. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page