Справочник по основным командам и параметрам llama.cpp . Затрагиваются основные утилиты для инференса: llama-cli , llama-completion , llama-server . Здесь будут представлены все команды и параметры которые можно получить, например, вызовом: “ llama-cli --help ” или “ llama-server --help ”, в том же порядке. Я просто взял и прошелся по всем аргументам и попытался составить короткие, но надеюсь, понятные комментарии к каждому из них. Далеко не все возможности llama.cpp я использую в работе, о многих имею слабое (возможно среднее) представление, поэтому большую часть параметров пришлось “долбить” с ИИ. Но это не было простое копи-паст ответов LLM . Я пытался понять работу каждого параметра - как он устроен, на что влияет, откуда растут корни и тд, и только после того как более-менее (скорее более) становилось понятно, составлял короткие комментарии своими словами, как понял сам. Также приходилось смотреть исходники, чтобы понять принцип работы некоторых особо непонятных параметров. Читать далее →
Continue to Habr →You are being forwarded in 6s — stay on this page