Перейти к содержанию

CLI

Для основной работы с llmbroker команды CLI не требуются: Broker() сам загружает список моделей. CLI помогает подготовить переменные для API-ключей и посмотреть содержимое поддерживаемых списков.

Отдельной команды для обновления списка нет. Локальный список обновляется автоматически, а реестр в базе данных следует обновлять из приложения вызовом broker.sync("freetier"). Подробнее см. в разделе Серверы и кластеры.

Обе команды сначала пытаются загрузить свежие данные из каталога; время ожидания ограничено 10 секундами. Если загрузка не удалась, используется сохранённая локальная копия, а затем копия из установленного пакета. Поэтому команды работают без сети, в том числе в CI. Если используется копия из пакета, команда выводит предупреждение в стандартный поток ошибок; эта копия соответствует установленной версии llmbroker.

env: создать .env с ключами

llmbroker env freetier > .env

Команда выводит заготовку .env для указанного списка моделей. Перед каждой переменной приводится ссылка для получения ключа:

# OPENROUTER_API_KEY — Create a free API key at [openrouter](https://openrouter.ai/keys).
OPENROUTER_API_KEY=

Единственный аргумент команды — имя набора. Команда не зависит от того, где хранится рабочий реестр брокера и существует ли он локально. Поддерживается следующий набор:

  • freetier — бесплатные точки доступа к API Groq, OpenRouter, Gemini и Z.AI.

Получите нужные ключи у провайдеров и впишите их в файл. Брокер автоматически читает .env из рабочего каталога, при этом переменная окружения имеет приоритет над значением из файла. О других способах хранения см. в разделе API-ключи.

list: показать доступные модели

llmbroker list

Команда ничего не изменяет и выводит по одной модели в строке. Строки pool описывают модели из общего пула. Строки direct описывают платные модели для прямого вызова. После типа строки указаны постоянный псевдоним, идентификатор провайдера, идентификатор модели, base_url и api_key_ref.

pool groq-gpt-oss-120b openai/gpt-oss-120b https://api.groq.com/openai/v1 GROQ_API_KEY
direct opus anthropic claude-opus-5 https://api.anthropic.com/v1 ANTHROPIC_API_KEY

Чтобы использовать псевдоним, передайте его при создании брокера: Broker(direct=["opus"]). Затем вызывайте модель через broker.direct("opus"). Подробнее см. в разделе Прямые вызовы модели.