CLI

Ничего из этого для работы с llmbroker не нужно — Broker() сам скачивает пул. Две команды покрывают ровно то, чего llmbroker не может сделать за вас: получить ключи провайдеров и показать, какие модели лежат в курируемых списках.

Команды, которая пишет или обновляет список моделей, здесь нет: свой список брокер держит свежим сам, а реестр в БД обновляет точка входа приложения вызовом broker.sync("freetier") — см. Серверы и кластеры.

Обе сначала спрашивают свежий список у каталога (таймаут 10 секунд), потом — копию, уже скачанную на эту машину, и только потом — копию, вшитую в пакет. Поэтому в офлайне и в CI без сети они не падают, а отвечают тем, что есть; вшитая копия заморожена на той версии llmbroker, которую вы поставили, и когда доходит до неё, команда предупреждает об этом в stderr.

env — сформировать .env с ключами

llmbroker env freetier > .env

Печатает заготовку .env для названного курируемого списка моделей: над каждым ключом — подсказка, где его получить:

# OPENROUTER_API_KEY — Create a free API key at [openrouter](https://openrouter.ai/keys).
OPENROUTER_API_KEY=

Имя пресета — это весь аргумент, поэтому команда одинаково работает и когда локально ещё ничего нет, и когда реестр брокера живёт в базе. Имена, которые можно назвать:

• freetier — бесплатные endpoints от Groq, OpenRouter, Gemini и Z.AI

Сами ключи получите у провайдеров и впишите. Брокер сам читает .env в рабочем каталоге; переменная окружения всегда важнее его. Ключи вообще не обязаны лежать в .env — см. API-ключи.

list — показать, что лежит в курируемых списках

llmbroker list

По модели на строку, и ничего не записывается. Строка pool — модель, по которой пул роутит анонимно. Строка direct — платная модель, которую можно звать по имени: сначала алиас, затем id провайдера, id модели, base_url и api_key_ref.

pool groq-gpt-oss-120b openai/gpt-oss-120b https://api.groq.com/openai/v1 GROQ_API_KEY
direct opus anthropic claude-opus-5 https://api.anthropic.com/v1 ANTHROPIC_API_KEY

Объявите алиас там, где создаёте брокер — Broker(direct=["opus"]), — и зовите через broker.direct("opus"). См. Прямые вызовы модели.