Skip to content

Отключение моделей

Вывести модель из маршрутизации вручную — полностью, пока не включите обратно:

broker.disable_llm("groq-llama")
# ... позже ...
broker.enable_llm("groq-llama")

Вердикт переживает sync пресета и не трогает накопленную историю качества модели.

Кто сейчас выключен, видно в снимке пула — по одному элементу на модель:

for name, entry in broker.snapshot().items():
    print(name, entry.disabled, entry.has_key, entry.cooldown_until, entry.demoted_operations)

Поля — в LLMSnapshot, картина по пулу целиком — в Наблюдении и журнале.