Редактирование: RAMBA AI Router (раздел)

== Стоимость переключения ==

Загрузка другой модели в VRAM занимает заметное время.

На используемой системе переключение обычно добавляет несколько секунд ожидания.

Поэтому Router старается избегать ненужного переключения модели.

Для этого используются механизмы:

* session affinity;
* hysteresis;
* определение уже загруженной модели.

В перспективе Router должен учитывать не только качество предполагаемого ответа, но и '''стоимость переключения модели'''.