Редактирование: RAMBA AI Router (раздел)

= Router v4 =

Следующий этап разработки — '''RAMBA AI Router v4'''.

Главное изменение:

'''контекстная маршрутизация.'''

Router должен учитывать не только последнее сообщение, но и историю текущего диалога.

Планируемая структура сессии:

<pre>
session
 │
 ├── session_id
 ├── current_role
 ├── previous_model
 └── messages
       │
       ├── user
       ├── assistant
       ├── user
       ├── assistant
       └── ...
</pre>

Например:

<pre>
Пользователь:
В Proxmox vfio-pci не захватывает GTX 1080.

→ INFRA / Qwen3 8B

Пользователь:
А как проверить?

→ анализ контекста
→ сохранение роли INFRA
→ Qwen3 8B
</pre>

== План Router v4 ==

Первый этап:

# хранение истории диалога;
# передача контекста модели;
# ограничение размера истории;
# sticky routing;
# корректная обработка коротких follow-up сообщений.

Второй этап:

# отдельный system prompt для FAST;
# отдельный system prompt для INFRA;
# отдельный system prompt для SMART.

Третий этап:

# оценка уверенности Router;
# автоматическая эскалация FAST → SMART;
# обработка неоднозначных запросов;
# дополнительные контрольные тесты.

== Дальнейшее развитие ==

Перспективная архитектура RAMBA AI:

<pre>
                     Пользователь
                          │
                          ▼
                  RAMBA AI Router
                          │
            ┌─────────────┼─────────────┐
            ▼             ▼             ▼
          FAST          INFRA         SMART
            │             │             │
            └─────────────┼─────────────┘
                          │
                          ▼
                       Verifier
                          │
                          ▼
                         RAG
                          │
                          ▼
                  Финальный ответ
</pre>

Планируется развитие следующих компонентов:

* '''Context Memory''' — память текущего диалога;
* '''Verifier''' — проверка качества и корректности ответа;
* '''Escalation''' — передача сложного запроса более сильной модели;
* '''RAG''' — подключение собственной базы знаний RAMBA;
* '''Infrastructure Knowledge''' — информация о серверах и сервисах RAMBA;
* '''Tool Calling''' — выполнение разрешённых действий через инструменты;
* '''Metrics''' — статистика качества, скорости и маршрутизации.

== Статус проекта ==

{| class="wikitable"
! Компонент
! Статус
|-
| Ollama
| '''Готово'''
|-
| GPU inference
| '''Готово'''
|-
| FAST model
| '''Готово'''
|-
| INFRA model
| '''Готово'''
|-
| SMART model
| '''Готово'''
|-
| Router API
| '''Готово'''
|-
| Score-based routing
| '''Готово'''
|-
| Ollama model detection
| '''Готово'''
|-
| Session affinity
| '''Готово'''
|-
| Router v3 test
| '''30/30'''
|-
| Context-aware routing
| В разработке (v4)
|-
| Verifier
| Планируется
|-
| RAG
| Планируется
|}

== Итог ==

'''RAMBA AI Router v3''' подтвердил работоспособность архитектуры динамического выбора локальных языковых моделей.

Контрольный тест показал:

<pre>
30 / 30
100%
PERFECT ROUTING
</pre>

Вместо запуска одной универсальной модели RAMBA AI использует несколько специализированных моделей и выбирает подходящую в зависимости от характера задачи.

Следующий этап проекта — '''Router v4''', который добавит память диалога и контекстную маршрутизацию.

[[Категория:RAMBA]]
[[Категория:RAMBA AI]]
[[Категория:Искусственный интеллект]]
[[Категория:Серверы]]