Обработка масштабных корпоративных данных для поиска с АІ традиционно оставалась ресурсоёмким процессом, особенно после внедрения семантической кластеризации. Синхронная индексация требовала значительных вычислительных мощностей, замедляла работу системы и существенно увеличивала операционные расходы. Разумеется, мы понимали: рано или поздно нам нужно решить эту проблему в нашем Персональном Ассистенте & Корпоративном чат-боте AI-UniBot. И, разумеется, понимали: лучше все-таки «раньше».

Сегодня наш AI-UniBot интегрировал Azure OpenAI Batch Processing — технологию Microsoft, выполняющую асинхронную пакетную обработку данных. Это решение ускоряет индексацию знаний в разы и снижает её стоимость на 50%, превращая процесс в эффективный и масштабируемый. Ниже мы рассказываем, почему это важно.

Когда AI-UniBot анализирует документы для семантической кластеризации (например, определяет, относится ли технический отчет к кластеру «Финансы» или «R&D»), он использует мощные модели Искусственного Интеллекта (AI). Индексация десятков тысяч файлов создает сильную нагрузку: замедление системы из-за синхронных (параллельных) запросов, рост затрат на вычисления в реальном времени, усложнение параллельной обработки из-за ограничений.

Azure OpenAI Batch Processing работает иначе. Прежде всего, используется асинхронность: запросы на индексацию накапливаются в «пакете» и обрабатываются в фоновом режиме. Также есть отдельная квота на обработку AI-запросов: процесс индексации не мешает обработке пользовательских запросов (которые нужны «на сейчас»), так что работа системы не замедляется. При этом стоимость пакетных AI-запросов, генерируемых при индексации, на 50% ниже пользовательских. Таким образом AI-UniBot может одновременно обрабатывать сотни тысяч документов с гарантией завершения не позднее 24 часов.

Мы протестировали это решение на нескольких бизнес-кейсах.

В Юридической Фирме с высокими требованиями к конфиденциальности AI-UniBot использует пакетную обработку для семантической кластеризации судебных решений. Ранее синхронные запросы к AI-моделям блокировали работу бота в периоды пиковой загрузки. Чаще всего так случается в рабочие часы, когда десятки Пользователей отправляют в систему запросы «на сейчас». А вот после окончания рабочего дня таких запросов становится заметно меньше.

Технология Microsoft выполняет индексацию в фоновом режиме по отдельной квоте, гарантируя бесперебойную работу AI-UniBot для срочных пользовательских запросов (например, поиск прецедентов в чате). Таким образом так же устраняется риск потери данных из-за превышения лимита времени на получение ответа.

Для международной R&D Лаборатории критически важной была возможность одновременной обработки 500+ технических отчетов в день. Azure OpenAI Batch Processing автоматизирует кластеризацию документов по направлениям (например, «Нанотехнологии», «Биоинженерия» и др.) с гарантией завершения в течение 24 часов независимо от объёма. Это обеспечивает актуальность знаний для функций DeepSearch (глубинный поиск) и DeepThink (анализ связей), не требуя дополнительных инвестиций в серверы.

Работает это так: технология отделяет ресурсоёмкую индексацию от ежедневных операций AI-UniBot. Запросы на обработку документов накапливаются в специальной очереди, где формируются пакеты. Затем они асинхронно отправляются в ресурсы Azure OpenAI, где AI-модели выполняют семантический анализ (например, определение тематики контракта или категоризацию финансовых отчетов). Расходы снижаются благодаря приоритетному доступу к «пакетной» квоте Microsoft, которая на 50% дешевле стандартного API. Система автоматически контролирует прогресс, перезапускает сбои и интегрирует результаты в базу знаний AI-UniBot без участия человека.

Короче говоря, после интеграции Azure OpenAI Batch Processing, AI-UniBot стал оптимальным решением для работы с Big Data. Технология позволяет индексировать гигантские архивы крупных Компаний за часы, а не дни. При этом стабильность работы системы под нагрузкой гарантирована, а вычислительные расходы сокращены вдвое.