Обробка масштабних корпоративних даних для АШ-пошуку традиційно залишалася ресурсоємним процесом. Особливо після впровадження семантичної кластеризації. Синхронна індексація вимагала великих обчислювальних потужностей, сповільнювала роботу системи та суттєво збільшувала операційні витрати. Звісно, ми розуміли: рано чи пізно ми маємо вирішити цю проблему в нашому Персональному асистенті & Корпоративному чат-боті AI-UniBot. І, звісно, ми розуміли: краще таки «рано».

Сьогодні наш AI-UniBot інтегрував Azure OpenAI Batch Processing — технологію Microsoft , що виконує асинхронну пакетну обробку даних. Це рішення прискорює індексацію знань в рази та знижує її вартість на 50%, перетворюючи її на ефективний і масштабований процес. Нижче – про те, чому це важливо. 

Коли AI-UniBot аналізує документи для семантичної кластеризації (наприклад, визначає, чи належить технічний звіт до кластеру «Фінансів» чи «R&D»), він використовує потужні моделі Штучного Інтелекту (АІ). Під час індексації десятків тисяч файлів це створює навантаження: уповільнення системи через синхронні запити, зростання вартості обчислень у реальному часі, ускладнення паралельної обробки через обмеження.

 Azure OpenAI Batch Processing працює інакше. Щонайперше, застосовується асинхронність: запити на індексацію накопичуються в «пакеті» і обробляються фоново. Також є окрема квота на обробку запитів до АІ: процес індексації на заважає обробляти запити Користувачів, тож робота системи не уповільнюється. При цьому вартість обробки пакетних запитів до АІ, що генеруються в процесі індексації, на 50% менша за вартість користувацьких запитів. Таким чином Ai-UniBot одночасно обробляє сотні тисяч документів з гарантією завершення за 24 години щонайпізніше
.
Ми відтестували це рішення на таких бізнес-кейсах. 

У Юридичній Фірмі з високими вимогами до конфіденційності AI-UniBot використовує пакетну обробку для семантичної кластеризації судових рішень. Раніше синхронні запити до АІ-моделей блокували роботу бота під час пікового навантаження. Найчастіше це трапляється саме в рамках робочого дня, коли десятки Користувачів завантажують систему запитами «на зараз». А після завершення робочого дня кількість таких запитів помітно знижується. 

Технологія Microsoft виконує індексацію в фоновому режимі через окрему квоту, гарантуючи безперебійну роботу AI-UniBot для реальних, потрібних на зараз, запитів Користувачів (наприклад, пошук прецедентів у чаті). Це також усуває ризики втрати даних через досягнення ліміту часу на отримання відгуку.

Для міжнародної R&D Лабораторії критичною була можливість одночасної обробки 500+ технічних звітів щодня. Azure OpenAI Batch Processing автоматизує кластеризацію документів за напрямками (як-от «Нанотехнології», «Біоінженерія», тощо) із гарантією завершення протягом 24 годин, незалежно від обсягів. Це забезпечує актуальність знань для функцій DeepSearch (глибинний пошук) та DeepThink (аналіз зв’язків), не вимагаючи додаткових інвестицій у сервери.

Працює це так: технологія відокремлює ресурсомістку індексацію від щоденних операцій AI-UniBot. Запити на обробку документів накопичуються у спеціальній черзі, де формуються пакети. Потім вони асинхронно передаються на потужності Azure OpenAI, де АІ-моделі виконують семантичний аналіз (наприклад, визначення тематики контракту або категоризацію фінансових звітів). Витрати знижуються за рахунок пріоритетного доступу до «пакетної» квоти Microsoft, адже вона на 50% дешевша за стандартний API. Система автоматично контролює прогрес, перезапускає збої та інтегрує результати в базу знань AI-UniBot без втручання Людини.

Коротше кажучи, після інтеграції Azure OpenAI Batch Processing, AI-UniBot стає оптимальним рішенням для роботи з Big Data. Технологія дозволяє індексувати гігантські архіви величезних Компаній за години замість днів. При цьому стабільність роботи системи під час навантажень гарантована. А витрати на обчислення зменшені вдвічі.