
AI-UniBot: Кластеризація семантичного індексу для пришвидшеного АІ-пошуку
Коли корпоративні бази знань розростаються до масштабів величезних архівів, навіть потужний АІ-пошук, як у Персонального асистента & Корпоративного чат-бота AI-UniBot, може таки сповільнюватися. І тоді час відгуку стає вже критичним фактором. Особливо в ситуаціях, коли оперативне отримання інформації впливає на ухвалення рішень або комунікацію з Клієнтами.
Таку ситуацію – тобто, відчутне збільшення часу обробки запитів при роботі з дуже великими обсягами неструктурованої інформації – наші Клієнти розцінювали як суттєве обмеження в роботі. І для подолання цього обмеження ми впровадили механізм кластерізації семантичного індексу, який кардинально змінює підхід до пошуку за допомогою Штучного Інтелекту (АІ).
Сутність цього нововведення полягає в структурному поділі індексу на логічні групи – семантичні кластери. Тепер, замість сканування загалом усього масиву даних щоразу, коли Користувач робить запит, AI-UniBot спершу точно визначає, до якого саме кластеру належить тема запиту. І здійснює пошук лише в межах цієї виділеної групи. Це – теж саме, що й шукати потрібну книгу на чітко позначеній полиці конкретного розділу бібліотеки, хай яким гігантським є бібліотечне сховище. Тож тут ідеться не лише про прискорення, а й про підвищення релевантності результатів. Адже пошук відбувається у вузькому, тематично зосередженому контексті.
На практиці це виглядає так:
- Фармацевтична галузь
Уявіть Торговельного Представника великої Фармакологічної Компанії під час зустрічі з Лікарями. Звучить питання про специфічні особливості дії нового медпрепарату. Раніше пошук відповіді в базі з тисячами документів (як-от клінічні дослідження, інструкції, реєстраційні матеріали, тощо) міг зайняти забагато часу, спричиняючи втрату вдалого моменту. Після впровадження кластерізації в AI-UniBot вся інформація була розподілена на 20 тематичних кластерів, що відповідають класам лікарських засобів (приміром, анестетики, антибактеріальні засоби, протигрибкові засоби, засоби для лікування протозойних інфекцій, і т. ін.). Тепер, коли Представник запитує дані про конкретний засіб для симптоматичної фармакотерапії у паліативній допомозі, AI-UniBot миттєво ідентифікує кластер «Анестетики» і шукає винятково в ньому. Це забезпечує отримання точної відповіді за лічені секунди прямо під час діалогу, підвищуючи ефективність роботи Представників та посилюючи довіру Клієнтів.
- Промисловий Холдинг
Великий Промисловий Холдинг, сформований шляхом численних злиттів і поглинань, зіткнувся з критичною проблемою: його знання були розпорошені по десятках старих файлових серверів, SharePoint-сайтах різних періодів і хмарних сховищах. Без єдиної логічної структури. Пошук технічної документації, стандартів або інструкцій був схожий на пошук голки в копиці сіна: це тривало годинами.
Запровадження кластерізації в AI-UniBot на основі організаційної структури (бізнес-підрозділи, наприклад, «Металургія», «Машинобудування», «Енергетика», «Логістика», тощо) призвело до створення близько 60 кластерів. Тепер, навіть при колосальному загальному обсязі даних, пошук обмежується документами лише релевантного підрозділу. Це дозволило скоротити середній час пошуку в 3-4 рази, значно прискоривши вирішення виробничих завдань та доступ до критичної інформації.
- Регламентація складних процесів
Компанія з добре структурованими, але дуже схожими між собою внутрішніми процесами, описала їх у внутрішній документації. В ній знання сегментовано по розділах, наприклад, «Фінансовий сектор» або «IT-аутсорсинг». Втім, ця Компанія таки мала велику проблему: всі тамтешні документи створювалися за єдиними шаблонами Консалтингової Фірми. Тому містили велику кількість ідентичних або дуже близьких за сенсом термінів і фраз. Це призводило до того, що звичайний семантичний пошук на конкретне питання видавав безліч результатів з різних процесів, серед яких важко було знайти саме той, потрібний регламент.
Розподіл усієї цієї документації на AI-UniBot за класами бізнес-процесів (приміром, «Обслуговування Клієнтів», «Управління інцидентами», «Управління змінами», «Фінансові звіти», і т. ін.) утворив близько 15 кластерів. І проблему було вирішено. Тепер пошук запиту щодо, скажімо, процедури ескалації інциденту відбувається винятково в кластері «Управління інцидентами». Так гарантується висока точність і водночас відсутність «шумових» результатів, пов’язаних з іншими процесами
Технічна реалізація:
Увесь процес починається з етапу налаштування, коли Системний Адміністратор AI-UniBot визначає та задає перелік семантичних кластерів, які відповідають бізнес-логіці Організації. Ці кластери можуть ґрунтуватися на структурі Підрозділів, типах документів, продуктах, процесах або будь-якій іншій значущій категорії.
Під час індексації новостворених або уже давно наявних документів AI-UniBot аналізує їхній семантичний зміст (ключові теми, концепції, номенклатуру) та автоматично відносить кожен документ до одного або кількох (у разі необхідності) визначених кластерів. Ця інформація фіксується в семантичному індексі.
Коли Користувач робить запит, AI-UniBot не починає сканувати весь індекс відразу. Натомість, спочатку аналізує семантику запиту, щоб визначити, до якого кластеру або кластерів він належить. І лише після цього запускає пошук, який відбувається винятково в межах індексу обраних кластерів. Цей підхід дозволяє зменшити обсяг даних, що підлягають обробці під час кожного пошукового запиту, іноді на порядки. І саме це й впливає безпосередньо на швидкість відгуку системи.
Коротше кажучи, нова функція кластерізації семантичного індексу в Персональному асистенті & Корпоративному чат-боті AI-UniBot є стратегічним рішенням для Організацій, які працюють з величезними масивами неструктурованої інформації. Це прискорює АІ-пошук в рази, а іноді й на порядки. Адже відбувається цілеспрямоване обмеження зони пошуку релевантними семантичними кластерами, що водночас ще й підвищує точність результатів. Так AI-UniBot знову підтверджує репутацію потужного інструменту, що забезпечує завжди оперативний доступ до критичної бізнес-інформації в реальному часі.