Przegląd

Wiedza AI oparta jest na technologii Retrieval-Augmented Generation (RAG), zaawansowanej metodzie sztucznej inteligencji, która rozszerza duże modele językowe (LLM) poprzez dynamiczne pobieranie informacji z określonych źródeł w czasie rzeczywistym. W przeciwieństwie do standardowych modeli AI, które opierają się wyłącznie na wcześniej wytrenowanych danych, RAG dynamicznie wyszukuje odpowiednie dokumenty w wyznaczonych bazach wiedzy przed wygenerowaniem odpowiedzi. Dzięki temu odpowiedzi generowane przez AI są nie tylko trafne kontekstowo, ale także aktualne, co czyni tę technologię szczególnie użyteczną w zarządzaniu usługami informatycznymi (ITSM) i środowiskach korporacyjnych, gdzie wiedza stale ewoluuje.

Matrix42 oferuje elastyczne opcje wdrażania rozwiązań opartych na sztucznej inteligencji (AI). Korzystając z platformy CAI (Conversational AI) z lokalnie hostowanymi komponentami Natural Language Processing (NLP) i modelu dużego języka (LLM) – w pełni należącymi do Matrix42 i przez nią obsługiwanymi – na żadnym etapie przetwarzania danych nie są zaangażowani zewnętrzni dostawcy. Wszystkie dane pozostają w infrastrukturze klienta lub w zatwierdzonych środowiskach hostowanych Matrix42 (np. w UE), co zapewnia pełną kontrolę nad infrastrukturą, przepływem danych i zgodnością z przepisami.

Klienci mogą również zdecydować się na integrację z zewnętrznymi dostawcami LLM, takimi jak Azure OpenAI Service lub OpenAI . W takich przypadkach dane wprowadzane przez użytkownika i kontekst wymagany do wygenerowania odpowiedzi są przesyłane do infrastruktury wybranego dostawcy i przetwarzane zgodnie z jego regionalnymi zasadami hostingu i ochrony danych.

Matrix42 GenAI może usprawnić proces pozyskiwania wiedzy z wykorzystaniem AI Knowledge, wykorzystując technologię generacji rozszerzonej o wyszukiwanie (RAG). Dzięki temu użytkownicy końcowi otrzymują dokładne, kontekstowe odpowiedzi oparte na wewnętrznej wiedzy organizacji, takie jak:

• Dokumentacja usług informatycznych.
• Bazy wiedzy.
• Polityka firmy.
• Wewnętrzne repozytoria (wiki, pliki PDF, Confluence i źródła danych strukturalnych).

Model ten gwarantuje, że pobierane i udostępniane są wyłącznie autoryzowane i istotne informacje, co usprawnia samoobsługę i zmniejsza obciążenie zespołów wsparcia IT.

Możliwe osadzenia widżetów:

• Portal samoobsługowy M42
• Zespoły MS
• Strona internetowa (publiczna, wewnętrzna)

Źródła danych

AI Knowledge obsługuje następujące źródła danych:

• Strony internetowe – obsługuje strony, których elementy nie są generowane dynamicznie.
• Pliki lokalne – obsługiwane formaty: CSV, XLS/XLSX, DOCX, PDF.
• Pliki PDF pobrane ze stron internetowych – możliwość pobierania i analizowania zawartości plików PDF bezpośrednio z linków.

Dostępne środowiska wykonawcze

• M42 lokalny GenAI (Finlandia, Niemcy)
• Przynieś własny model ( Azure OpenAI / OpenAI )

Wtyczki i integracje

System obsługuje integrację z następującymi źródłami:

• M42 Core / Pro
• Zbieg
• Dokuwiki (aktualnie w trakcie wdrażania)
• Pliki lokalne
• Crawler – do scrapowania statycznych stron internetowych

Dodatkowe funkcje

Zapora sieciowa

System posiada mechanizmy bezpieczeństwa ograniczające dostęp do nieautoryzowanych zasobów i kontrolujące przepływ danych, co zapewnia bezpieczeństwo. Zapora sieciowa może być oparta na OpenAI , środowisku uruchomieniowym Azure Open API lub lokalnym modelu klasyfikacji.

Pobieranie linków

• Umożliwia pobieranie zawartości strony internetowej, na której osadzony jest widget używany przez użytkownika.
• Obsługuje strony ze statyczną treścią.

Ponowna klasyfikacja

• Mechanizm sortowania dokumentów na podstawie ich istotności dla danego zapytania.
• Wybór najlepszych dokumentów do polecenia na podstawie oceny trafności.

Wyszukiwanie pełnotekstowe (FTS)

• Wyszukiwanie pełnotekstowe umożliwiające pobieranie odpowiednich fragmentów z dokumentów i plików.

Przepływ pracy systemu

1. Użytkownik przesyła zapytanie – interakcja odbywa się poprzez widget lub inny interfejs systemowy.
2. Wyszukiwanie oparte na osadzaniu – zapytanie jest kodowane w wektorze i porównywane z istniejącymi dokumentami w bazie danych.
3. Ranking i zmiana rankingu – system sortuje wyniki na podstawie ich trafności.
4. Najlepsze dokumenty są uwzględniane w pytaniu – wybrana treść służy do sformułowania odpowiedzi.
5. Generowanie odpowiedzi przez GPT – model generuje odpowiedź na podstawie instrukcji systemowych i wybranych dokumentów.

Obsługa kontekstu

• System umożliwia zadawanie pytań uzupełniających, dzięki czemu użytkownicy mogą kontynuować rozmowę, zachowując jednocześnie kontekst.
• Opcja wyłączenia kontekstu dla niezależnych odpowiedzi.

Automatyczne odświeżanie danych

• Możliwość okresowego ponownego pobierania danych, np. ze stron internetowych.
• Zapewnia aktualność informacji poprzez zaplanowane aktualizacje źródeł.

Pro danych i prywatność

• Matrix42 przetwarza wyłącznie dane niezbędne do wygenerowania trafnej i dokładnej odpowiedzi. Zazwyczaj obejmuje to dane wprowadzone przez użytkownika (zapytanie), odpowiednie atrybuty kontekstowe z platformy M42 Pro oraz istotne treści pobrane z bazy wiedzy organizacji.
• Domyślnie transkrypcje rozmów są przechowywane przez okres 12 miesięcy. Okres ten można dostosować do preferencji klienta lub wewnętrznych zasad. Dane zebrane podczas interakcji nie są wykorzystywane do trenowania modeli AI. Matrix42 nie przetwarza, nie przechowuje ani nie pobiera żadnych danych wrażliwych ani osobowych poza danymi niezbędnymi do wygenerowania odpowiedzi.

Następujące dane są rejestrowane w dziennikach systemowych w celach audytu i monitorowania:

question – pytanie użytkownika.

response – poprzednia odpowiedź, umożliwiająca ciągłość kontekstu.

sessionId – unikalny identyfikator sesji konwersacji.

addressIp – adres IP użytkownika (jeśli dostępny).

startTime – znacznik czasu oznaczający rozpoczęcie sesji.

processingTime – czas potrzebny na wygenerowanie odpowiedzi [s].

rawQuestion – oryginalne dane wejściowe przesłane przez użytkownika.

rawResponse – nieprzetworzona odpowiedź wygenerowana przez model AI.

Wiedza o sztucznej inteligencji – architektura wysokiego poziomu

FAAS (Funkcja jako usługa) – to wewnętrzny moduł odpowiedzialny za komunikację z modelami i platformami zewnętrznymi. Jest w pełni konfigurowalny, a dane udostępniane zewnętrznie muszą być jasno określone w tym module. Dostosowywanie odbywa się w projekcie i opiera się na tym, co jest potrzebne do wygenerowania pożądanej odpowiedzi: pytaniu użytkownika, monicie systemowym i danych z wektorowej bazy wiedzy. Model ani żadne platformy zewnętrzne nie mają bezpośredniego dostępu do danych.

Architektura techniczna integracji MS Teams (odkrywanie wiedzy)

Warstwa interakcji użytkownika

Aplikacja Microsoft Teams

• Niestandardowa aplikacja Teams instalowana przez użytkowników organizacji.
• Pełni funkcję podstawowego interfejsu użytkownika umożliwiającego interakcję z usługą Knowledge Discovery.
• Pro interakcje zarówno na czacie, jak i potencjalnie adaptacyjne interakcje z wykorzystaniem kart .

Usługa Azure Bot

• Obsługuje wiadomości przychodzące z Teams.
• Wykonuje rozpoznawanie intencji , uwierzytelnianie i kierowanie do usług zaplecza.
• Może inicjować proaktywne wiadomości, jeśli zajdzie taka potrzeba (np. przypomnienia, aktualizacje biletów).

Infrastruktura Cloud Azure

Grupa zasobów platformy Azure

• Logiczny kontener zarządzający wszystkimi powiązanymi zasobami Azure .

Azure Bot

• Zarejestrowany bot integrujący się z Microsoft Teams za pośrednictwem Bot Framework.
• Łączy się z aplikacją internetową w celu obsługi logiki biznesowej lub dostępu do zewnętrznych interfejsów API .

Aplikacja internetowa Azure (Node.js w Dockerze)

• Centralna aplikacja zaplecza.
• Hostowane jako konteneryzowana aplikacja Node.js za pośrednictwem usługi Azure App Service.
• Uchwyty:
  • Uwierzytelnianie i autoryzacja
  • Zarządzanie stanem dialogu
  • Logika routingu
  • Integracja z GenAI /Rail API

Rejestr kontenerów platformy Azure

• Przechowuje obrazy Docker używane przez aplikację internetową.
• Obsługuje przepływy pracy CI/CD i wdrożenia w wersjach.

Azure Cosmos DB ( NoSQL )

• Trwa:
  • Historia czatu
  • Preferencje i profile użytkowników
  • Metadane dotyczące trwających sesji

Warstwa integracyjna

• Platforma sztucznej inteligencji konwersacyjnej Matrix42
  • Działa jako centralny węzeł koordynacji sztucznej inteligencji .
  • Odbiera dane w języku naturalnym i wzbogaca je, wykorzystując:
  • M42 GenAI lub zewnętrzne programy LLM
    • Generacja wspomagana wyszukiwaniem (RAG)
    • Pamięć kontekstowa z poprzednich sesji
    • Udostępniane za pośrednictwem bezpiecznych punktów końcowych HTTP(S).
• Rail API (oprogramowanie pośredniczące integracyjne)
  • Normalizuje żądania/odpowiedzi pomiędzy warstwą sztucznej inteligencji konwersacyjnej i systemami zewnętrznymi.
  • Zajmuje się uwierzytelnianiem, transformacją żądań i buforowaniem.
  • Trasy do:
    • M42 Enterprise (ESM)
    • Inne systemy biznesowe zaplecza w razie potrzeby
    • M42 Enterprise (ESM)
      • Pro realizację żądań serwisowych, zapytania CMDB, aktualizacje statusu itp.
      • Działa jako podstawowy system zaplecza dla wykonalnych przypadków użycia.

Pro komunikacyjne

• HTTPS
  • Podstawowy protokół bezpiecznego przesyłania danych pomiędzy:
    • Zespoły ↔ Azure Bot
    • Azure Bot ↔ Aplikacja internetowa
    • Aplikacja internetowa ↔ Rail API i ESM
    • Zespoły ↔ Punkty końcowe GenAI za pośrednictwem aplikacji internetowej
• WebSocket (opcjonalny/wtykowy)
  • Do interakcji w czasie rzeczywistym, gdy jest to konieczne (np. przesyłanie strumieniowe odpowiedzi LLM lub wskaźników pisania na żywo).

Warstwa sztucznej inteligencji i odkrywania wiedzy

• M42 GenAI + stos RAG
  • Łączy:
    • Duży model językowy (np. GPT, Phi)
    • Pobieracze dokumentów dla odpowiedzi specyficznych dla domeny
  • Przeszukuje wewnętrzną dokumentację i źródła wiedzy w celu uzyskania dokładnych odpowiedzi.
• Obsługiwane źródła wiedzy:
  • SharePoint (nowoczesny/klasyczny)
  • Atlassian Confluence
  • DokuWiki
  • Wewnętrzne strony internetowe (za pośrednictwem crawlera lub łącznika)
  • Dokumenty PDF, Word, HTML, Markdown
  • Ustrukturyzowane bazy wiedzy

Kompleksowy przepływ pracy

1. Użytkownik wysyła wiadomość w aplikacji Teams
2. Azure Bot przechwytuje i analizuje dane wejściowe.
3. Bot przekazuje żądanie do aplikacji internetowej , która obsługuje:
   1. Walidacja użytkownika/sesji
   2. Wzbogacanie AI poprzez sztuczną inteligencję konwersacyjną
4. Sztuczna inteligencja konwersacyjna wykorzystuje GenAI + RAG do:
   1. Zinterpretuj pytanie
   2. Pobierz istotne treści organizacyjne
   3. Sformułuj odpowiedź przypominającą ludzką
5. Jeśli wymagane jest podjęcie działania (np. utworzenie biletu), aplikacja internetowa kieruje żądanie do interfejsu Rail API , który łączy się z ESM .
6. ESM zwraca dane/wyniki, które są przesyłane z powrotem do aplikacji Teams w celu prezentacji użytkownikowi.
7. Aplikacja internetowa przechowuje kontekst konwersacji w bazie danych Cosmos DB w celu usprawnienia przyszłych interakcji.

Wizualizacja architektury