Überblick

AI Knowledge basiert auf Retrieval-Augmented Generation (RAG), einem fortschrittlichen KI-Ansatz, der große Sprachmodelle (LLMs) durch den dynamischen Abruf von Informationen aus bestimmten Quellen in Echtzeit erweitert. Im Gegensatz zu Standard-KI-Modellen, die ausschließlich auf zuvor trainierten Daten basieren, sucht RAG dynamisch nach relevanten Dokumenten in bestimmten Wissensdatenbanken, bevor eine Antwort generiert wird. Dies stellt sicher, dass KI-generierte Antworten nicht nur kontextuell korrekt, sondern auch aktuell sind. Dies macht diese Technologie besonders nützlich im IT-Service-Management (ITSM) und in Unternehmensumgebungen, in denen sich Wissen ständig weiterentwickelt.

Matrix42 bietet flexible Bereitstellungsoptionen für KI-basierte Lösungen. Bei Verwendung der CAI-Plattform (Conversational AI) mit lokal gehosteten Natural Language Processing (NLP)- und Large Language Model (LLM)-Komponenten – vollständig im Besitz von Matrix42 und von Matrix42 betrieben – sind in keiner Phase der Datenverarbeitung externe Anbieter involviert. Alle Daten verbleiben innerhalb der Infrastruktur des Kunden oder in genehmigten, Matrix42 gehosteten Umgebungen (z. B. innerhalb der EU). Dies gewährleistet die volle Kontrolle über Infrastruktur, Datenfluss und Compliance.

Alternativ können Kunden externe LLM-Anbieter wie Azure OpenAI Service oder OpenAI integrieren. In diesem Fall werden die für die Antwortgenerierung erforderlichen Benutzereingaben und der Kontext an die Infrastruktur des ausgewählten Anbieters übertragen und gemäß dessen regionalen Hosting- und Datenschutzrichtlinien verarbeitet.

Matrix42 GenAI kann KI-Wissen durch Retrieval-Augmented Generation (RAG) unterstützen. Dadurch erhalten Endbenutzer präzise, kontextbezogene Antworten basierend auf dem internen Wissen des Unternehmens, wie zum Beispiel:

• IT-Servicedokumentation.
• Wissensdatenbanken.
• Unternehmensrichtlinien.
• Interne Repositories (Wikis, PDFs, Confluence und strukturierte Datenquellen).

Das Modell stellt sicher, dass nur autorisierte und relevante Informationen abgerufen und weitergegeben werden, wodurch die Self-Service-Funktionen verbessert und gleichzeitig die Arbeitsbelastung der IT-Supportteams reduziert wird.

Mögliche Widget-Einbettungen:

• M42 Self-Service-Portal
• MS Teams
• Webseite (öffentlich, intern)

Datenquellen

AI Knowledge unterstützt die folgenden Datenquellen:

• Webseiten – Unterstützt Seiten, bei denen Elemente nicht dynamisch generiert werden.
• Lokale Dateien – Unterstützte Formate: CSV, XLS/XLSX, DOCX, PDF.
• Von Webseiten heruntergeladene PDFs – Möglichkeit, Inhalte aus PDF-Dateien direkt über Links herunterzuladen und zu analysieren.

Verfügbare Laufzeiten

• M42 lokale GenAI (Finnland, Deutschland)
• Bringen Sie Ihr eigenes Modell mit ( Azure OpenAI / OpenAI )

Plugins und Integrationen

Das System unterstützt die Integration mit den folgenden Quellen:

• M42 Core / Pro
• Zusammenfluss
• Dokuwiki (derzeit in Implementierung)
• Lokale Dateien
• Crawler – zum Scrapen statischer Webseiten

Zusätzliche Funktionen

Firewall

Das System verfügt über Sicherheitsmechanismen, um den Zugriff auf nicht autorisierte Ressourcen einzuschränken und den Datenfluss zu kontrollieren, um die Sicherheit zu gewährleisten. Die Firewall kann auf OpenAI , Azure Open API Runtime oder einem lokalen Klassifizierungsmodell basieren.

Link-Downloader

• Ermöglicht das Herunterladen von Webseiteninhalten, in die ein vom Benutzer verwendetes Widget eingebettet ist.
• Unterstützt Seiten mit statischem Inhalt.

Neubewertung

• Ein Mechanismus zum Sortieren von Dokumenten basierend auf ihrer Relevanz für die gegebene Abfrage.
• Auswahl der besten Dokumente für die Eingabeaufforderung basierend auf der Relevanzbewertung.

Volltextsuche (FTS)

• Volltextsuche ermöglicht das Auffinden relevanter Fragmente in Dokumenten und Dateien.

System-Workflow

1. Der Benutzer stellt eine Anfrage – die Interaktion erfolgt über ein Widget oder eine andere Systemschnittstelle.
2. Einbettungsbasierte Suche – die Abfrage wird in einen Vektor kodiert und mit vorhandenen Dokumenten in der Datenbank verglichen.
3. Ranking und Neuranking – das System sortiert die Ergebnisse nach Relevanz.
4. Die besten Dokumente werden in die Eingabeaufforderung aufgenommen – ausgewählte Inhalte werden zur Formulierung der Antwort verwendet.
5. Antwortgenerierung durch GPT – das Modell generiert eine Antwort basierend auf Systemanweisungen und ausgewählten Dokumenten.

Kontextbehandlung

• Das System unterstützt Folgefragen, sodass Benutzer das Gespräch fortsetzen und gleichzeitig den Kontext beibehalten können.
• Option zum Deaktivieren des Kontexts für unabhängige Antworten.

Automatische Datenaktualisierung

• Möglichkeit, Daten regelmäßig erneut abzurufen, z. B. von Webseiten.
• Gewährleistet aktuelle Informationen durch geplante Quellaktualisierungen.

Pro und Datenschutz

• Matrix42 verarbeitet ausschließlich die Daten, die für die Generierung einer relevanten und präzisen Antwort erforderlich sind. Dazu gehören typischerweise die Eingaben des Benutzers (Abfrage), anwendbare Kontextattribute der M42 Pro Plattform und relevante Inhalte aus der Wissensdatenbank des Unternehmens.
• Standardmäßig werden Gesprächsprotokolle 12 Monate lang aufbewahrt. Diese Aufbewahrungsdauer kann an Kundenpräferenzen oder interne Richtlinien angepasst werden. Es werden keine während der Interaktion gesammelten Daten für das Training von KI-Modellen verwendet. Matrix42 verarbeitet, speichert oder lädt keine sensiblen oder personenbezogenen Daten herunter, die über das für die Antwortgenerierung unbedingt erforderliche Maß hinausgehen.

Die folgenden Datenpunkte werden zu Prüf- und Überwachungszwecken in Systemprotokollen aufgezeichnet:

question – die Frage des Benutzers.

response – die vorherige Antwort, die Kontextkontinuität ermöglicht.

sessionId – eine eindeutige Kennung für die Konversationssitzung.

addressIp – die IP-Adresse des Benutzers (falls verfügbar).

startTime – der Zeitstempel, der den Beginn der Sitzung kennzeichnet.

processingTime – die zum Generieren der Antwort benötigte Zeit [s].

rawQuestion – die ursprüngliche Eingabe des Benutzers.

rawResponse – die unverarbeitete Antwort, die vom KI-Modell generiert wird.

KI-Wissen – Architektur auf hohem Niveau

FAAS (Function as a Service) – ein internes Modul, das für die Kommunikation mit Modellen und externen Plattformen zuständig ist. Es ist vollständig anpassbar, und die extern freigegebenen Daten müssen in diesem Modul klar definiert werden. Die Anpassung erfolgt im Projekt und basiert auf den Anforderungen zur Generierung der gewünschten Antwort: Benutzerfrage, Systemeingabeaufforderung und Daten aus der Vektor-Wissensdatenbank. Das Modell oder externe Plattformen haben keinen direkten Zugriff auf die Daten.

Technische Architektur der MS Teams-Integration (Knowledge Discovery)

Benutzerinteraktionsebene

Microsoft Teams App

• Eine benutzerdefinierte Teams-App, die von den Benutzern der Organisation installiert wird.
• Fungiert als primäre Benutzeroberfläche für die Interaktion mit Knowledge Discovery.
• Pro sowohl chatbasierte als auch potenziell adaptive kartenbasierte Interaktionen.

Azure Bot Service

• Verarbeitet eingehende Nachrichten von Teams.
• Führt Absichtserkennung , Authentifizierung und Weiterleitung an Backend-Dienste durch.
• Kann bei Bedarf proaktive Nachrichten initiieren (z. B. Erinnerungen, Ticketaktualisierungen).

Azure Cloud Infrastruktur

Azure -Ressourcengruppe

• Logischer Container, der alle zugehörigen Azure -Ressourcen verwaltet.

Azure Bot

• Registrierter Bot, der über das Bot Framework in Microsoft Teams integriert wird.
• Stellt eine Verbindung zur Web-App her, um die Geschäftslogik zu verarbeiten oder auf externe API zuzugreifen.

Azure Web-App (Node.js in Docker)

• Die zentrale Backend-Anwendung.
• Gehostet als containerisierte Node.js-App über Azure App Service.
• Griffe:
  • Authentifizierung und Autorisierung
  • Dialogstatusverwaltung
  • Routing-Logik
  • Integration mit GenAI / Rail API

Azure Container Registry

• Hostet Docker-Images, die von der Web-App verwendet werden.
• Unterstützt CI/CD-Workflows und versionierte Bereitstellungen.

Azure Cosmos DB ( NoSQL )

• Besteht fort:
  • Chatverlauf
  • Benutzereinstellungen und -profile
  • Metadaten zu laufenden Sitzungen

Integrationsschicht

• Matrix42 Conversational AI Plattform
  • Fungiert als zentraler KI-Orchestrierungs-Hub .
  • Empfängt natürliche Spracheingaben und bereichert sie mit:
  • M42 GenAI oder LLMs von Drittanbietern
    • Retrieval-Augmented Generation (RAG)
    • Kontextuelles Gedächtnis aus vergangenen Sitzungen
    • Verfügbar über sichere HTTP(S)-Endpunkte.
• Rail API (Integrations-Middleware)
  • Normalisiert Anfragen/Antworten zwischen der Conversational AI-Schicht und externen Systemen.
  • Behandelt Authentifizierung, Anforderungstransformation und Caching.
  • Routen nach:
    • M42 Enterprise Service Management (ESM)
    • Andere Backend-Geschäftssysteme nach Bedarf
    • M42 Enterprise Service Management (ESM)
      • Pro die Erfüllung von Serviceanfragen, CMDB-Abfragen, Statusaktualisierungen usw.
      • Fungiert als primäres Backend-System für umsetzbare Anwendungsfälle.

Pro

• HTTPS
  • Primäres Protokoll für die sichere Datenübertragung zwischen:
    • Teams ↔ Azure Bot
    • Azure Bot ↔ Web-App
    • Web-App ↔ Rail API & ESM
    • Teams ↔ GenAI Endpunkte über die Web-App
• WebSocket (optional/steckbar)
  • Für Echtzeitinteraktionen, wo erforderlich (z. B. Streaming von LLM-Antworten oder Live-Eingabeanzeigen).

KI- und Knowledge-Discovery-Ebene

• M42 GenAI + RAG-Stapel
  • Kombiniert:
    • Großes Sprachmodell (z. B. GPT, Phi)
    • Dokumentabrufer für domänenspezifische Antworten
  • Fragt interne Dokumentationen und Wissensquellen nach genauen Antworten ab.
• Unterstützte Wissensquellen:
  • SharePoint (modern/klassisch)
  • Atlassian Confluence
  • DokuWiki
  • Interne Webseiten (über Crawler oder Connector)
  • PDF-, Word-, HTML- und Markdown-Dokumente
  • Strukturierte Wissensdatenbanken

Durchgängiger Workflow

1. Benutzer sendet eine Nachricht in Teams
2. Azure Bot erfasst und analysiert die Eingabe.
3. Der Bot leitet die Anfrage an die Web-App weiter, die Folgendes verarbeitet:
   1. Benutzer-/Sitzungsvalidierung
   2. KI-Anreicherung durch Conversational AI
4. Conversational AI verwendet GenAI + RAG , um:
   1. Interpretieren Sie die Frage
   2. Abrufen relevanter Organisationsinhalte
   3. Formulieren Sie eine menschenähnliche Antwort
5. Wenn eine Aktion erforderlich ist (z. B. Ticketerstellung), leitet die Web-App die Anfrage an die Rail- API weiter, die eine Verbindung zu ESM herstellt.
6. ESM gibt Daten/Ergebnisse zurück, die zur Benutzerpräsentation an Teams zurückfließen.
7. Die Web-App speichert den Konversationskontext in Cosmos DB, um zukünftige Interaktionen zu verbessern.

Architekturvisualisierung