Översikt

AI Knowledge är baserat på Retrieval-Augmented Generation (RAG), en avancerad AI-metod som förbättrar stora språkmodeller (LLM) genom att dynamiskt hämta information från specificerade källor i realtid. Till skillnad från vanliga AI-modeller, som enbart förlitar sig på tidigare tränad data, söker RAG dynamiskt efter relevanta dokument från utsedda kunskapsbaser innan ett svar genereras. Detta säkerställer att AI-genererade svar inte bara är kontextuellt korrekta utan också uppdaterade, vilket gör denna teknik särskilt användbar inom IT-tjänsthantering (ITSM) och företagsmiljöer där kunskap ständigt utvecklas.

Matrix42 erbjuder flexibla distributionsalternativ för AI-drivna lösningar. När man använder CAI-plattformen (Conversational AI) med lokalt hostade komponenter Natural Language Processing (NLP) och Large Language Model (LLM) – helt ägda och drivna av Matrix42 – är inga externa leverantörer involverade i något skede av databehandlingen. All data finns kvar inom kundens infrastruktur eller godkända Matrix42 hostade miljöer (t.ex. inom EU), vilket säkerställer full kontroll över infrastruktur, dataflöde och efterlevnad.

Alternativt kan kunder välja att integrera externa LLM-leverantörer, såsom Azure OpenAI Service eller OpenAI . I sådana fall överförs användarinmatning och kontext som krävs för att generera ett svar till den valda leverantörens infrastruktur och bearbetas i enlighet med deras regionala hosting- och dataskyddspolicyer.

Matrix42 GenAI kan driva AI-kunskap genom att utnyttja Retrieval-Augmented Generation (RAG). Detta gör det möjligt för slutanvändare att få korrekta, kontextmedvetna svar baserade på organisationens interna kunskap, såsom:

• Dokumentation för IT-tjänster.
• Kunskapsbaser.
• Företagspolicyer.
• Interna arkiv (wikis, PDF-filer, Confluence och strukturerade datakällor).

Modellen säkerställer att endast auktoriserad och relevant information hämtas och delas, vilket förbättrar självbetjäningsmöjligheterna och minskar arbetsbelastningen för IT-supportteamen.

Möjliga widgetinbäddningar:

• M42 Självbetjäningsportal
• MS-team
• Webbsida (offentlig, intern)

Datakällor

AI Knowledge stöder följande datakällor:

• Webbsidor – Stöder sidor där element inte genereras dynamiskt.
• Lokala filer – Format som stöds: CSV, XLS/XLSX, DOCX, PDF.
• PDF-filer nedladdade från webbsidor – Möjlighet att ladda ner och analysera innehåll från PDF-filer direkt från länkar.

Tillgängliga körtider

• M42 lokal GenAI (Finland, Tyskland)
• Ta med din egen modell ( Azure OpenAI / OpenAI )

Plugins och integrationer

Systemet stöder integration med följande källor:

• M42 Core / Pro
• Samflöde
• Dokuwiki (för närvarande under implementering)
• Lokala filer
• Crawler – för att skrapa statiska webbsidor

Ytterligare funktioner

Brandvägg

Systemet har säkerhetsmekanismer för att begränsa åtkomst till obehöriga resurser och kontrollera dataflödet för att garantera säkerheten. Brandväggen kan baseras på OpenAI , Azure Open API runtime eller en lokal klassificeringsmodell.

Länknedladdare

• Tillåter nedladdning av webbsidesinnehåll där en widget som används av användaren är inbäddad.
• Stöder sidor med statiskt innehåll.

Omrankning

• En mekanism för att sortera dokument baserat på deras relevans för den givna frågan.
• Urval av de bästa dokumenten för prompten baserat på relevanspoängsättning.

Fulltextsökning (FTS)

• Fulltextsökning möjliggör hämtning av relevanta fragment i dokument och filer.

Systemarbetsflöde

1. Användaren skickar en fråga – interaktion sker via en widget eller ett annat systemgränssnitt.
2. Inbäddningsbaserad sökning – frågan kodas till en vektor och jämförs med befintliga dokument i databasen.
3. Rankning och omrankning – systemet sorterar resultaten baserat på relevans.
4. De bästa dokumenten inkluderas i prompten – utvalt innehåll används för att formulera svaret.
5. Svarsgenerering av GPT – modellen genererar ett svar baserat på systempromptinstruktioner och valda dokument.

Kontexthantering

• Systemet stöder följdfrågor, vilket gör det möjligt för användare att fortsätta samtalet samtidigt som de bibehåller sammanhanget.
• Möjlighet att inaktivera kontext för oberoende svar.

Automatisk datauppdatering

• Möjlighet att regelbundet hämta data på nytt, t.ex. från webbsidor.
• Säkerställer aktuell information genom schemalagda källuppdateringar.

Pro och integritet

• Matrix42 bearbetar uteslutande de data som är nödvändiga för att generera ett relevant och korrekt svar. Detta inkluderar vanligtvis användarens inmatning (fråga), tillämpliga kontextuella attribut från M42 Pro -plattformen och relevant innehåll hämtat från organisationens kunskapsbas.
• Som standard sparas konversationsavskrifter i 12 månader. Denna lagringsperiod kan anpassas baserat på klientens preferenser eller interna policyer. Ingen data som samlas in under interaktioner används för att träna AI-modeller. Matrix42 bearbetar, lagrar eller laddar inte ner några känsliga eller personuppgifter utöver vad som är absolut nödvändigt för att generera svar.

Följande datapunkter registreras i systemloggar för granskning och övervakning:

question – användarens fråga.

response – det föregående svaret, vilket möjliggör kontextkontinuitet.

sessionId – en unik identifierare för konversationssessionen.

addressIp – användarens IP-adress (om tillgänglig).

startTime – tidsstämpeln som markerar sessionens start.

processingTime – den tid det tar att generera svaret [s].

rawQuestion – den ursprungliga inmatningen som skickades in av användaren.

rawResponse – det obearbetade svaret som genereras av AI-modellen.

AI-kunskap - Arkitektur på hög nivå

FAAS (Function as a Service) – detta är en intern modul som ansvarar för kommunikation med modeller och externa plattformar. Den är helt anpassningsbar och de data som delas externt måste tydligt specificeras i denna modul. Anpassningen görs i projektet och härleds från vad som behövs för att generera önskat svar; användarfråga, en systemfråga och data från vektorkunskapsbasen. Modellen eller några externa plattformar har inte direkt åtkomst till data.

Teknisk arkitektur för MS Teams-integration (kunskapsupptäckt)

Användarinteraktionslager

Microsoft Teams-appen

• En anpassad Teams-app som installerats av organisationens användare.
• Fungerar som det primära användargränssnittet för att interagera med Knowledge Discovery.
• Pro både chattbaserade och potentiellt adaptiva kortbaserade interaktioner.

Azure Bot-tjänst

• Hanterar inkommande meddelanden från Teams.
• Utför avsiktsigenkänning , autentisering och routning till backend-tjänster.
• Kan initiera proaktiva meddelanden vid behov (t.ex. påminnelser, ärendeuppdateringar).

Azure Cloud Infrastructure

Azure -resursgrupp

• Logisk container som hanterar alla relaterade Azure -resurser.

Azure bot

• Registrerad bot som integreras med Microsoft Teams via Bot Framework.
• Ansluter till webbappen för att hantera affärslogik eller komma åt externa API er.

Azure Web App (Node.js i Docker)

• Den centrala backend-applikationen.
• Hostas som en containeriserad Node.js-app via Azure App Service.
• Handtag:
  • Autentisering och auktorisering
  • Hantering av dialoglägen
  • Routinglogik
  • Integration med GenAI /Rail API

Azure Container Registry

• Värder Docker-avbildningar som används av webbappen.
• Stöder CI/CD-arbetsflöden och versionsbaserade distributioner.

Azure Cosmos DB ( NoSQL )

• Kvarstår:
  • Chatthistorik
  • Användarinställningar och profiler
  • Metadata om pågående sessioner

Integrationslager

• Matrix42 konversationsbaserad AI-plattform
  • Fungerar som det centrala AI-orkestreringsnavet .
  • Tar emot naturliga språkinmatningar och berikar dem med hjälp av:
  • M42 GenAI eller tredjeparts LLM:er
    • Återhämtningsförstärkt generation (RAG)
    • Kontextuellt minne från tidigare sessioner
    • Exponeras via säkra HTTP(S)-slutpunkter.
• Rail API (integrationsmellanprogramvara)
  • Normaliserar förfrågningar/svar mellan det konversationsbaserade AI-lagret och externa system.
  • Hanterar autentisering, förfrågningstransformation och cachning.
  • Rutter till:
    • M42 Enterprise Företagstjänsthantering (ESM)
    • Andra backend-affärssystem efter behov
    • M42 Enterprise Företagstjänsthantering (ESM)
      • Pro uppfyllande av serviceförfrågningar, CMDB-frågor, statusuppdateringar etc.
      • Fungerar som ett primärt backend-system för handlingsbara användningsfall.

Pro

• HTTPS
  • Primärt protokoll för säker dataöverföring mellan:
    • Team ↔ Azure Bot
    • Azure Bot ↔ Webbapp
    • Webbapp ↔ Rail API och ESM
    • Team ↔ GenAI -slutpunkter via webbapp
• WebSocket (valfritt/anslutningsbart)
  • För realtidsinteraktioner där det behövs (t.ex. strömmande LLM-svar eller indikatorer för liveskrivning).

AI och kunskapsupptäcktslager

• M42 GenAI + RAG-stack
  • Kombinerar:
    • Stor språkmodell (t.ex. GPT, Phi)
    • Dokumenthämtare för domänspecifika svar
  • Söker efter korrekta svar i intern dokumentation och kunskapskällor.
• Kunskapskällor som stöds:
  • SharePoint (modern/klassisk)
  • Atlassisk sammanflöde
  • DokuWiki
  • Interna webbsidor (via crawler eller connector)
  • PDF-, Word-, HTML- och Markdown-dokument
  • Strukturerade kunskapsbaser

Helhetsinriktat arbetsflöde

1. Användaren skickar ett meddelande i Teams
2. Azure Bot samlar in och analyserar indata.
3. Boten vidarebefordrar begäran till webbappen , som hanterar:
   1. Användar-/sessionsvalidering
   2. AI-berikning via konversations-AI
4. Konversations-AI använder GenAI + RAG för att:
   1. Tolka frågan
   2. Hämta relevant organisationsinnehåll
   3. Formulera ett människoliknande svar
5. Om åtgärd krävs (t.ex. skapande av ärende) dirigerar webbappen begäran till Rail API , som ansluter till ESM .
6. ESM returnerar data/resultat, som sedan skickas tillbaka till Teams för användarpresentation.
7. Webbappen lagrar konversationskontext i Cosmos DB för att förbättra framtida interaktioner.

Arkitekturvisualisering