Vad är GenAI ?

Generativ AI ( GenAI ) hänvisar till en kategori av artificiella intelligensmodeller som kan skapa nytt innehåll baserat på inlärda mönster från stora datamängder. Till skillnad från traditionell AI, som främst klassificerar eller förutsäger resultat baserat på befintlig data, kan generativ AI generera text, bilder, kod och andra former av innehåll dynamiskt.

Dessa modeller, vanligtvis baserade på stora språkmodeller (LLM) såsom men inte begränsat till Mistral, GPT eller LLaMA, bearbetar indata, förstår kontext och producerar människoliknande svar. Kärnmekanismen bakom generativ AI involverar djupinlärningsarkitekturer, särskilt transformatorer, som möjliggör avancerad förståelse av naturligt språk och innehållsgenerering.

Använda Matrix42 Local GenAI i M42 Core & Pro -plattformen

Matrix42 local GenAI är en säker och helt självständig AI-modell utformad för att förbättra ITSM-verksamhet (ITS-hantering). Genom att integrera med viktiga AI-verktyg för företaget möjliggör den kunskapsleverans, automatisering och agentstöd, samtidigt som datasekretess och efterlevnad säkerställs.

AI Kunskapsupptäckt (RAG) – Leverera information till slutanvändare

Matrix42 GenAI kan driva AI Knowledge Discovery genom att utnyttja Retrieval-Augmented Generation (RAG). Detta gör det möjligt för slutanvändare att få korrekta, kontextmedvetna svar baserade på organisationens interna kunskap, såsom:

• Dokumentation för IT-tjänster.
• Kunskapsbaser.
• Företagspolicyer.
• Interna arkiv (wikis, PDF-filer, Confluence och strukturerade datakällor).

Modellen säkerställer att endast auktoriserad och relevant information hämtas och delas, vilket förbättrar självbetjäningsmöjligheterna och minskar arbetsbelastningen för IT-supportteamen.

AI-åtgärder – Automatiserad innehållsskapande

Med AI Actions kan Matrix42 GenAI automatisera repetitiva och manuella uppgifter för IT-serviceagenter. Detta inkluderar:

• Automatiserad uid .
• Utlösa arbetsflöden baserat på AI-genererade rekommendationer.
• Generera strukturerade svar och sammanfattningar för IT-problem.

Genom att integrera AI-åtgärder i tjänstehanteringsprocesser kan organisationer förbättra effektiviteten, minska lösningstiden och öka användarnöjdheten.

AI E-posthjälp – Stödjer Agent som skriver e-postmeddelanden

AI Email Assistance använder Matrix42 GenAI för att hjälpa serviceagenter att snabbt utforma professionella, kontextuellt relevanta e-postmeddelanden baserat på ärendeinformation och tidigare svar. Viktiga fördelar inkluderar:

• Konsekvent och professionell e-postkommunikation.
• Snabbare svarstider genom automatiskt genererade svar.
• Anpassade svar baserade på användarförfrågningar och tidigare interaktioner.
• Grammatik- och stilkorrigeringar för att säkerställa högkvalitativ kommunikation.

Genom att använda AI Email Assistance kan agenter fokusera på problemlösning medan AI förbättrar produktiviteten och bibehåller kommunikationskvaliteten.

Slutsats

Matrix42 lokal GenAI integreras sömlöst med AI Knowledge (RAG), AI Actions och AI Email Assist, vilket ger:

• Säker och privat AI-driven kunskapsåtkomst.
• Automatiserade IT-arbetsflöden för att stödja agenter.
• Förbättrade kommunikationsverktyg för snabbare och mer professionella e-postsvar.

Med fullständig datasuveränitet och lokal distribution kan organisationer utnyttja AI:s kraft utan att kompromissa med säkerhet eller efterlevnad, vilket gör Matrix42 GenAI till en pålitlig AI-lösning för ITSM-verksamhet.

Viktiga fördelar

• Optimerad för ITSM – Modellen är specifikt finjusterad för service desk applikationer.
• Flerspråkigt stöd – engelska, finska, svenska, tyska.
• RAG-support (med produkter som stöds) – Kan integreras med kunskapsbaser, webbplatser och dokumentarkiv.
• Skalbarhet – körs på PUNA-inferensservern och hanterar flera utdatatexter med bekväm hastighet även på kostnadseffektiva GPU:er i datacenter.
• Säkerhet och dataskydd – Utformad för regelefterlevnad (t.ex. GDPR) och robust dataskydd.

Tekniska detaljer

• Basmodell: Mistral Nemo 12B-Instruktion.
• Finjusteringsmetod: LoRA (Low-Rank Adaptation).
• Kvantisering: Q6_K, Q8 (minskar minneskraven med hälften samtidigt som 95–98 % noggrannhet bibehålls).
• Kontextlängd: Stöder upp till 128 000 tokens, men 16 000 tokens är optimalt för prestanda.
• Inferensmotor: PUNA ( Matrix42 proprietär inferensserver), kompatibel med GGUF-format (llama.cpp).
• Hårdvarukrav:
  
  • Minimum: Nvidia CUDA GPU med 16 GB VRAM (20 GB rekommenderas för optimal prestanda).
  • Datacenterdistribution: Stöder fyra samtidiga förfrågningar med en hastighet på >15 tokens/sek.
• Källor för träningsdata:
  • Offentliga datamängder (licensierade på lämpligt sätt).
  • Syntetiska data genererade via högkvalitativa kommersiella modeller (endast de som är tillåtna enligt licensen).
  • Manuellt kurerade och validerade träningsdatauppsättningar.

Datasekretess

• Lokal hosting tillgänglig – Modellen kan distribueras lokalt, vilket säkerställer full kontroll över känsliga data.
• Vi kan också tillhandahålla en modell från vår infrastruktur, två alternativ finns tillgängliga:
  • Equinix (Finland)
  • Hetzner (Tyskland)
• Datamaskering och anonymisering – Ingen personligt identifierbar information (PII) lagras under behandlingen.
• Mekanismer för åtkomstkontroll:
  • Brandväggsbaserade skydd begränsar obehörig åtkomst.
  • Inga externa API anrop krävs – Till skillnad från molnbaserade LLM:er skickar den här modellen inte frågor till externa OpenAI API er, vilket säkerställer datalagring och efterlevnad av sekretessregler.
• Fullständigt äganderätt till data hos kunden – Kunden behåller exklusiv äganderätt till data genom hela processen.
• Inga data används för modellträning – Kunddata används aldrig för modellträning eller finjustering.
• Data som endast används för svar – Information som tillhandahålls modellen används endast för att generera svar och lagras eller bearbetas inte vidare.
• Inga känsliga data eller autentiseringsdata överförs – Modellen bearbetar eller överför inte autentiseringsuppgifter eller känsliga data, vilket garanterar säkerheten.
• Ingen datalagring – Modellen lagrar inga användarinmatningar eller genererade svar.
• Tjänstloggar lagras lokalt – endast administratörer har åtkomst, de delas eller bearbetas inte.
• Det är möjligt att inaktivera alla loggar – men detta minskar felsökningsmöjligheterna
• Kundkontrollerad datahosting – Vilande data (kunskapsbas, loggar, inställningar, CAI-plattform) kommer att hostas från servrar där kundens ITMS körs:
  
  • Equinix (Finland)
  • Noris (Tyskland)
  • Lokalt/privat moln

Dessa mekanismer säkerställer att Matrix42 GenAI erbjuder fullständig datasekretess, regelefterlevnad och säker distribution för företags-IT-miljöer.

Efterlevnad

• GDPR-kompatibel – Följer helt EU:s allmänna Pro , med alternativ för lokal hantering för att säkerställa datasuveränitet.
• ITSM-integrationssäkerhet – Säkerställer säker autentisering och API tokenhantering för integration med Matrix42 och ITSM-verktyg från tredje part.
• Säker modellträning – Alla träningsdatauppsättningar hämtades under korrekt licens och granskades manuellt för efterlevnad.
• Granskningsbara loggar och övervakning – Loggar lagrar inte känsliga användarinmatningar men möjliggör säkerhetsrevisioner.

Matrix42 GenAI och EU AI Act efterlevs

Matrix42 GenAI har utformats och utvecklats i linje med EU:s AI-lags regleringsprinciper, vilket säkerställer pålitlig, transparent och säker AI-användning i företagsmiljöer, särskilt inom IT-tjänsthantering (ITSM). De viktigaste efterlevnadsåtgärderna inkluderar:

1. Riskklassificering och AI-transparens
   1. Matrix42 GenAI faller under kategorin "begränsad risk", vilket innebär att det inte medför några betydande säkerhets- eller grundläggande rättigheter.
   2. Det är en affärsstödjande AI som främst assisterar IT-tjänsteverksamhet utan autonomt beslutsfattande som påverkar individers juridiska rättigheter eller friheter.
2. Mänsklig tillsyn och förklarbarhet
   1. Modellen fungerar inte autonomt vid kritiskt beslutsfattande. Mänskliga operatörer, såsom IT-tjänstemän, behåller kontrollen över AI-assisterade resultat.
   2. Svar kan granskas, granskas och modifieras av mänskliga agenter innan de distribueras i kritiska arbetsflöden.
3. Partiskhet och rättvisa
   1. Modellen har tränats med hjälp av noggrant utvalda datamängder, vilket säkerställer att den inte sprider orättvisa fördomar i sina svar.
   2. En kontinuerlig övervakningsmekanism gör det möjligt för kunder att validera resultat och finjustera svar enligt interna efterlevnadspolicyer.
4. Pro och integritet (GDPR-anpassning)
   1. Matrix42 GenAI följer strikta åtgärder för dataskydd och säkerställer att:
      1. Inga kunddata lagras eller används för omskolning av modeller.
      2. Den varken lagrar eller överför känslig information utanför den angivna kundmiljön.
      3. Den stöder driftsättning i lokala och privata moln, vilket möjliggör fullständig kontroll över datalagring.
5. Säkerhet och robusthet
   1. Matrix42 GenAI är motståndskraftig mot manipulationer som snabba injektionsattacker, vilket säkerställer pålitliga och säkra AI-genererade svar.
6. Granskningsbarhet och efterlevnadsrapportering
   1. Systemet tillhandahåller loggning och övervakning för organisationer som kräver revisionsspår för efterlevnad av AI-styrningsramverk.
   2. På begäran kan alla loggar inaktiveras, i enlighet med strikta principer för integritetsskydd genom design.