Was ist GenAI ?

Generative KI ( GenAI ) bezeichnet eine Kategorie von Modellen der künstlichen Intelligenz, die in der Lage sind, neue Inhalte basierend auf erlernten Mustern aus riesigen Datensätzen zu erstellen. Im Gegensatz zu herkömmlicher KI, die in erster Linie Ergebnisse auf der Grundlage vorhandener Daten klassifiziert oder vorhersagt, kann generative KI dynamisch Text, Bilder, Code und andere Formen von Inhalten generieren.

Diese Modelle basieren typischerweise auf großen Sprachmodellen (LLMs) wie beispielsweise Mistral, GPT oder LLaMA, verarbeiten Eingabedaten, verstehen den Kontext und erzeugen menschenähnliche Reaktionen. Der Kernmechanismus der generativen KI umfasst Deep-Learning-Architekturen, insbesondere Transformatoren, die ein erweitertes Verständnis natürlicher Sprache und die Generierung von Inhalten ermöglichen.

Nutzung von Matrix42 Local GenAI in M42 Core und Pro -Plattform

Matrix42 local GenAI ist ein sicheres und vollständig eigenständiges KI-Modell zur Verbesserung des IT-Service-Managements (ITSM). Durch die Integration mit wichtigen KI-Tools des Unternehmens ermöglicht es Wissensbereitstellung, Automatisierung und Agentenunterstützung bei gleichzeitiger Gewährleistung von Datenschutz und Compliance.

AI Knowledge Discovery (RAG) – Bereitstellung von Informationen für Endbenutzer

Matrix42 GenAI unterstützt die KI-Wissensfindung durch Retrieval-Augmented Generation (RAG). So erhalten Endbenutzer präzise, kontextbezogene Antworten basierend auf dem internen Wissen des Unternehmens, beispielsweise:

• IT-Servicedokumentation.
• Wissensdatenbanken.
• Unternehmensrichtlinien.
• Interne Repositories (Wikis, PDFs, Confluence und strukturierte Datenquellen).

Das Modell stellt sicher, dass nur autorisierte und relevante Informationen abgerufen und weitergegeben werden, wodurch die Self-Service-Funktionen verbessert und gleichzeitig die Arbeitsbelastung der IT-Supportteams reduziert wird.

KI-Aktionen – Automatisierte Inhaltserstellung

Mit AI Actions kann Matrix42 GenAI wiederkehrende und manuelle Aufgaben für IT-Servicemitarbeiter automatisieren. Dazu gehören:

• Automatisierte Anleitung zur uid .
• Auslösen von Workflows basierend auf KI-generierten Empfehlungen.
• Erstellen strukturierter Antworten und Zusammenfassungen für IT-Probleme.

Durch die Einbettung von KI-Aktionen in Service-Management-Prozesse können Unternehmen die Effizienz verbessern, die Lösungszeit verkürzen und die Benutzerzufriedenheit steigern.

KI-E-Mail-Unterstützung – Unterstützung von Agent beim Schreiben von E-Mails

AI Email Assistance nutzt Matrix42 GenAI , um Servicemitarbeitern zu helfen, schnell professionelle, kontextrelevante E-Mails basierend auf Ticketdetails und bisherigen Antworten zu verfassen. Die wichtigsten Vorteile:

• Konsistente und professionelle E-Mail-Kommunikation.
• Schnellere Reaktionszeiten durch automatische Generierung von Antworten.
• Personalisierte Antworten basierend auf Benutzeranfragen und vorherigen Interaktionen.
• Grammatik- und Stilkorrekturen zur Gewährleistung einer qualitativ hochwertigen Kommunikation.

Durch die Verwendung der KI-E-Mail-Unterstützung können sich die Agenten auf die Problemlösung konzentrieren, während die KI die Produktivität steigert und die Kommunikationsqualität aufrechterhält.

Abschluss

Matrix42 local GenAI lässt sich nahtlos in AI Knowledge (RAG), AI Actions und AI Email Assist integrieren und bietet:

• Sicherer und privater KI-gesteuerter Wissenszugriff.
• Automatisierte IT-Workflows zur Unterstützung von Agenten.
• Verbesserte Kommunikationstools für schnellere und professionellere E-Mail-Antworten.

Dank vollständiger Datensouveränität und lokaler Bereitstellung können Unternehmen die Leistungsfähigkeit von KI nutzen, ohne Kompromisse bei Sicherheit oder Compliance einzugehen. Dies macht Matrix42 GenAI zu einer vertrauenswürdigen KI-Lösung für ITSM-Vorgänge.

Hauptvorteile

• Optimiert für ITSM – Das Modell ist speziell auf service desk -Anwendungen abgestimmt.
• Mehrsprachige Unterstützung – Englisch, Finnisch, Schwedisch, Deutsch.
• RAG-Support (mit unterstützten Produkten) – Kann in Wissensdatenbanken, Websites und Dokumentenspeicher integriert werden.
• Skalierbarkeit – läuft auf dem PUNA-Inferenzserver und verarbeitet mehrere Ausgabetexte mit angenehmer Geschwindigkeit, selbst auf kostengünstigen Rechenzentrums-GPUs.
• Sicherheit und Datenschutz – Entwickelt für die Einhaltung gesetzlicher Vorschriften (z. B. DSGVO) und robusten Datenschutz.

Technische Details

• Basismodell: Mistral Nemo 12B-Instruct.
• Feinabstimmungsmethode: LoRA (Low-Rank Adaptation).
• Quantisierung: Q6_K, Q8 (Reduzierung des Speicherbedarfs um die Hälfte bei Beibehaltung einer Genauigkeit von 95–98 %).
• Kontextlänge: Unterstützt bis zu 128.000 Token, für die Leistung sind jedoch 16.000 Token optimal.
• Inferenz-Engine: PUNA (proprietärer Inferenzserver Matrix42 ), kompatibel mit dem GGUF-Format (llama.cpp).
• Hardwareanforderungen:
  
  • Minimum: Nvidia CUDA GPU mit 16 GB VRAM (20 GB empfohlen für optimale Leistung).
  • Rechenzentrumsbereitstellung: Unterstützt 4 gleichzeitige Anfragen mit einer Geschwindigkeit von >15 Token/Sek.
• Trainingsdatenquellen:
  • Öffentliche Datensätze (entsprechend lizenziert).
  • Synthetische Daten, die über hochwertige kommerzielle Modelle generiert werden (nur die durch die Lizenz zulässigen).
  • Manuell kuratierte und validierte Trainingsdatensätze.

Datenschutz

• Lokales Hosting verfügbar – Das Modell kann vor Ort bereitgestellt werden, wodurch die vollständige Kontrolle über vertrauliche Daten gewährleistet wird.
• Wir können auch ein Modell aus unserer Infrastruktur bereitstellen. Dabei stehen zwei Optionen zur Verfügung:
  • Equinix (Finnland)
  • Hetzner (Deutschland)
• Datenmaskierung und -anonymisierung – Während der Verarbeitung werden keine personenbezogenen Daten (PII) gespeichert.
• Zugriffskontrollmechanismen:
  • Firewall-basierter Schutz begrenzt den unbefugten Zugriff.
  • Keine externen API Aufrufe erforderlich – Im Gegensatz zu Cloud-basierten LLMs sendet dieses Modell keine Abfragen an externe OpenAI API , wodurch die Datenresidenz und die Einhaltung des Datenschutzes gewährleistet werden.
• Vollständiges Dateneigentum beim Kunden – Der Kunde behält während des gesamten Prozesses das ausschließliche Eigentum an den Daten.
• Keine Daten werden für das Modelltraining verwendet – Kundendaten werden niemals für das Modelltraining oder die Feinabstimmung verwendet.
• Daten werden ausschließlich für Antworten verwendet – Die dem Modell bereitgestellten Informationen werden nur zum Generieren von Antworten verwendet und nicht gespeichert oder weiterverarbeitet.
• Es werden keine sensiblen Daten oder Authentifizierungsdaten übertragen – Das Modell verarbeitet oder überträgt keine Authentifizierungsdaten oder sensiblen Daten, wodurch die Sicherheit gewährleistet wird.
• Keine Datenspeicherung – Das Modell speichert keine Benutzereingaben oder generierten Antworten.
• Serviceprotokolle werden lokal gespeichert – nur Administratoren haben Zugriff, sie werden nicht weitergegeben oder verarbeitet.
• Es ist möglich, alle Protokolle zu deaktivieren - dies schränkt jedoch die Debugging-Möglichkeiten ein
• Vom Kunden kontrolliertes Datenhosting – Ruhende Daten (Wissensdatenbank, Protokolle, Einstellungen, CAI-Plattform) werden von Servern gehostet, auf denen das ITMS des Kunden ausgeführt wird:
  
  • Equinix (Finnland)
  • Noris (Deutschland)
  • Vor Ort / Private Cloud

Diese Mechanismen stellen sicher, dass Matrix42 GenAI vollständigen Datenschutz, die Einhaltung gesetzlicher Vorschriften und eine sichere Bereitstellung für IT-Umgebungen in Unternehmen bietet.

Einhaltung

• DSGVO-konform – Hält sich vollständig an die Pro -Grundverordnung der EU, mit On-Premise-Optionen zur Gewährleistung der Datensouveränität.
• ITSM-Integrationssicherheit – Gewährleistet eine sichere Authentifizierung und API Token-Verwaltung für die Integration mit Matrix42 und ITSM-Tools von Drittanbietern.
• Sicheres Modelltraining – Alle Trainingsdatensätze wurden unter ordnungsgemäßer Lizenzierung bezogen und einer manuellen Konformitätsprüfung unterzogen.
• Überprüfbare Protokolle und Überwachung – Protokolle speichern keine vertraulichen Benutzereingaben, ermöglichen aber Sicherheitsüberprüfungen.

Einhaltung von Matrix42 GenAI und EU-KI-Gesetz

Matrix42 GenAI wurde in Übereinstimmung mit den regulatorischen Grundsätzen des EU-KI-Gesetzes konzipiert und entwickelt und gewährleistet einen vertrauenswürdigen, transparenten und sicheren Einsatz von KI in Unternehmensumgebungen, insbesondere im IT-Service-Management (ITSM). Zu den wichtigsten Compliance-Maßnahmen gehören:

1. Risikoklassifizierung und KI-Transparenz
   1. Matrix42 GenAI fällt in die Kategorie „begrenztes Risiko“, d. h. es bestehen keine wesentlichen Sicherheits- oder Grundrechtsbedenken.
   2. Es handelt sich um eine KI zur Geschäftsunterstützung, die in erster Linie den Betrieb von IT-Diensten unterstützt, ohne autonome Entscheidungen zu treffen, die die gesetzlichen Rechte oder Freiheiten des Einzelnen beeinträchtigen.
2. Menschliche Aufsicht und Erklärbarkeit
   1. Das Modell arbeitet bei kritischen Entscheidungen nicht autonom. Menschliche Bediener, wie beispielsweise IT-Servicemitarbeiter, behalten die Kontrolle über die KI-gestützten Ergebnisse.
   2. Antworten können von menschlichen Agenten geprüft, überprüft und geändert werden, bevor sie in kritischen Arbeitsabläufen eingesetzt werden.
3. Voreingenommenheit und Fairness
   1. Das Modell wurde mit sorgfältig kuratierten Datensätzen trainiert, um sicherzustellen, dass seine Antworten keine unfairen Verzerrungen verbreiten.
   2. Ein kontinuierlicher Überwachungsmechanismus ermöglicht es Kunden, Ergebnisse zu validieren und Reaktionen entsprechend den internen Compliance-Richtlinien zu optimieren.
4. Pro und Privatsphäre (DSGVO-Anpassung)
   1. Matrix42 GenAI befolgt strenge Datenschutzmaßnahmen und stellt sicher, dass:
      1. Es werden keine Kundendaten gespeichert oder für die Neuschulung des Modells verwendet.
      2. Es werden keine vertraulichen Informationen außerhalb der vorgesehenen Kundenumgebung gespeichert oder übertragen.
      3. Es unterstützt die Bereitstellung vor Ort und in privaten Clouds und ermöglicht die vollständige Kontrolle über den Datenspeicherort.
5. Sicherheit und Robustheit
   1. Matrix42 GenAI ist resistent gegen feindliche Manipulationen wie Prompt-Injection-Angriffe und gewährleistet vertrauenswürdige und sichere KI-generierte Antworten.
6. Prüfbarkeit und Compliance-Berichte
   1. Das System bietet Protokollierung und Überwachung für Organisationen, die Prüfpfade zur Einhaltung von KI-Governance-Frameworks benötigen.
   2. Auf Anfrage können alle Protokolle deaktiviert werden, um den strengen Grundsätzen des „Privacy-by-Design“-Prinzips zu entsprechen.