Aperçu

AI Knowledge repose sur la génération augmentée par récupération (RAG), une approche d'IA avancée qui optimise les grands modèles de langage (LLM) en récupérant dynamiquement des informations à partir de sources spécifiques en temps réel. Contrairement aux modèles d'IA standard, qui s'appuient uniquement sur des données préalablement entraînées, RAG recherche dynamiquement les documents pertinents dans des bases de connaissances spécifiques avant de générer une réponse. Ainsi, les réponses générées par l'IA sont non seulement contextuellement exactes, mais aussi à jour, ce qui rend cette technologie particulièrement utile dans les environnements de gestion des services informatiques (ITSM) et d'entreprise où les connaissances sont en constante évolution.

Matrix42 offre des options de déploiement flexibles pour ses solutions d'IA. Avec la plateforme d'IA conversationnelle (IAC) et ses composants Natural Language Processing (TALN) et de modèle linguistique étendu (MLL) hébergés localement, entièrement détenus et exploités par Matrix42 , aucun prestataire externe n'intervient à aucune étape du traitement des données. Toutes les données restent dans l'infrastructure du client ou dans des environnements hébergés par Matrix42 agréés (par exemple, au sein de l'UE), garantissant ainsi un contrôle total sur l'infrastructure, les flux de données et la conformité.

Les clients peuvent également choisir d'intégrer des fournisseurs LLM externes, tels Azure OpenAI Service ou OpenAI . Dans ce cas, les données utilisateur et le contexte nécessaires à la génération d'une réponse sont transmis à l'infrastructure du fournisseur sélectionné et traités conformément à ses politiques régionales d'hébergement et de protection des données.

Matrix42 GenAI optimise les connaissances de l'IA grâce à la génération augmentée par récupération (RAG). Cela permet aux utilisateurs finaux de recevoir des réponses précises et contextuelles, basées sur les connaissances internes de l'organisation, telles que :

• Documentation des services informatiques.
• Bases de connaissances.
• Politiques de l'entreprise.
• Référentiels internes (wikis, PDF, Confluence et sources de données structurées).

Le modèle garantit que seules les informations autorisées et pertinentes sont récupérées et partagées, améliorant ainsi les capacités de libre-service tout en réduisant la charge de travail des équipes de support informatique.

Incorporations de widgets possibles :

• Portail libre-service M42
• MS Teams
• Page Web (publique, interne)

Sources de données

AI Knowledge prend en charge les sources de données suivantes :

• Pages Web – Prend en charge les pages où les éléments ne sont pas générés dynamiquement.
• Fichiers locaux – Formats pris en charge : CSV, XLS/XLSX, DOCX, PDF.
• PDF téléchargés à partir de pages Web – Possibilité de télécharger et d’analyser le contenu des fichiers PDF directement à partir de liens.

Durées d'exécution disponibles

• M42 local GenAI (Finlande, Allemagne)
• Apportez votre propre modèle ( Azure OpenAI / OpenAI )

Plugins et intégrations

Le système prend en charge l'intégration avec les sources suivantes :

• M42 Core / Pro
• Confluence
• Dokuwiki (actuellement en cours d'implémentation)
• Fichiers locaux
• Crawler – pour récupérer les pages Web statiques

Fonctionnalités supplémentaires

Pare-feu

Le système dispose de mécanismes de sécurité pour restreindre l'accès aux ressources non autorisées et contrôler le flux de données afin de garantir la sécurité. Le pare-feu peut être basé sur OpenAI , l'environnement d'exécution Azure Open API ou un modèle de classification local.

Téléchargeur de liens

• Permet de télécharger le contenu d'une page Web dans laquelle un widget utilisé par l'utilisateur est intégré.
• Prend en charge les pages avec du contenu statique.

Reclassement

• Un mécanisme permettant de trier les documents en fonction de leur pertinence par rapport à la requête donnée.
• Sélection des meilleurs documents pour l'invite en fonction du score de pertinence.

Recherche en texte intégral (FTS)

• Recherche en texte intégral permettant de récupérer des fragments pertinents dans des documents et des fichiers.

Flux de travail du système

1. L'utilisateur soumet une requête – l'interaction se produit via un widget ou une autre interface système.
2. Recherche basée sur l’intégration – la requête est codée dans un vecteur et comparée aux documents existants dans la base de données.
3. Classement et reclassement : le système trie les résultats en fonction de leur pertinence.
4. Les meilleurs documents sont inclus dans l’invite – le contenu sélectionné est utilisé pour formuler la réponse.
5. Génération de réponses par GPT – le modèle génère une réponse basée sur les instructions du système et les documents sélectionnés.

Gestion du contexte

• Le système prend en charge les questions de suivi, permettant aux utilisateurs de poursuivre la conversation tout en conservant le contexte.
• Option pour désactiver le contexte pour les réponses indépendantes.

Actualisation automatique des données

• Capacité à récupérer périodiquement des données, par exemple à partir de pages Web.
• Assure des informations à jour grâce à des mises à jour programmées des sources.

Pro des données et confidentialité

• Matrix42 traite exclusivement les données nécessaires à la génération d'une réponse pertinente et précise. Il s'agit généralement des données saisies par l'utilisateur (requête), des attributs contextuels applicables de la plateforme M42 Pro et du contenu pertinent extrait de la base de connaissances de l'organisation.
• Par défaut, les transcriptions des conversations sont conservées pendant 12 mois. Cette durée de conservation peut être personnalisée selon les préférences du client ou ses politiques internes. Aucune donnée collectée lors des interactions n'est utilisée pour l'entraînement des modèles d'IA. Matrix42 ne traite, ne stocke et ne télécharge aucune donnée sensible ou personnelle au-delà de ce qui est strictement nécessaire à la génération des réponses.

Les points de données suivants sont enregistrés dans les journaux système à des fins d’audit et de surveillance :

question – la question de l'utilisateur.

response – la réponse précédente, permettant la continuité du contexte.

sessionId – un identifiant unique pour la session de conversation.

addressIp – l’adresse IP de l’utilisateur (si disponible).

startTime – l'horodatage marquant le début de la session.

processingTime – le temps nécessaire pour générer la réponse [s].

rawQuestion – l’entrée originale soumise par l’utilisateur.

rawResponse – la réponse non traitée générée par le modèle d’IA.

Connaissances en IA - Architecture de haut niveau

FAAS (Fonction en tant que service) : il s'agit d'un module interne chargé de la communication avec les modèles et les plateformes externes. Entièrement personnalisable, il doit spécifier clairement les données partagées en externe. La personnalisation est réalisée dans le projet et est basée sur les éléments nécessaires pour générer la réponse souhaitée : une question utilisateur, une invite système et des données issues de la base de connaissances vectorielles. Ni le modèle ni les plateformes externes n'ont d'accès direct aux données.

Architecture technique de l'intégration de MS Teams (Knowledge Discovery)

Couche d'interaction utilisateur

Application Microsoft Teams

• Une application Teams personnalisée installée par les utilisateurs de l'organisation.
• Agit comme interface utilisateur principale pour interagir avec Knowledge Discovery.
• Pro des interactions basées sur le chat et potentiellement adaptatives basées sur des cartes .

Service Azure Bot

• Gère les messages entrants des équipes.
• Effectue la reconnaissance des intentions , l'authentification et le routage vers les services back-end.
• Peut initier des messages proactifs si nécessaire (par exemple, des rappels, des mises à jour de tickets).

Infrastructure Cloud Azure

Groupe de ressources Azure

• Conteneur logique gérant toutes les ressources Azure associées.

Azure Bot

• Bot enregistré qui s'intègre à Microsoft Teams via Bot Framework.
• Se connecte à l'application Web pour gérer la logique métier ou accéder API externes.

Application Web Azure (Node.js dans Docker)

• L'application backend centrale.
• Hébergé en tant qu’application Node.js conteneurisée via Azure App Service.
• Poignées:
  • Authentification et autorisation
  • Gestion de l'état du dialogue
  • Logique de routage
  • Intégration avec GenAI / Rail API

Registre de conteneurs Azure

• Héberge les images Docker utilisées par l'application Web.
• Prend en charge les flux de travail CI/CD et les déploiements versionnés.

Azure Cosmos DB ( NoSQL )

• Persiste :
  • Historique des discussions
  • Préférences et profils des utilisateurs
  • Métadonnées sur les sessions en cours

Couche d'intégration

• Plateforme d'IA conversationnelle Matrix42
  • Agit comme le centre d'orchestration de l'IA .
  • Reçoit des entrées en langage naturel et les enrichit en utilisant :
  • M42 GenAI ou LLM tiers
    • Génération augmentée par récupération (RAG)
    • Mémoire contextuelle des séances passées
    • Exposé via des points de terminaison HTTP(S) sécurisés.
• API Rail (middleware d'intégration)
  • Normalise les requêtes/réponses entre la couche d'IA conversationnelle et les systèmes externes.
  • Gère l'authentification, la transformation des demandes et la mise en cache.
  • Itinéraires vers :
    • M42 Enterprise (ESM)
    • Autres systèmes d'entreprise back-end selon les besoins
    • M42 Enterprise (ESM)
      • Fournit des services Pro traitement des demandes de service, des requêtes CMDB, des mises à jour de statut, etc.
      • Agit comme un système backend principal pour les cas d'utilisation exploitables.

Protocoles Pro communication

• HTTPS
  • Protocole principal pour le transfert sécurisé de données entre :
    • Équipes ↔ Azure Bot
    • Azure Bot ↔ Application Web
    • Application Web ↔ API ferroviaire et ESM
    • Équipes ↔ Points de terminaison GenAI via l'application Web
• WebSocket (facultatif/enfichable)
  • Pour des interactions en temps réel si nécessaire (par exemple, diffusion de réponses LLM ou indicateurs de saisie en direct).

IA et couche de découverte des connaissances

• Pile M42 GenAI + RAG
  • Combines:
    • Grand modèle de langage (par exemple, GPT, Phi)
    • Outils de récupération de documents pour des réponses spécifiques à un domaine
  • Interroge la documentation interne et les sources de connaissances pour obtenir des réponses précises.
• Sources de connaissances prises en charge :
  • SharePoint (moderne/classique)
  • Confluence Atlassienne
  • DokuWiki
  • Pages Web internes (via un robot d'exploration ou un connecteur)
  • Documents PDF, Word, HTML, Markdown
  • Bases de connaissances structurées

Flux de travail de bout en bout

1. L'utilisateur envoie un message dans Teams
2. Azure Bot capture et analyse l’entrée.
3. Le bot transmet la requête à l' application Web , qui gère :
   1. Validation utilisateur/session
   2. Enrichissement de l'IA via l'IA conversationnelle
4. L'IA conversationnelle utilise GenAI + RAG pour :
   1. Interpréter la question
   2. Récupérer le contenu organisationnel pertinent
   3. Formuler une réponse humaine
5. Si une action est requise (par exemple, la création d'un ticket), l'application Web achemine la demande vers Rail API , qui se connecte à ESM .
6. ESM renvoie des données/résultats, qui sont renvoyés à Teams pour présentation à l'utilisateur.
7. L'application Web stocke le contexte de conversation dans Cosmos DB pour améliorer les interactions futures.

Visualisation de l'architecture