Yleiskatsaus

Tekoälytietämys perustuu haun ja lisätyn generoinnin (RAG) tekniikkaan. Se on edistynyt tekoälylähestymistapa, joka parantaa laajoja kielimalleja (LLM) hakemalla dynaamisesti tietoa tietyistä lähteistä reaaliajassa. Toisin kuin perinteiset tekoälymallit, jotka perustuvat yksinomaan aiemmin koulutettuun dataan, RAG etsii dynaamisesti asiaankuuluvia dokumentteja tietyistä tietokannoista ennen vastauksen luomista. Tämä varmistaa, että tekoälyn luomat vastaukset ovat paitsi kontekstuaalisesti tarkkoja myös ajantasaisia, mikä tekee tästä teknologiasta erityisen hyödyllisen IT-palveluiden hallinnassa (ITSM) ja yritysympäristöissä, joissa tieto kehittyy jatkuvasti.

Matrix42 tarjoaa joustavia käyttöönottovaihtoehtoja tekoälypohjaisille ratkaisuille. Käytettäessä CAI (Conversational AI) -alustaa paikallisesti isännöityjen Natural Language Processing (NLP) ja suurten kielimallien (LLM) komponenttien kanssa – jotka Matrix42 omistaa ja ylläpitää kokonaan – ulkoisia palveluntarjoajia ei ole mukana missään tiedonkäsittelyn vaiheessa. Kaikki tiedot pysyvät asiakkaan infrastruktuurissa tai hyväksytyissä Matrix42 isännöimissä ympäristöissä (esim. EU:n sisällä), mikä varmistaa täyden hallinnan infrastruktuuriin, tiedonkulkuun ja vaatimustenmukaisuuteen.

Vaihtoehtoisesti asiakkaat voivat integroida ulkoisia LLM-palveluntarjoajia, kuten Azure OpenAI Servicen tai OpenAI :n. Tällaisissa tapauksissa vastauksen luomiseen tarvittava käyttäjän syöte ja konteksti lähetetään valitun palveluntarjoajan infrastruktuuriin ja käsitellään heidän alueellisten hosting- ja tietosuojakäytäntöjensä mukaisesti.

Matrix42 GenAI voi tehostaa tekoälytietämystä hyödyntämällä haun ja lisätyn generoinnin (RAG) menetelmää. Tämä mahdollistaa loppukäyttäjille tarkkojen ja kontekstitietoisten vastausten saamisen organisaation sisäisen tietämyksen perusteella, kuten:

• IT-palvelun dokumentaatio.
• Tietokannat.
• Yrityksen käytännöt.
• Sisäiset tietovarastot (wikit, PDF-tiedostot, Confluence ja strukturoidut tietolähteet).

Malli varmistaa, että vain valtuutettua ja olennaista tietoa noudetaan ja jaetaan, mikä parantaa itsepalveluominaisuuksia ja vähentää IT-tukitiimien työmäärää.

Mahdollisia widgetien upotuksia:

• M42 Itsepalveluportaali
• MS-tiimit
• Verkkosivu (julkinen, sisäinen)

Tietolähteet

AI Knowledge tukee seuraavia tietolähteitä:

• Verkkosivut – Tukee sivuja, joiden elementtejä ei luoda dynaamisesti.
• Paikalliset tiedostot – Tuetut tiedostomuodot: CSV, XLS/XLSX, DOCX, PDF.
• Verkkosivuilta ladatut PDF-tiedostot – Mahdollisuus ladata ja jäsentää PDF-tiedostojen sisältöä suoraan linkeistä.

Saatavilla olevat suoritusympäristöt

• M42 paikallinen GenAI (Suomi, Saksa)
• Tuo oma mallisi ( Azure OpenAI / OpenAI )

Lisäosat ja integraatiot

Järjestelmä tukee integrointia seuraavien lähteiden kanssa:

• M42 Core / Pro
• Yhtymäkohta
• Dokuwiki (tällä hetkellä toteutuksessa)
• Paikalliset tiedostot
• Indeksointirobotti – staattisten verkkosivujen kaapimiseen

Lisäominaisuudet

Palomuuri

Järjestelmässä on turvamekanismeja, jotka rajoittavat pääsyä luvattomiin resursseihin ja hallitsevat tiedonkulkua turvallisuuden varmistamiseksi. Palomuuri voi perustua OpenAI :hin, Azure Open API -ajonaikaiseen ympäristöön tai paikalliseen luokittelumalliin.

Linkkien latausohjelma

• Sallii verkkosivun sisällön lataamisen, jos käyttäjän käyttämä widget on upotettu.
• Tukee sivuja, joilla on staattista sisältöä.

Uudelleensijoitus

• Mekanismi asiakirjojen lajittelemiseksi niiden relevanssin perusteella annettuun kyselyyn nähden.
• Parhaiden dokumenttien valinta kehotteeseen relevanssipisteiden perusteella.

Kokotekstihaku (FTS)

• Kokotekstihaku, jonka avulla voidaan hakea asiaankuuluvia fragmentteja asiakirjoista ja tiedostoista.

Järjestelmän työnkulku

1. Käyttäjä lähettää kyselyn – vuorovaikutus tapahtuu widgetin tai muun järjestelmäkäyttöliittymän kautta.
2. Upotuspohjainen haku – kysely koodataan vektoriksi ja sitä verrataan tietokannassa oleviin dokumentteihin.
3. Sijoitus ja uudelleensijoitus – järjestelmä lajittelee tulokset relevanssin perusteella.
4. Parhaat dokumentit sisällytetään kehotteeseen – valittua sisältöä käytetään vastauksen muodostamiseen.
5. Vastauksen luominen GPT:llä – malli luo vastauksen järjestelmän kehotteiden ja valittujen dokumenttien perusteella.

Kontekstin käsittely

• Järjestelmä tukee jatkokysymyksiä, joiden avulla käyttäjät voivat jatkaa keskustelua säilyttäen samalla kontekstin.
• Mahdollisuus poistaa konteksti käytöstä itsenäisille vastauksille.

Automaattinen tietojen päivitys

• Mahdollisuus hakea tietoja säännöllisesti uudelleen esimerkiksi verkkosivuilta.
• Varmistaa ajantasaisen tiedon aikataulutettujen lähdepäivitysten avulla.

Pro ja tietosuoja

• Matrix42 käsittelee yksinomaan tiedot, jotka ovat tarpeen osuvan ja tarkan vastauksen luomiseksi. Näihin kuuluvat tyypillisesti käyttäjän syöte (kysely), M42 Pro -alustan soveltuvat kontekstuaaliset attribuutit ja organisaation tietämyskannasta haettu asiaankuuluva sisältö.
• Keskustelulitket säilytetään oletusarvoisesti 12 kuukautta. Tätä säilytysaikaa voidaan mukauttaa asiakkaan mieltymysten tai sisäisten käytäntöjen perusteella. Vuorovaikutusten aikana kerättyjä tietoja ei käytetä tekoälymallien kouluttamiseen. Matrix42 ei käsittele, tallenna tai lataa mitään arkaluonteisia tai henkilötietoja enempää kuin mitä vastauksen luomiseen ehdottomasti tarvitaan.

Seuraavat datapisteet tallennetaan järjestelmälokeihin tarkastus- ja valvontatarkoituksiin:

question – käyttäjän kysymys.

response – edellinen vastaus, mikä mahdollistaa kontekstin jatkuvuuden.

sessionId – keskusteluistunnon yksilöivä tunniste.

addressIp – käyttäjän IP-osoite (jos saatavilla).

startTime – istunnon aloituksen aikaleima.

processingTime – vastauksen luomiseen kuluva aika [s].

rawQuestion – käyttäjän lähettämä alkuperäinen syöte.

rawResponse – tekoälymallin luoma käsittelemätön vastaus.

Tekoälyosaaminen - korkean tason arkkitehtuuri

FAAS (Function as a Service) – tämä on sisäinen moduuli, joka vastaa mallien ja ulkoisten alustojen kanssa tapahtuvasta viestinnästä. Se on täysin muokattavissa, ja ulkoisesti jaettavat tiedot on määriteltävä selkeästi tässä moduulissa. Mukautus tehdään projektissa ja se johdetaan siitä, mitä tarvitaan halutun vastauksen luomiseen; käyttäjän kysymys, järjestelmäkehote ja tiedot vektoritietokannasta. Mallilla tai millään ulkoisilla alustoilla ei ole suoraa pääsyä tietoihin.

MS Teams -integraation tekninen arkkitehtuuri (tiedonhankinta)

Käyttäjän vuorovaikutuskerros

Microsoft Teams -sovellus

• Organisaation käyttäjien asentama mukautettu Teams-sovellus.
• Toimii ensisijaisena käyttöliittymänä tiedon löytämisen kanssa vuorovaikutuksessa.
• Pro sekä chat-pohjaista että mahdollisesti mukautuvaa korttipohjaista vuorovaikutusta.

Azure bottipalvelu

• Käsittelee Teamsilta saapuvia viestejä.
• Suorittaa aikomuksen tunnistuksen , todennuksen ja reitityksen taustapalveluihin.
• Voi tarvittaessa lähettää ennakoivia viestejä (esim. muistutuksia, tikettipäivityksiä).

Azure Cloud

Azure resurssiryhmä

• Looginen säilö, joka hallitsee kaikkia toisiinsa liittyviä Azure -resursseja.

Azure botti

• Rekisteröity botti, joka integroituu Microsoft Teamsiin Bot Frameworkin kautta.
• Yhdistää verkkosovellukseen liiketoimintalogiikan käsittelyä tai ulkoisten API rajapintojen käyttöä varten.

Azure -verkkosovellus (Node.js Dockerissa)

• Keskitetty taustasovellus.
• Isännöity säilöitynä Node.js-sovelluksena Azure App Servicen kautta.
• Kahvat:
  • Todennus ja valtuutus
  • Dialogitilan hallinta
  • Reitityslogiikka
  • Integrointi GenAI / Rail API kanssa

Azure säilörekisteri

• Isännöi verkkosovelluksen käyttämiä Docker-kuvia.
• Tukee CI/CD-työnkulkuja ja versioituja käyttöönottoja.

Azure Cosmos DB ( NoSQL )

• Jatkuu:
  • Keskusteluhistoria
  • Käyttäjäasetukset ja profiilit
  • Käynnissä olevien istuntojen metatiedot

Integraatiokerros

• Matrix42 keskustelupohjainen tekoälyalusta
  • Toimii keskeisenä tekoälyn orkestrointikeskuksena .
  • Vastaanottaa luonnollisen kielen syötteitä ja rikastuttaa niitä käyttämällä:
  • M42 GenAI tai kolmannen osapuolen LLM:t
    • Haku-laajennettu sukupolvi (RAG)
    • Kontekstuaalinen muisti aiemmista istunnoista
    • Paljastettu suojattujen HTTP(S)-päätepisteiden kautta.
• Rail API (Integration Middleware)
  • Normalisoi pyynnöt/vastaukset keskustelupohjaisen tekoälykerroksen ja ulkoisten järjestelmien välillä.
  • Käsittelee todennusta, pyyntöjen muuntamista ja välimuistia.
  • Reitit kohteeseen:
    • M42 Enterprise Yrityspalveluiden hallinta (ESM)
    • Muut taustajärjestelmät tarpeen mukaan
    • M42 Enterprise Yrityspalveluiden hallinta (ESM)
      • Pro palvelupyyntöjen täyttämisen, CMDB-kyselyt, tilapäivitykset jne.
      • Toimii ensisijaisena taustajärjestelmänä toiminnallisille käyttötapauksille.

Pro

• HTTPS
  • Ensisijainen protokolla turvalliseen tiedonsiirtoon seuraavien välillä:
    • Tiimit ↔ Azure -botti
    • Azure botti ↔ Verkkosovellus
    • Verkkosovellus ↔ Rail- API ja ESM
    • Teams ↔ GenAI -päätepisteet verkkosovelluksen kautta
• WebSocket (valinnainen/liitettävä)
  • Reaaliaikaisiin vuorovaikutuksiin tarvittaessa (esim. LLM-vastausten suoratoisto tai reaaliaikaiset kirjoitusindikaattorit).

Tekoäly ja tiedonhankintakerros

• M42 GenAI + RAG-pino
  • Yhdistää:
    • Laaja kielimalli (esim. GPT, Phi)
    • Asiakirjanhakijat toimialakohtaisille vastauksille
  • Kyselee sisäisistä dokumenteista ja tietolähteistä tarkkojen vastausten saamiseksi.
• Tuetut tietolähteet:
  • SharePoint (moderni/klassinen)
  • Atlassian Confluence
  • DokuWiki
  • Sisäiset verkkosivut (indeksoijan tai liittimen kautta)
  • PDF-, Word-, HTML- ja Markdown-dokumentit
  • Strukturoidut tietokannat

Kokonaisvaltainen työnkulku

1. Käyttäjä lähettää viestin Teamsissa
2. Azure -botti tallentaa ja jäsentää syötteen.
3. Botti välittää pyynnön verkkosovellukselle , joka käsittelee:
   1. Käyttäjän/istunnon validointi
   2. Tekoälyn rikastaminen keskustelevan tekoälyn avulla
4. Keskustelupohjainen tekoäly käyttää GenAI ja RAG:ia seuraaviin tarkoituksiin:
   1. Tulkitse kysymys
   2. Hae asiaankuuluvaa organisaatiosisältöä
   3. Muotoile ihmisen kaltainen vastaus
5. Jos toimenpiteitä vaaditaan (esim. tiketin luonti), verkkosovellus reitittää pyynnön Rail API , joka muodostaa yhteyden ESM: ään.
6. ESM palauttaa dataa/tuloksia, jotka välitetään takaisin Teamsiin käyttäjille esiteltäväksi.
7. Verkkosovellus tallentaa keskustelukontekstin Cosmos DB:hen parantaakseen tulevia vuorovaikutuksia.

Arkkitehtuurin visualisointi