Czym jest GenAI ?

Generatywna sztuczna inteligencja ( GenAI ) odnosi się do kategorii modeli sztucznej inteligencji zdolnych do tworzenia nowych treści w oparciu o wyuczone wzorce z rozległych zbiorów danych. W przeciwieństwie do tradycyjnej sztucznej inteligencji, która przede wszystkim klasyfikuje lub przewiduje wyniki na podstawie istniejących danych, generatywna sztuczna inteligencja może dynamicznie generować tekst, obrazy, kod i inne formy treści.

Modele te, zazwyczaj oparte na dużych modelach językowych (LLM), takich jak Mistral, GPT czy LLaMA, przetwarzają dane wejściowe, rozumieją kontekst i generują odpowiedzi zbliżone do ludzkich. Podstawowy mechanizm generatywnej sztucznej inteligencji opiera się na architekturach głębokiego uczenia, w szczególności transformatorach, które umożliwiają zaawansowane rozumienie języka naturalnego i generowanie treści.

Wykorzystanie Matrix42 Local GenAI na platformie M42 Core i Pro

Matrix42 Local GenAI to bezpieczny i w pełni autonomiczny model AI zaprojektowany w celu usprawnienia operacji zarządzania usługami IT (ITSM). Dzięki integracji z kluczowymi narzędziami AI dla przedsiębiorstw, umożliwia on dostarczanie wiedzy, automatyzację i pomoc agentom, zapewniając jednocześnie prywatność danych i zgodność z przepisami.

Odkrywanie wiedzy AI (RAG) – dostarczanie informacji użytkownikom końcowym

Matrix42 GenAI może usprawnić odkrywanie wiedzy AI, wykorzystując technologię generacji rozszerzonej o wyszukiwanie (RAG). Dzięki temu użytkownicy końcowi otrzymują dokładne, kontekstowe odpowiedzi oparte na wewnętrznej wiedzy organizacji, takie jak:

• Dokumentacja usług informatycznych.
• Bazy wiedzy.
• Polityka firmy.
• Wewnętrzne repozytoria (wiki, pliki PDF, Confluence i źródła danych strukturalnych).

Model ten gwarantuje, że pobierane i udostępniane są wyłącznie autoryzowane i istotne informacje, co usprawnia samoobsługę i zmniejsza obciążenie zespołów wsparcia IT.

Działania AI – automatyczne tworzenie treści

Dzięki AI Actions, Matrix42 GenAI może automatyzować powtarzalne i manualne zadania dla agentów IT. Obejmuje to:

• Zautomatyzowany uid rozwiązywania problemów.
• Uruchamianie przepływów pracy na podstawie rekomendacji generowanych przez sztuczną inteligencję.
• Generowanie ustrukturyzowanych odpowiedzi i podsumowań dotyczących problemów informatycznych.

Dzięki wdrażaniu działań AI w procesach zarządzania usługami organizacje mogą zwiększyć efektywność, skrócić czas rozwiązywania problemów i zwiększyć zadowolenie użytkowników.

Pomoc e-mailowa AI – wsparcie Agent w pisaniu wiadomości e-mail

Usługa AI Email Assistance wykorzystuje Matrix42 GenAI , aby pomóc agentom serwisowym szybko tworzyć profesjonalne, kontekstowo istotne wiadomości e-mail w oparciu o szczegóły zgłoszeń i historyczne odpowiedzi. Kluczowe korzyści obejmują:

• Spójna i profesjonalna komunikacja e-mailowa.
• Krótszy czas reakcji dzięki automatycznemu generowaniu odpowiedzi.
• Spersonalizowane odpowiedzi oparte na prośbach użytkowników i poprzednich interakcjach.
• Korekta gramatyki i stylu w celu zapewnienia wysokiej jakości komunikacji.

Dzięki wykorzystaniu sztucznej inteligencji w zakresie pomocy e-mailowej agenci mogą skupić się na rozwiązywaniu problemów, podczas gdy sztuczna inteligencja zwiększa produktywność i dba o jakość komunikacji.

Wniosek

Lokalny GenAI Matrix42 płynnie integruje się z usługami AI Knowledge (RAG), AI Actions i AI Email Assist, zapewniając:

• Bezpieczny i prywatny dostęp do wiedzy opartej na sztucznej inteligencji.
• Zautomatyzowane przepływy prac informatycznych wspomagające agentów.
• Udoskonalone narzędzia komunikacyjne umożliwiające szybsze i bardziej profesjonalne odpowiadanie na wiadomości e-mail.

Dzięki pełnej suwerenności danych i lokalnemu wdrożeniu organizacje mogą wykorzystać potencjał sztucznej inteligencji bez narażania bezpieczeństwa lub zgodności z przepisami, co sprawia, że Matrix42 GenAI jest zaufanym rozwiązaniem AI dla operacji ITSM.

Kluczowe korzyści

• Zoptymalizowany pod kątem ITSM – model ten jest specjalnie dostrojony do zastosowań service desk .
• Obsługa wielu języków – angielski, fiński, szwedzki, niemiecki.
• Wsparcie RAG (z obsługiwanymi produktami) – Możliwość integracji z bazami wiedzy, stronami internetowymi i repozytoriami dokumentów.
• Skalowalność – działa na serwerze wnioskowania PUNA, obsługując wiele tekstów wyjściowych z komfortową prędkością nawet na ekonomicznych procesorach graficznych centrów danych.
• Bezpieczeństwo i prywatność danych – Zaprojektowano z myślą o zgodności z przepisami (np. RODO) i solidnej ochronie danych.

Szczegóły techniczne

• Model bazowy: Mistral Nemo 12B-Instruct.
• Metoda dostrajania: LoRA (adaptacja niskiego rzędu).
• Kwantyzacja: Q6_K, Q8 (zmniejszenie wymagań dotyczących pamięci o połowę przy zachowaniu dokładności 95-98%).
• Długość kontekstu: Obsługuje do 128 tys. tokenów, ale optymalna wydajność wynosi 16 tys. tokenów.
• Silnik wnioskowania: PUNA (zastrzeżony serwer wnioskowania Matrix42 ), zgodny z formatem GGUF (llama.cpp).
• Wymagania sprzętowe:
  
  • Minimum: karta graficzna Nvidia CUDA z 16 GB pamięci VRAM (dla optymalnej wydajności zalecane jest 20 GB).
  • Wdrożenie w centrum danych: obsługuje 4 równoczesne żądania z prędkością >15 tokenów/s.
• Źródła danych szkoleniowych:
  • Publiczne zbiory danych (objęte odpowiednią licencją).
  • Dane syntetyczne wygenerowane za pomocą wysokiej jakości modeli komercyjnych (wyłącznie tych dozwolonych przez licencję).
  • Ręcznie przygotowane i sprawdzone zestawy danych szkoleniowych.

Prywatność danych

• Dostępny hosting lokalny – model można wdrożyć lokalnie, co zapewnia pełną kontrolę nad poufnymi danymi.
• Możemy również dostarczyć model z naszej infrastruktury. Dostępne są dwie opcje:
  • Equinix (Finlandia)
  • Hetzner (Niemcy)
• Maskowanie i anonimizacja danych – podczas przetwarzania nie są przechowywane żadne informacje pozwalające na identyfikację osoby (PII).
• Mechanizmy kontroli dostępu:
  • Zabezpieczenia oparte na zaporze sieciowej ograniczają nieautoryzowany dostęp.
  • Brak konieczności wywołania zewnętrznego API – w przeciwieństwie do opartych na chmurze modeli LLM ten model nie wysyła zapytań do zewnętrznych interfejsów API OpenAI , zapewniając zgodność z przepisami dotyczącymi rezydencji danych i prywatności.
• Pełne prawo własności danych po stronie Klienta – Klient zachowuje wyłączne prawo własności danych przez cały proces.
• Brak wykorzystania danych do szkolenia modelu – Dane klientów nigdy nie są wykorzystywane do szkolenia modelu ani jego dostrajania.
• Dane wykorzystywane wyłącznie do generowania odpowiedzi – informacje dostarczone do modelu służą wyłącznie do generowania odpowiedzi i nie są przechowywane ani przetwarzane dalej.
• Nie są przesyłane żadne dane poufne ani uwierzytelniające – model nie przetwarza ani nie przesyła danych uwierzytelniających ani poufnych danych, co zapewnia bezpieczeństwo.
• Brak przechowywania danych – model nie przechowuje żadnych danych wprowadzanych przez użytkownika ani generowanych odpowiedzi.
• Dzienniki usług są przechowywane lokalnie. Dostęp do nich mają tylko administratorzy. Nie są one udostępniane ani przetwarzane.
• Można wyłączyć wszystkie logi, ale ograniczy to możliwości debugowania
• Hosting danych kontrolowany przez klienta – dane w spoczynku (baza wiedzy, logi, ustawienia, platforma CAI) będą hostowane na serwerach, na których działa system ITMS klienta:
  
  • Equinix (Finlandia)
  • Noris (Niemcy)
  • Lokalnie / w chmurze prywatnej

Mechanizmy te gwarantują, że Matrix42 GenAI zapewnia pełną prywatność danych, zgodność z przepisami i bezpieczne wdrożenie w środowiskach informatycznych przedsiębiorstw.

Zgodność

• Zgodność z RODO – pełna zgodność z ogólnym rozporządzeniem UE Pro danych, z opcjami lokalnymi zapewniającymi suwerenność danych.
• Bezpieczeństwo integracji ITSM – zapewnia bezpieczne uwierzytelnianie i zarządzanie tokenami API w celu integracji z narzędziami Matrix42 i ITSM innych firm.
• Bezpieczne szkolenie modeli – wszystkie zestawy danych szkoleniowych pozyskano na podstawie odpowiedniej licencji i poddano ręcznej kontroli zgodności.
• Rejestry i monitorowanie z możliwością audytu – rejestry nie przechowują poufnych danych wprowadzanych przez użytkowników, lecz umożliwiają przeprowadzanie audytów bezpieczeństwa.

Zgodność z Matrix42 GenAI i unijną ustawą o sztucznej inteligencji

Matrix42 GenAI zostało zaprojektowane i opracowane zgodnie z zasadami regulacyjnymi unijnej ustawy o sztucznej inteligencji (AI Act), zapewniając wiarygodne, przejrzyste i bezpieczne wykorzystanie sztucznej inteligencji w środowiskach korporacyjnych, szczególnie w obszarze zarządzania usługami informatycznymi (ITSM). Kluczowe środki zgodności obejmują:

1. Klasyfikacja ryzyka i przejrzystość sztucznej inteligencji
   1. Matrix42 GenAI należy do kategorii rozwiązań o „ograniczonym ryzyku”, co oznacza, że nie stwarza poważnych zagrożeń dla bezpieczeństwa ani praw podstawowych.
   2. Jest to sztuczna inteligencja wspomagająca biznes, której głównym zadaniem jest wspomaganie działania usług informatycznych bez możliwości autonomicznego podejmowania decyzji, które wpływają na prawa lub wolności jednostek.
2. Nadzór i możliwość wyjaśnienia przez człowieka
   1. Model nie działa autonomicznie w procesie podejmowania kluczowych decyzji. Operatorzy, tacy jak konsultanci IT, nadal kontrolują wyniki wspomagane przez sztuczną inteligencję.
   2. Odpowiedzi mogą być audytowane, przeglądane i modyfikowane przez agentów ludzkich przed ich wdrożeniem w krytycznych przepływach pracy.
3. Stronniczość i uczciwość
   1. Model ten trenowano przy użyciu starannie dobranych zestawów danych, co gwarantuje, że jego odpowiedzi nie będą propagować niesprawiedliwych uprzedzeń.
   2. Mechanizm ciągłego monitorowania pozwala klientom weryfikować wyniki i dostosowywać reakcje zgodnie z wewnętrznymi zasadami zgodności.
4. Pro danych i prywatność (zgodność z RODO)
   1. Matrix42 GenAI stosuje rygorystyczne środki ochrony prywatności danych, gwarantując, że:
      1. Żadne dane klienta nie są przechowywane ani wykorzystywane do ponownego trenowania modelu.
      2. Nie przechowuje i nie przekazuje poufnych informacji poza wyznaczone środowisko klienta.
      3. Obsługuje wdrożenia lokalne i w chmurze prywatnej, umożliwiając pełną kontrolę nad miejscem przechowywania danych.
5. Bezpieczeństwo i solidność
   1. Matrix42 GenAI jest odporny na manipulacje ze strony przeciwnika, takie jak ataki typu instant injection, co zapewnia wiarygodne i bezpieczne odpowiedzi generowane przez sztuczną inteligencję.
6. Raportowanie audytowalności i zgodności
   1. System umożliwia rejestrowanie i monitorowanie organizacji, które wymagają ścieżek audytu w celu zapewnienia zgodności z ramami zarządzania sztuczną inteligencją.
   2. Na życzenie wszystkie logi mogą zostać wyłączone, zgodnie z zasadami ścisłej ochrony prywatności.