Integrirali smo uporabo LLM modelov, po domače ChatGPT (OpenAI, LLama3, …) v Intelidoc sistem in ga za hec vprašali:
Kje živi Ivan Cankar?
In kakšni so bili odgovori?
Naj najprej opišem, kako smo sestavili sistem
Sistem je sestavljen iz Intelidoc sistema, Ollama sistema za lokalno izvajanje AI, in Llama3 modela.
Intelidoc spada v družino PMIS sistemov (Project management information system), ki se uporabljajo za celovito vodenje projektov. PMIS sistem zagotavlja orodja in tehnike za zbiranje, združevanje in distribucijo informacij skozi celoten življenjski cikel projekta (vir ChatGPT).
Ollama je odprto-kodni projekt, ki omogoča poganjanje AI modelov v lokalnem/lastnem okolju. To pomeni, da podatki in dokumenti ne zapuščajo informacijskega sistema podjetja. Varovanje informacij smatramo, kot pomemben element vsakega poslovnega sistema. Tudi standard ISO 27001 določa, da je to pomemben element podjetja.
Informacije in ljudje so ključni viri konkurenčne prednosti posameznega podjetja.
LLama3 je najnovejši AI model, ki ga je pripravilo podjetje Meta.
AI LLM modeli so naučeni iz dokumentov, ki so dostopni tistemu, ki model uči. To pomeni, da vsebina s katero je bil LLM model učen določa tudi odgovore. S pomočjo določenih tehnik lahko nekatere modele, ki so odprti za tovrstne tehnike, dopolnimo z našimi informacijami (dokumenti). To omogoča boljše odgovore na vprašanja, ki se tičejo poslovanja podjetja. To pa je glavni razlog uporabe AI tehnologije v podjetjih. LLama3 je tovrsten model, za se zelo pogosto uporablja za razvoj internih sistemov.
In kakšni so bili odgovori? Poglejte si jih v video posnetku.
Seveda je potrebno odgovore jemati s kančkom soli in razumevanjem, kako LLM sistemi delujejo. LLM sistemi, ki jih sedaj kličemo AI, so le majhen delež AI in ML (strojnega učenja). Delujejo na principu ugotavljanja podobnosti med besedo (tekstom), ki smo ga zapisali v vprašanje in tekstom s katerim je bil LLM model učen. Podobnost se izračunava statistično, kar pomeni, da rezultati niso točni, so le v določenem procentu točni. In v tem procentu se bije boj AI sistemov. AI podjetja med seboj tekmujejo, kdo bo naredil bolj točen sistem. Točnost je seveda relativna. Če je nekaj namenjeno splošni uporabi potem ni namenjeno uporabi na ozkem specifičnem področju, na katerem podjetje deluje.
Skratka modelov je vedno več (več 100.000) in potrebno je izbrati pravilnega za našo uporabo. Ali pa naučiti svojega na lastnih podatkih.
Podjetja, ki iščejo rešitve AI s katerim bi posodobila svoje poslovanje nas lahko kontaktirajo. Prva konzultacija je brezplačna.
Avtor: Gregor Ibic (Intelicom d.o.o.) se že vrsto let ukvarja s področjem analize dokumentov (NLP - natural language processing), kamor spadajo tudi AI in LLM modeli.