Frågor om lokal och suverän AI.

Lokal AI, även kallad AI on-premise eller AI på plats, betyder att modellerna körs i en miljö er organisation kontrollerar i stället för i en leverantörs moln. Kaldryn är byggt för det mönstret: chatt, agenter och kunskap på plats, i den privata miljö ni driftsätter. Plattformen kan köras luftgapad. Om en viss installation faktiskt är isolerad beror på nät, brandvägg, connectors, backuper och den supportåtkomst ni konfigurerar.

Suverän AI är lokal AI med kontroll. Kaldryn beskriver det som suverän AI med kontroll för verksamheten: modellen, datan och infrastrukturen stannar hos organisationen, i stället för att hyras från någon annans moln. På sidan Om oss formuleras samma sak som en princip. Datakontroll ska följa av var mjukvaran körs, inte bara av en avtalsklausul.

Moln-AI faktureras vanligtvis som abonnemang, tokens eller krediter, och behandlar prompter i leverantörens miljö. Med Kaldryn kräver lokal inferens inget köp av molntokens eller krediter. Hårdvara, el, licens och drift har fortfarande kostnader. Identitet, policyer, modelldrift och underlag ligger i samma konsol som arbetsytan, på infrastruktur ni kontrollerar.

Kaldryn innehåller verktyg som stödjer arbetet. Det certifierar inte en organisation och ersätter inte en juridisk bedömning. För GDPR finns lokal behandling, avgränsad dokumentåtkomst, konfigurerbar DLP som kan blockera, maskera eller logga, samt ett granskat flöde för radering av personuppgifter med revisionsspår, plus dokumentation för DPIA och datastyrning. För EU:s AI-förordning finns information i produkten, utbildningsloggar, modellinventering, tillitspolicyer, kontrollerad åtkomst och driftsloggar. NIS2 är ett av de europeiska regelverk som Kaldryns genomgångar tar upp. Samma konsol visar identitet, minsta behörighet, kontroller av nätverksisolering, ett register över utgående trafik och loggexport som administratörer kan använda när de dokumenterar hur installationen drivs. Skyldigheterna beror fortfarande på användningsfallet, konfigurationen och organisationens egna åtgärder.

Ni väljer infrastrukturen. Modeller installeras och drivs där, på CPU- eller GPU-noder, och lokala modellfiler som GGUF kan importeras. Dokumenthämtning är tänkt att köras i samma miljö, och prompter för lokal inferens behandlas där. Connectors, backuper och fjärrsupport kan vara utgående vägar. Konsolen har isoleringskontroller och ett register över utgående trafik så att administratörer kan granska gränsen. Fjärrsupport, där den används, är en uttrycklig och tidsbegränsad administratörsåtgärd med registrerad orsak.

Administratörer väljer, installerar och driver modeller på installationens egen infrastruktur. Konsolen har en modellkatalog, en hårdvarurådgivare för minne och kontext, driftsättning på CPU och GPU, och import av lokala modellfiler inklusive GGUF. Training Studio kan anpassa en modell med LoRA för specialiserade uppgifter, och GPU-noder kan registreras i ett kluster. Genomströmning och samtidighet varierar med modell, kvantisering, kontextlängd, hårdvara och arbetslast. Vad en installation kan köra beror på licens, roll, hårdvara och konfiguration. Modellnamn i förhandsvisningar på den här webbplatsen är exempel, inte en kunds livekatalog.

Företag och andra organisationer som behöver AI som deras säkerhets-, dataskydds- och regelefterlevnadsteam kan stå för. Kaldryn beskriver den målgruppen som reglerade team inom vård, juridik, finans, försvar och offentlig sektor, i Norden och EU. Sidan Om oss nämner sjukhus, advokatbyråer, banker och myndigheter som den sortens organisation där ett moln från tredje part avslutade diskussionen. Produkten byggs och drivs av Kaldryn Industries AB i Stockholm.