✓ Приватност и контрола над податоците – Ништо не патува на надворешни API-ја, па ризикот од откривање или неовластена употреба на податоците е значително помал. Идеално за доверливи документи, правни услуги, здравство, јавна администрација, истражување и развој и производство.
ЛОКАЛНА AI · ON-PREMISE
Вашата AI.
Вашите податоци.
Под ваша контрола.
Им помагаме на компаниите да воспостават локална AI: покренуваме open-source јазични модели на хардвер што го прилагодуваме на вашите потреби. Опремата можете да ја купите или изнајмите кај нас; ја инсталираме во кое било опкружување или ја хостираме во сопствениот дата центар во Љубљана.
За секој клиент подготвуваме оптимизирано решение по мерка — софтверски и хардверски. AI ја обликуваме околу вашите податоци, процеси и буџет, за да добиете најмногу перформанси за разумна цена.
Вашите податоци под ваша контрола, во Словенија.
Open-source модели.
Опрема по мерка или изнајмена.
Домашна поддршка.
ВАШИТЕ ПОДАТОЦИ ОСТАНУВААТ ВАШИ
Што е локална AI?
Локалната AI (on-premise AI) значи дека вештачката интелигенција работи на сервери во ваша сопственост или на опрема што ја изнајмувате кај нас — не во туѓ облак. Користиме отворени модели (т.н. open-weights) што може да се преземат и да се покренуваат на сопствена опрема; водечките меѓу нив по перформанси се блиску до комерцијалните решенија, па се погодни за сериозна деловна употреба.
Вашите документи, шифрарници, договори, е-пошта и внатрешната база на знаење остануваат под ваша контрола — во вашата мрежа или во нашиот дата центар во Словенија — и никогаш не завршуваат кај надворешни API провајдери.
Вашите документи
Вашата мрежа
DC / локација по ваш избор
Зошто локална AI?
✓ Полесна усогласеност со GDPR и регулативата – Јасна локација на обработка (Словенија), полесна документација за правните основи, ревизиите и внатрешните политики за заштита.
✓ Предвидливи трошоци – Без сметки по токен и без изненадувања на крајот на месецот. Плаќате за опремата (купување или изнајмување) и поддршката — не за секој поединечен prompt.
✓ Прилагодливост по мерка – Моделот, должината на контекстот, интерфејсот и тековите се прилагодуваат на вас: сопствена база на знаење (RAG), поврзување со ERP/CRM/DMS, алатки и автоматизации по договор.
✓ Независност од добавувачите – Локалната AI не паѓа кога API провајдерот ќе ги промени цената или условите и нема надворешни квоти или ограничувања од провајдерот. Може да работи и без интернет.
✓ Перформанси што држат чекор – Водечките отворени модели по квалитет се блиску до комерцијалните; со напредни оптимизации го извлекуваме најмногу од избраната опрема.
Најновата open-source технологија
Модели (отворени / open-weights, по избор и лиценца):
- Qwen (Alibaba)
- DeepSeek
- Mistral
- Google Gemma
- GLM (Z.ai)
- Kimi (Moonshot)
- gpt-oss (OpenAI)
- и други – избираме според задачата, јазикот и големината; на истиот хардвер може паралелно да работат повеќе модели.
Погони за инференција (inference engine):
- vLLM и SGLang – индустриски стандарди за опслужување големи модели со висока пропусност и многу истовремени корисници.
- llama.cpp – сигурен, лесен погон за GGUF модели; одличен за помали опкружувања и специјализирани уреди.
- Ollama
- TensorRT-LLM
- Strata
- Project Maya
- Colibri Project
- AirLLM
Оптимизации со кои го извлекуваме максимумот од опремата:
- квантизација – моделот го компресираме на пониска нумеричка прецизност (на пр. GGUF, AWQ, FP8), за да влезе повеќе од моделот во истата меморија и да работи побрзо, со контролирана загуба на квалитет;
- спекулативно декодирање (на пр. EAGLE-3) – лесен помошен модел однапред ги предлага следните зборови, главниот модел само ги проверува; генерирањето се забрзува до 2–3×, во зависност од моделот и оптоварувањето;
- MoE архитектура и оптимизација на KV-меморијата – кај MoE моделите по токен се пресметува само дел од моделот, што ги намалува пресметковните барања и ја зголемува брзината; со управување на KV-меморијата поддржуваме подолг контекст и повеќе истовремени корисници.
- KV-меморија – кеширање на резултатите од промптите
Обезбедуваме лиценцна исправност: изборот на модел ја зема предвид неговата лиценца (Apache 2.0, MIT и лиценците на одделните добавувачи) и евентуалните ограничувања за компаниите во ЕУ — советуваме и на тој план.
Што може локалната AI во пракса
Разговор со сопствената база на знаење (RAG): Документи, постапки, договори, понуди, техничка документација — вработените добиваат одговори од сопствени извори со упатување на изворот.
Внатрешен AI портал: (Open WebUI или било кој интерфејс по мерка) за целата компанија, со кориснички улоги и пристапи.
Автоматизација и агентски текови: Сумирање, сортирање, класификација, генерирање понуди, поддршка на корисници, внатрешен chatbot.
Развојна алатка: Дополнување и преглед на код за програмскиот тим — без испраќање код надвор. (на пр. deepseek Harness)
Чувствителни податоци: Здравство, финансии, правни документи, јавен сектор — каде што употребата на cloud AI е правно или договорно ограничена.
По потреба и: Говорни модели, OCR/обработка на документи, преведување, модели на слики.
Како доаѓаме до решението
Бесплатна консултација (60 мин) – Кој проблем го решаваме, кои податоци и процеси ги вклучуваме.
Анализа и дизајн – Избор на модел, должина на контекстот и оптоварување; план за хардвер (GPU / RAM / NVMe). По потреба моделот го тестираме на вашите податоци и на словенечки.
Понуда по мерка – Софтвер и хардвер; можност за купување или изнајмување опрема; инсталација кај вас или хостирање во нашиот дата центар.
Имплементација и интеграција – Инсталација, оптимизација, поврзување со постојните опкружувања, тестирање со вашите податоци.
Поддршка и одржување – Ажурирања на моделите и погоните, надзор, проширувања.
Опрема според вашите барања — купена или изнајмена
- Конфигурација по мерка: хардвер со графички картички, соодветна меморија и NVMe складирање.
- Изнајмување без висока почетна инвестиција — месечни трошоци, надградби по договор; исто како при изнајмување опрема за колокација.
- Хостирање: кај вас во локалната мрежа или во нашиот дата центар во Љубљана (редундантно напојување, ладење, DDoS заштита, надзор 24/7).
Често поставувани прашања
Дали отворените модели се доволно добри за сериозна работа?
За повеќето деловни задачи да. Водечките отворени модели (DeepSeek, Qwen, GLM, Kimi и други) по квалитет се блиску до затворените комерцијални, особено при работа со сопствени извори (RAG). Квалитетот на словенечки зависи од избраниот модел, па го тестираме на вашите примери за време на консултацијата.
Колку чини локалната AI?
Зависи од моделот и обемот на користење — затоа подготвуваме понуда по мерка. Трошоците се еднократни (опрема, имплементација) или месечни (изнајмување, поддршка), а не по токен.
Која е разликата во споредба со cloud API (на пр. ChatGPT)?
Податоците остануваат под ваша контрола, нема зависност од провајдер или неговите квоти, а моделот и интерфејсот може слободно да се прилагодуваат. При постојано, поголемо оптоварување локалното решение долгорочно може да биде и поевтино.
Што значи изнајмување опрема?
Серверот и GPU опремата ги обезбедуваме ние, плаќате месечен наем — без почетна инвестиција, исто како при изнајмување опрема за колокација.