← Blog

Na czym uruchomić model AI lokalnie

9 cze 2026 · RS Management

W skrócie

  • Sprzęt do lokalnych modeli układa się w cztery progi, od zwykłego laptopa po maszyny ze 128 GB pamięci wspólnej.
  • O opłacalności rzadko rozstrzyga prąd, a zwykle amortyzacja sprzętu i czas osoby, która go utrzymuje.
  • Przy wydatkach na API poniżej ok. 1 000 zł miesięcznie zakup sprzętu nie zwróci się na samym koszcie.
  • Wzrost cen pamięci w 2026 roku przesunął granicę na korzyść API.

„Czy możemy uruchomić AI na własnym sprzęcie, żeby dane nie wychodziły z firmy?” Tak, i jest to dziś prostsze niż jeszcze dwa lata temu. Przed zakupem trzeba jednak wiedzieć, na jakim progu sprzętowym kończą się rzeczy proste, a zaczynają kosztowne, i kiedy rachunek wypada na korzyść modeli dostępnych przez API.

Dotyczy Ollama LM Studio llama.cpp vLLM

Cztery progi sprzętowe

Próg Pamięć Co się mieści Do czego wystarcza
Laptop albo komputer bez karty graficznej 16-32 GB Modele skompresowane o wielkości 4-14 mld parametrów Klasyfikacja, przepisywanie tekstu, prosta ekstrakcja danych, przetwarzanie nocne
Komputer z mocną kartą graficzną 24-32 GB pamięci karty Modele 30 mld parametrów po lekkiej kompresji, 70 mld po mocnej Asystent kodu, streszczanie długich dokumentów, wyszukiwanie po bazie wiedzy
Stacja z kartą profesjonalną 96 GB z korekcją błędów Te same modele w pracy ciągłej Praca całodobowa bez przypadkowych błędów w wynikach
Pamięć wspólna procesora i karty do 128 GB Modele, które na zwykłych kartach wymagają kilku sztuk sprzętu Eksperymenty z największymi modelami otwartymi

Na pierwszym progu model generuje kilka do kilkunastu słów na sekundę. Do rozmowy z człowiekiem w czasie rzeczywistym bywa to za wolno, do przetwarzania wsadowego w nocy wystarcza. OpenAI podaje, że gpt-oss-20b uruchamia się w 16 GB pamięci, co dobrze wyznacza górną granicę tego progu.1

Karta profesjonalna daje trzykrotnie więcej pamięci od konsumenckiej i sama wykrywa oraz poprawia przekłamania w pamięci. To zaczyna mieć znaczenie, gdy maszyna pracuje całą dobę i nikt nie planuje szukać przyczyny wyników, które raz na jakiś czas wychodzą inaczej.

Na czwartym progu stoją maszyny z pamięcią współdzieloną przez procesor i układ graficzny. Mac Studio z układem M3 Ultra, wprowadzony w marcu 2025, oferował do 512 GB takiej pamięci, ale w marcu 2026 Apple wycofało ten wariant, a w maju zostawiło wyłącznie 96 GB.2 NVIDIA DGX Spark mieści 128 GB w obudowie wielkości książki.3

Czym to uruchamiać

Narzędzie Dla kogo Licencja
Ollama Uruchomienie modelu jedną komendą; API zgodne z OpenAI, więc zmiana dostawcy w aplikacji to zmiana adresu Otwarta
LM Studio Osoby, które nie pracują w terminalu: interfejs graficzny z przeglądarką modeli Zamknięta
llama.cpp Podstawa większości narzędzi; format plików GGUF, w którym publikuje się skompresowane modele Otwarta
vLLM Wielu użytkowników naraz; znacznie lepsze wykorzystanie karty przy równoległych zapytaniach Otwarta

W korporacji licencja bywa istotna przy przeglądzie oprogramowania, dlatego LM Studio jako jedyne z tej czwórki wymaga osobnej zgody działu IT.

Ile pamięci zajmie model

Model w pełnej dokładności zajmuje ok. 2 bajty na parametr, a kompresja, czyli kwantyzacja, dzieli tę wartość kosztem niewielkiego spadku jakości.

Wariant Bajty na parametr Model 30 mld parametrów
Pełna dokładność ok. 2 ok. 60 GB
Ośmiobitowy ok. 1 ok. 30 GB
Czterobitowy ok. 0,5 ok. 15 GB
Do wyniku z tabeli dochodzi pamięć na kontekst, która rośnie razem z długością polecenia. Model mieszczący się w karcie na papierze przestaje się mieścić po wczytaniu długiego dokumentu.

Maszyny z pamięcią współdzieloną mają jej dużo, ale przetworzenie długiego polecenia przed pierwszym słowem odpowiedzi trwa na nich zauważalnie dłużej niż na dedykowanej karcie. Przy krótkich zapytaniach różnicy nie widać, przy analizie stustronicowej umowy widać ją wyraźnie.

Prąd, ciepło i utrzymanie

Mocny komputer z kartą graficzną potrzebuje zasilacza ok. 1 000 W, czyli pobiera pod obciążeniem mniej więcej tyle co czajnik elektryczny. Maszyna pracująca 8 godzin dziennie przez 20 dni w miesiącu zużyje ok. 110 kWh. Przy średniej unijnej cenie prądu dla firm z drugiej połowy 2025 roku, 18,37 euro za 100 kWh, daje to ok. 20 euro miesięcznie.4

Większy ciężar mają pozostałe koszty. Oddane do niewielkiego pokoju ciepło latem wymusza chłodzenie, a wentylatory pod obciążeniem słychać przez cały dzień. Ktoś musi aktualizować sterowniki, pilnować wersji modeli i reagować, gdy usługa przestaje odpowiadać w piątek po południu. W mniejszej firmie jest to zwykle osoba, która ma już komplet innych obowiązków.

Kiedy własny sprzęt, a kiedy API

Sytuacja Lepiej lokalnie Lepiej API
Dane nie mogą opuścić infrastruktury z powodów umownych albo regulacyjnych Tak, chyba że wystarczy deklaracja dostawcy o regionie przetwarzania i braku retencji Gdy deklaracja dostawcy wystarcza
Wysoki i stały wolumen prostych zadań: klasyfikacja, ekstrakcja pól, osadzenia Tak, koszt jednostkowy wychodzi wyraźnie niżej Przy małym albo nieregularnym wolumenie
Praca bez dostępu do internetu Tak Nie da się
Zadania wymagające długiego wnioskowania Najlepsze modele otwarte wciąż ustępują czołowym Tak

Rachunek opiera się na założonej cenie stacji roboczej:

Założenie Wartość
Cena stacji roboczej 25 000 do 40 000 zł
Okres amortyzacji 3 lata
Koszt miesięczny, zanim ktokolwiek jej użyje 700 do 1 100 zł, plus prąd i czas administracyjny

Jeżeli zespół wydaje dziś na API mniej niż ten koszt miesięczny, zakup sprzętu nie zwróci się na samym koszcie.

Ceny z 2026 roku zmieniły rachunek

Ceny pamięci DRAM, czyli pamięci operacyjnej, wzrosły w pierwszym kwartale 2026 roku o ok. 90% wobec końca 2025, bo producenci przekierowali produkcję do centrów danych obsługujących AI.5 Warianty maszyn o największej pojemności pamięci drożeją albo znikają z oferty, a konfiguracja wyceniona rok temu dziś kosztuje inaczej. Rachunek, który w 2025 roku wychodził na korzyść własnego sprzętu, w 2026 często wygląda odwrotnie, więc przed decyzją zakupową trzeba sprawdzić aktualny cennik producenta.

Jak zacząć

  1. Sprzęt, który firma już ma (1 dzień). Ollama albo LM Studio na istniejącym komputerze i jeden model z pierwszego progu.
  2. Jeden konkretny proces (2 tygodnie). Pomiar jakości i czasu odpowiedzi na prawdziwych zadaniach, np. klasyfikacji zgłoszeń.
  3. Decyzja o sprzęcie (po pomiarze). Karta za kilkanaście tysięcy złotych ma sens dopiero wtedy, gdy model danej klasy wykonuje zadanie, a wolumen uzasadnia dedykowaną maszynę.

Taki eksperyment kosztuje kilka godzin pracy i rozstrzyga więcej niż tygodnie dyskusji o specyfikacji. Konfigurację lokalnego środowiska z modelami i pierwszymi agentami przygotowujemy w ramach Akceleratora AI.

Najczęstsze pytania

Jaki komputer jest potrzebny do uruchomienia modelu AI lokalnie?

Do prostych zadań wystarczy laptop z 16-32 GB pamięci. Do asystenta kodu albo wyszukiwania po bazie wiedzy potrzebna jest karta graficzna z 24-32 GB pamięci.

Czy lokalny model jest tańszy niż API?

Tylko przy wysokim i stałym wolumenie prostych zadań. Przy wydatkach na API poniżej ok. 1 000 zł miesięcznie amortyzacja sprzętu i czas utrzymania kosztują więcej.

Od czego zacząć testy lokalnych modeli?

Od Ollamy albo LM Studio na sprzęcie, który firma już ma, i dwutygodniowego pomiaru jakości na jednym konkretnym procesie.

Footnotes

  1. OpenAI, karta modelu gpt-oss z wymaganiami pamięci: https://huggingface.co/openai/gpt-oss-120b. ↩

  2. MacRumors, wycofanie wariantu 512 GB z Mac Studio z 5 marca 2026: https://www.macrumors.com/2026/03/05/mac-studio-no-512gb-ram-upgrade/; 9to5Mac, pozostawienie wyłącznie wariantu 96 GB z 5 maja 2026: https://9to5mac.com/2026/05/05/apples-most-powerful-mac-studio-loses-its-last-remaining-ram-upgrade-option/. ↩

  3. NVIDIA, strona produktu DGX Spark ze 128 GB wspólnej pamięci: https://www.nvidia.com/en-us/products/workstations/dgx-spark/. ↩

  4. Eurostat, ceny energii elektrycznej dla odbiorców innych niż gospodarstwa domowe, druga połowa 2025: https://ec.europa.eu/eurostat/web/products-eurostat-news/w/ddn-20260508-2. ↩

  5. Counterpoint Research, wzrost cen pamięci do 90% wobec czwartego kwartału 2025: https://counterpointresearch.com/en/insights/Memory-Prices-Surge-Up-to-90-From-Q4-2025. ↩

Treści na blogu mają charakter informacyjny i edukacyjny. Nie stanowią porady prawnej, podatkowej ani indywidualnego doradztwa biznesowego. Zakres naszych usług opisuje regulamin.

Zobacz pakiet: Akcelerator AI