Jednoduchý návod na inštaláciu a prevádzkovanie Ollama na Windows 10/11 a Debian/Ubuntu systémoch
Ollama je nástroj, ktorý umožňuje spúšťať LLM (Large Language Models) modely lokálne na vašom počítači. To znamená, že môžete využívať silu AI bez potreby internetového pripojenia a bez odosielania vašich dát externým službám.
Vďaka Ollama môžete jednoducho sťahovať, spúšťať a používať rôzne modely ako Gemma, Phi a mnoho ďalších, ktoré sú optimalizované aj pre bežný hardware.
Pre bezproblémový chod menších modelov v Ollama budete potrebovať:
Ollama pre Windows je dostupný ako jednoduchý inštalátor:
Navštívte oficiálnu stránku https://ollama.com/download
Stiahnite inštalátor pre Windows
Spustite stiahnutý .exe súbor a postupujte podľa inštalačných pokynov
Po inštalácii by sa mal Ollama spustiť automaticky a objaví sa v systémovom paneli
Pre využitie NVIDIA GPU (ak ju máte):
Pre inštaláciu Ollama na Debian alebo Ubuntu systémoch:
# Inštalácia cez oficiálny skript
curl -fsSL https://ollama.com/install.sh | sh
Alternatívne môžete Ollama nainštalovať manuálne:
# Stiahnite najnovšiu verziu
wget https://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64
# Nastavte práva na spustenie
chmod +x ollama-linux-amd64
# Presuňte do /usr/local/bin pre globálny prístup
sudo mv ollama-linux-amd64 /usr/local/bin/ollama
Spustenie Ollama na pozadí ako služby:
# Vytvorenie systemd služby
sudo tee /etc/systemd/system/ollama.service > /dev/null << 'EOF'
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=$USER
Environment="HOME=/home/$USER"
[Install]
WantedBy=default.target
EOF
# Povolenie a spustenie služby
sudo systemctl enable ollama
sudo systemctl start ollama
Pre NVIDIA GPU:
# Inštalácia NVIDIA ovládačov
sudo apt update
sudo apt install -y nvidia-driver-545 nvidia-cuda-toolkit
Nasledujúce modely sú vhodné pre systémy s obmedzenými zdrojmi (najviac 16GB RAM):
Menší model od Google vhodný pre základné úlohy.
ollama pull gemma3:4b
Microsoft model s dobrou rovnováhou medzi výkonom a nárokmi.
ollama pull phi
Menšia verzia populárneho Llama 3 modelu od Meta.
ollama pull llama3:8b
Ultra-kompaktný model pre systémy s obmedzenými zdrojmi.
ollama pull tinyllama
Stiahnutie a spustenie modelu:
# Stiahnutie modelu
ollama pull gemma:2b
# Spustenie chatu s modelom
ollama run gemma:2b
Zoznam všetkých dostupných modelov:
ollama list
Zmazanie modelu:
ollama rm gemma:2b
Ollama poskytuje jednoduché REST API, ktoré môžete použiť vo vlastných aplikáciách:
# Príklad cURL požiadavky
curl -X POST http://localhost:11434/api/generate -d '{
"model": "gemma:2b",
"prompt": "Vysvetli, čo je to umelá inteligencia."
}'
Príklad v PHP:
<?php
$data = [
'model' => 'gemma:2b',
'prompt' => 'Vysvetli, čo je to umelá inteligencia.'
];
$options = [
'http' => [
'method' => 'POST',
'header' => 'Content-Type: application/json',
'content' => json_encode($data)
]
];
$context = stream_context_create($options);
$result = file_get_contents('http://localhost:11434/api/generate', false, $context);
$response = json_decode($result, true);
echo $response['response'];
?>
Pre jednoduchšie používanie môžete využiť neoficiálne webové rozhranie OpenWebUI:
# Inštalácia cez Docker
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Po inštalácii navštívte http://localhost:3000 a pripojte sa k vášmu Ollama serveru.
nvidia-smi v príkazovom riadku. Na Linuxe môžete vyskúšať príkaz ollama serve s premennou OLLAMA_USE_CUDA=1.
:q4_K_M)