Ollama дає змогу запускати мовні моделі локально без хмарних сервісів
Ollama дає змогу безкоштовно запускати мовні моделі на Windows, macOS і Linux без надсилання запитів до хмарних серверів.
Платформа Ollama дає змогу завантажувати, налаштовувати й запускати великі мовні моделі безпосередньо на комп’ютерах із macOS, Linux і Windows. Після завантаження модель може працювати офлайн: запити та відповіді не потрібно надсилати на хмарні сервери. Про можливості платформи повідомляє TechSpot.
Ollama поширюється безкоштовно як програмне забезпечення з відкритим кодом за ліцензією MIT. Платформа підтримує, зокрема, Llama 4, Qwen 3, Gemma 3, Phi-4, DeepSeek-R1 і Mistral. Інтернет-з’єднання потрібне для завантаження моделей, доступу до моделей, розміщених у хмарі, та використання онлайн-інтеграцій.
Робота з моделями та інтеграції
Користувачі можуть запускати моделі через інтерфейс командного рядка, використовуючи ресурси власного процесора або графічного прискорювача. Ollama також має інтеграції з Docker, REST API та бібліотеками для Python і JavaScript. Для власних моделей платформа підтримує формат GGUF, а змінювати параметри й системні повідомлення можна через файл Modelfile.
Серед останніх оновлень — підтримка Ripple Preview, моделі на 65 млрд параметрів, призначеної для агентного програмування. Також розробники повідомили про зменшення використання пам’яті Qwen3.8 Flash Next приблизно на 27 ГіБ на пристроях Apple Silicon, покращення інтеграції Claude Code через команду ollama launch claude та сумісність з OpenAI Responses API. Для Windows on ARM додано підтримку CUDA 13.5.
Вимоги до комп’ютера
Для роботи Ollama на macOS потрібна версія Big Sur 11 або новіша, у Linux — Ubuntu 18.04, 20.04, 22.04 або новіші версії. Windows підтримується через нативний інсталятор або WSL 2. Мінімально рекомендовано 8 ГБ оперативної пам’яті, а оптимальним названо обсяг від 16 ГБ.
Графічний процесор не є обов’язковим, однак може істотно прискорити виконання моделей. Для моделей на 7–13 млрд параметрів рекомендовано GPU Nvidia або AMD із 8 ГБ відеопам’яті. Для моделі на 30 млрд параметрів потрібно 16 ГБ VRAM, для 65-мільярдної — 32 ГБ, а для моделей із понад 70 млрд параметрів може знадобитися щонайменше 48 ГБ відеопам’яті або кілька графічних процесорів.
