Ollama не видит GPU на Windows 11 что делать

[kazuom]

Поставил Ollama 0.1.48 на Windows 11, видеокарта RTX 3070 8GB. Запускаю ollama run llama3, и судя по Task Manager — GPU вообще не грузится, всё идёт через CPU. В логах что-то про CUDA, но модель тянет 2-3 токена в секунду вместо нормальных 40+. Драйвера свежие (556.12), CUDA 12.4 установлена. Что проверить?

[lonelygoblin]

Первым делом запусти ollama run llama3 и параллельно в другом терминале nvidia-smi. Если там нет процесса ollama — значит либо CUDA runtime не подхватывается, либо конфликт версий. Попробуй поставить переменную окружения CUDA_VISIBLE_DEVICES=0 перед запуском.

[sainty]

У меня была такая же история. Оказалось, что Ollama устанавливала свою версию CUDA runtime внутри %LOCALAPPDATA%\Ollama, и она конфликтовала с системной. Удалил Ollama полностью, почистил папку, переустановил — заработало. Ещё важный момент: запускай от имени администратора при первом старте.

[alansmit]

Проверь вывод команды ollama --version и сравни с https://github.com/ollama/ollama/releases — там в changelog прямо написано какие версии CUDA поддерживаются. На 3070 с 8GB всё должно работать штатно, это не edge case.

[nixos69]

Развёрнуто отвечу, потому что сам с этим провозился полдня. Проблема чаще всего в одном из трёх: 1) Ollama запущена не как сервис, а как обычный процесс без прав на CUDA-инициализацию — проверь через services.msc, есть ли там OllamaService и запущен ли он. 2) Антивирус или Windows Defender блокирует доступ к nvml.dll — добавь папку Ollama в исключения. 3) Если у тебя несколько мониторов и iGPU включён — Windows иногда решает, что «основной» GPU это встройка. Зайди в Настройки → Дисплей → Графика и укажи ollama.exe использовать дискретную карту. После этого в логах (запускай через ollama serve в терминале) должно появиться что-то вроде «CUDA GPU 0: NVIDIA GeForce RTX 3070» вместо «no GPU found».

[janito]

Кстати, после фикса рекомендую сразу проверить через ollama ps — там видно, сколько VRAM занято под модель. llama3 8B в q4_K_M берёт около 4.7GB, должно влезать с запасом.

[davkar]

А ты случайно не через WSL2 запускал до этого? Иногда после экспериментов с WSL остаются конфликтующие пути в PATH, из-за этого подхватывается не та библиотека CUDA.