GPU

Сколько видеопамяти реально нужно — вечный вопрос: влезет ли 32B-модель в 24 гигабайта на 3090 и слышна ли разница между Q4_K_M и Q5_K_M, или это плацебо. В разделе обсуждают железо под нейросети — от б/у видеокарт до Mac mini M4, делятся опытом борьбы с недетерминизмом в PyTorch и разбирают, почему локальная LLM падает в проде. Поможет тем, кто выбирает карту под инференс или обучение и не хочет переплачивать.

21 тем, 220 ответов, 11587 просмотров · все теги

Темы

CUDA out of memory — собрал список того, что реально помогает (а не магия)
в «Машинное обучение и Data Science» · 9 ответов · 549 просмотров · 10 июн 2026, 13:21
Flux на 8 гигах VRAM — OOM ровно на VAE decode, у всех так?
в «Нейрогенерация: изображения и видео» · 9 ответов · 404 просмотров · 10 июн 2026, 08:11
Перешёл на локальный Qwen3-Coder вместо API — окупается ли железо реально?
в «AI-ассистированная разработка» · 15 ответов · 687 просмотров · 10 июн 2026, 05:54
Ошибка CUDA out of memory как уменьшить использование памяти GPU
в «Машинное обучение и Data Science» · 8 ответов · 75 просмотров · 09 июн 2026, 22:48
Влезет ли 32B модель в 24 ГБ VRAM или я зря купил 3090? ✓ Решено
в «Локальные LLM и open-source модели» · 11 ответов · 1189 просмотров · 09 июн 2026, 22:12
Кейс фейла: выкатили локальную LLM в прод, через час всё легло
в «Локальные LLM и open-source модели» · 22 ответов · 1270 просмотров · 09 июн 2026, 21:25
Q4_K_M против Q5_K_M: реально слышно разницу или это плацебо?
в «Локальные LLM и open-source модели» · 18 ответов · 1426 просмотров · 09 июн 2026, 20:01
24B или 32B на 24гб VRAM: что реально влезает с нормальным контекстом
в «Локальные LLM и open-source модели» · 10 ответов · 1341 просмотров · 09 июн 2026, 07:52
Поставил все сиды, а loss всё равно гуляет между запусками — кто победил недетерминизм в PyTorch?
в «Машинное обучение и Data Science» · 17 ответов · 813 просмотров · 08 июн 2026, 05:04
P40 + 3090 в одной тушке: tensor-split, костыли и грелка для комнаты
в «Локальные LLM и open-source модели» · 13 ответов · 392 просмотров · 08 июн 2026, 04:42
Mac mini M4 для локальных LLM - реальная альтернатива видеокарте или хайп?
в «Локальные LLM и open-source модели» · 11 ответов · 830 просмотров · 07 июн 2026, 22:07
Gen4 NVMe под видяхой греется до 78°C и тротлит при копировании
в «Сборка ПК и комплектующие» · 12 ответов · 629 просмотров · 07 июн 2026, 06:04
Локальная генерация видео в 2026: Wan 2.2 vs Hunyuan vs облачная Sora
в «Нейрогенерация: изображения и видео» · 8 ответов · 649 просмотров · 07 июн 2026, 04:49
GPU в простое жрёт VRAM и 70 ватт, хотя ничего не крутится
в «Локальные LLM и open-source модели» · 4 ответов · 334 просмотров · 06 июн 2026, 09:43
Ollama не видит GPU на Windows 11 что делать ✓ Решено
в «Локальные LLM и open-source модели» · 6 ответов · 68 просмотров · 05 июн 2026, 22:34
vLLM vs llama.cpp что выбрать для продакшн инференса ✓ Решено
в «Локальные LLM и open-source модели» · 9 ответов · 75 просмотров · 04 июн 2026, 19:28
Serverless для AI-инференса — реально ли это в 2026 или нужны постоянные GPU?
в «Облачные платформы» · 6 ответов · 60 просмотров · 04 июн 2026, 16:37
Перестаньте советовать vLLM всем подряд, это не замена llama.cpp
в «Локальные LLM и open-source модели» · 14 ответов · 649 просмотров · 04 июн 2026, 10:13
Посчитал аренду H100 в РФ против своей 4090 под файнтюны и загрустил
в «Машинное обучение и Data Science» · 5 ответов · 50 просмотров · 31 май 2026, 23:59
Считал экономику аренды GPU против своего железа в 2026. аренда у меня проигрывает, найдите ошибку
в «Машинное обучение и Data Science» · 8 ответов · 45 просмотров · 26 май 2026, 08:34
Утилизация GPU скачет 30-100%, тренировка ViT еле ползёт. куда копать
в «Машинное обучение и Data Science» · 5 ответов · 52 просмотров · 23 май 2026, 03:48