GTX 1080 Ti против 176B-моделей: энтузиаст сравнил MoE-архитектуры для llama-server

Материал на Хабре посвящён практическому сравнению MoE-моделей классов 35B, 120B и 176B при запуске через llama-server на устаревающей, но всё ещё рабочей GTX 1080 Ti. Автор продолжает серию экспериментов с локальным инференсом больших моделей на потребительском железе.

Отправной точкой стал опыт других энтузиастов, запустивших Qwen 3.8-27B на двух RTX 5060 Ti с суммарными 32 ГБ памяти. Это показывает, что MoE-архитектуры позволяют эффективнее расходовать VRAM и делают локальный запуск крупных моделей реалистичным даже без профессиональных ускорителей.

Для киноиндустрии такие эксперименты важны косвенно: локальный инференс снижает зависимость от облачных сервисов и открывает возможности для приватной работы с ИИ-инструментами — от превизуализации до обработки материалов. Конкретные бенчмарки и выводы автора — в полной статье на Хабре.