292 тыс. просмотров 1 неделю назад (15 октября 2026 г.)Подпишись на наш Telegram Канал 🖤 t.me/extremecode
Поддержать на Boosty 🧡 boosty.to/extremecode
_____________________________________________________________________
— Вступление: готовимся стать погонщиком локального ИИ
— Параметры и характеристики моделей
— Квантизация: как впихнуть невпихуемое
— Продвинутые способы квантизации
— Оптимизации на уровне архитектуры
— Дополнительные фичи LLM
— Контекстное окно: Attention и KV-кеш
— Клиенты для инференса
— Установка Llama.cpp и первый запуск
— Как выбирать модели и разбираться в квантах
— Практика запуска модели локально
— Как понять что осталось от модели после сжатия?
— Авторская методология оценки LLM
— Тестовый стенд
— Проверяем модели с помощью G0VNO
— Выводы
— Тестируем модель канонично
Комментарии: 465
лучшие сверху