Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слева Предыдущая версия
Следующая версия
Предыдущая версия
develop:models [2026/01/02 21:33] 192.168.1.159develop:models [2026/01/02 22:33] (текущий) – [Для RTX 4060 (8 ГБ VRAM)] 192.168.1.159
Строка 1: Строка 1:
 ====== AI Models & Hardware Guide ====== ====== AI Models & Hardware Guide ======
 +
 {{tag>ai llm модели hardware gpu nvidia квантование}} {{tag>ai llm модели hardware gpu nvidia квантование}}
  
-----+
 ==== Введение ==== ==== Введение ====
  
 Данная документация содержит актуальную на 2026 год информацию по подбору, настройке и запуску современных языковых (LLM) и мультимодальных моделей на локальном оборудовании. Основной фокус — на видеокартах NVIDIA с 8 ГБ (RTX 4060) и 12 ГБ (RTX 3080 Ti) видеопамяти. Данная документация содержит актуальную на 2026 год информацию по подбору, настройке и запуску современных языковых (LLM) и мультимодальных моделей на локальном оборудовании. Основной фокус — на видеокартах NVIDIA с 8 ГБ (RTX 4060) и 12 ГБ (RTX 3080 Ti) видеопамяти.
  
-----+
 ==== Аппаратная платформа (SFF Workstation) ==== ==== Аппаратная платформа (SFF Workstation) ====
  
Строка 31: Строка 32:
 | **NVIDIA GeForce RTX 3050 LP (6GB)** | 6 GB | ~170 мм | [[https://huggingface.co/google|Gemma 2 (2B)]], [[https://huggingface.co/deepseek-ai|DeepSeek Coder 7B]] | | **NVIDIA GeForce RTX 3050 LP (6GB)** | 6 GB | ~170 мм | [[https://huggingface.co/google|Gemma 2 (2B)]], [[https://huggingface.co/deepseek-ai|DeepSeek Coder 7B]] |
  
-----+
 ==== Выбор моделей ИИ под объем VRAM (2026) ==== ==== Выбор моделей ИИ под объем VRAM (2026) ====
  
Строка 76: Строка 77:
 | **[[https://huggingface.co/meta-llama|Llama 3.2]]** | 8B | **Q6_K** | Надежный и предсказуемый стандарт. | | **[[https://huggingface.co/meta-llama|Llama 3.2]]** | 8B | **Q6_K** | Надежный и предсказуемый стандарт. |
  
-----+=== Intel HD Graphics 530 / i7-6700, 32GB RAM === 
 + 
 +^ Модель ^ Параметры ^ Команда скачивания ^ Назначение ^ 
 +| Qwen 3 | 7B | docker exec -it ollama ollama pull qwen3:7b | Лучший универсал для RU языка и n8n | 
 +| DeepSeek R1 | 14B | docker exec -it ollama ollama pull deepseek-r1:14b | Сложная логика и кодинг (через рассуждения) | 
 +| Mistral NeMo| 12B | docker exec -it ollama ollama pull mistral-nemo | Анализ длинных документов и суммаризация | 
 +| Llama 3.2 | 3B | docker exec -it ollama ollama pull llama3.2:3b | Мгновенная классификация (самая быстрая) |
 ==== Специализация моделей ==== ==== Специализация моделей ====
  
Строка 105: Строка 112:
 | **[[https://huggingface.co/huggingface|SmolLM 2/3 (1.7B)]]** | Микро-агент, классификация | **Q8_0** | Только JSON, скорость >150 токенов/сек. | | **[[https://huggingface.co/huggingface|SmolLM 2/3 (1.7B)]]** | Микро-агент, классификация | **Q8_0** | Только JSON, скорость >150 токенов/сек. |
  
-----+
 ==== Глоссарий и справочник по квантованию ==== ==== Глоссарий и справочник по квантованию ====
  
Строка 133: Строка 140:
 | **\_L** (Large) | Минимальное сжатие (лучшее качество, большой файл). | | **\_L** (Large) | Минимальное сжатие (лучшее качество, большой файл). |
  
-----+
 ==== Инструменты и ПО ==== ==== Инструменты и ПО ====
  
Строка 167: Строка 174:
 | **mradermacher** (автор IQ) | [[https://huggingface.co/mradermacher|mradermacher]] | Специализируется на IQ-квантах для 8 ГБ карт. | | **mradermacher** (автор IQ) | [[https://huggingface.co/mradermacher|mradermacher]] | Специализируется на IQ-квантах для 8 ГБ карт. |
  
-----+
 ==== Прямые ссылки на ключевые модели (GGUF) ==== ==== Прямые ссылки на ключевые модели (GGUF) ====
  
Строка 188: Строка 195:
 Для **RTX 4060 (8 ГБ)** ищите модели от **`mradermacher`** (специализируется на IQ-квантах для 8 ГБ) или **`bartowski`**. Для моделей 12B-14B берите версию **`IQ3_M`**. Для **RTX 4060 (8 ГБ)** ищите модели от **`mradermacher`** (специализируется на IQ-квантах для 8 ГБ) или **`bartowski`**. Для моделей 12B-14B берите версию **`IQ3_M`**.
  
-----+
 ==== Онлайн-сервисы и агрегаторы ==== ==== Онлайн-сервисы и агрегаторы ====
  
Строка 205: Строка 212:
   * **Перевод и транскрипция:** [[https://www.deepl.com/|DeepL]]   * **Перевод и транскрипция:** [[https://www.deepl.com/|DeepL]]
  
-----+
 ==== Новости и обновления ==== ==== Новости и обновления ====
  
Строка 234: Строка 241:
 </code> </code>
  
-{{page>page_footer}}+