Данная статья рассказывает о пяти лучших LLM (языковых моделях), которые можно скачать с помощью приложения LM Studio и затем запустить на вашем компьютере независимо от того, работает ли он под управлением Windows или macOS.
🚀 Хочешь улететь на Луну вместе с нами? Подписывайся на CryptoMoon! 💸 Новости крипты, аналитика и прогнозы, которые дадут твоему кошельку ракетный ускоритель! 📈 Нажмите здесь: 👇
CryptoMoon Telegram
ИИ пронизывает наш мир, и недавняя популярность эстетики Гибли вызвала широкое признание её. Однако возможности ИИ выходят далеко за пределы создания визуальных образов в стиле Гибли: он может функционировать как полезный помощник для автоматизации вашего сада, регулируя полив на основе температуры, а также служить помощником по кодированию, быстро реализуя сложные алгоритмы всего лишь за несколько секунд.
При использовании сервисов типа ChatGPT, ClaudSonnet, CoPilot Pro, DeepSeek R1 и других могут возникнуть опасения относительно приватности данных или несанкционированного мониторинга. Поэтому многие любители предпочитают запускать эти модели локально. Однако следует учитывать, что такие модели требуют значительных ресурсов: минимум 12 ГБ видеопамяти (VRAM) на любой графической карте Nvidia или AMD для обеспечения приемлемой производительности. Давайте рассмотрим возможные решения. ️
Как энтузиаст, я погружаюсь в увлекательный мир моделей искусственного интеллекта, особенно используя LM Studio как инструмент. Если вам это интересно, вы тоже можете следовать этому пути с помощью Ollama, которая имеет сходство с LM Studio. Оба этих инструмента доступны для загрузки на Hugging Face.
Помните: Модели, созданные сообществом, могут иногда генерировать контент, который не является полностью точным или подходящим для конкретных ситуаций, например оскорбительный или неприемлемый. Все рассмотренные здесь модели прошли квантование GGUF по методике Bartowski с использованием llamacpp. Важно использовать эти модели этично и ответственно, чтобы избежать любых неправомерных действий.
1. Gemma 3 (Google)
Модель языка Gemma 3 компании Google является самой последней разработкой в области языковых моделей (LM), созданную Google. В настоящее время она лидирует по популярности среди пользователей LM-студии и была загружена более 175 000 раз. Пользователи ценят её адаптивность, так как она может работать на Raspberry Pi с параметром 1 миллиард. Тем не менее важно отметить, что точность модели может не соответствовать точности более крупных моделей при большем квантовании.
Ключевые особенности
- Мультимодальные возможности (текст + изображение) с контекстным окном в 128,000 токенов.
- Сильная многоязычная поддержка (более 140 языков) и высокая производительность в задачах рассуждения и распознавания образов.
- Доступность открытых исходников с эффективными опциями развертывания, включая версии GGUF и 4-битное квантование для местных установок.
- Легко запускаться на любой конфигурации оборудования с параметрами от 1 млрд до 27 млрд.
2. DeepSeek R1 Distill Qwen 7B
В этой версии DeepSeek R1 мы реализовали инициативу сообщества, поддержанную такими участниками, как Bartowski и Mr. Adermaacher. Модель получена из релиза llamacpp. Что касается Qwen distilled R1, он был дообучён для задач фактуального рассуждения и кодирования. Также предусмотрены различные варианты квантизации: чем выше уровень квантизации, тем выше точность.
Ключевые особенности
- Поддерживает контекст до 128 тысяч токенов.
- Выведено из оригинальной модели DeepSeek R1-671b
- Настроен для задач рассуждения и цепочек мыслей.
- Превосходит в программировании и математическом мышлении.
- Использует групповую относительную оптимизацию политики (GRPO) для обучения, ориентированного на рассуждения.
3. Phi-4 (Microsoft)
Знакомы ли вы с приложением Copilot на наших компьютерах? Некоторым оно кажется полезным, тогда как другие предпочитают его отключать. К счастью, благодаря вкладу сообщества, теперь можно работать с ним офлайн без необходимости постоянного подключения к интернету. Последняя версия Phi-4 была обучена на огромной базе данных из 9.8 триллионов токенов и включает синтетические данные, очищенные публичные вебсайты, академическую литературу и ресурсы вопросов и ответов.
Ключевые особенности
- Поддерживает контекст до 16000 токенов.
- Обрабатывает текст, речь и визуальные данные одновременно.
- Эффективная мультимодальная интеграция с использованием техник на основе LoRA.
- Низкая вычислительная нагрузка.
- Оптимизирован для задач рассуждения и обработки цепочек мыслей.
- Подходит для общих целей, математических рассуждений и решения проблем.
4. Гранит 3.2 8B (IBM)
В этой версии модели Granite 3.2 мы тщательно доработали её с акцентом на когнитивные способности, отдавая приоритет задачам, связанным с рассуждениями и последовательностями мысли. Она поддерживает такие языки как английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, голландский и китайский. Хотя Granite можно в основном рассматривать как модель параметров 2B, наиболее часто предпочитаемой среди подобных моделей является версия с параметрами 8B.
Ключевые особенности
- Поддерживает контекст до 128 килобайт токенов.
- Способности языкового модели с видением (VLM), оптимизированные для задач понимания документов, таких как OCRBench и DocVQA.
- Режим рассуждения с цепочкой мыслей для эффективного решения задач без излишних вычислений.
- Подходит для приложений корпоративного уровня, требующих высокой точности при работе с различными языками.
- Оптимизирован для задач многоязычного рассуждения и структурированного решения проблем.
5. QwQ-32B (Alibaba)
Модель QWQ 32B от Alibaba была разработана на основе дизайна Qwen 2.5-32B и оптимизирована для выполнения сложных задач по рассуждениям, вычислениям и программированию. Если у вас достаточно видеопамяти или системной памяти, это может стать отличным дополнением к вашей среде кодирования при использовании совместно с continue.dev и Visual Studio Code.
Ключевые особенности
- Поддерживает контекст до 128k токенов.
- Обучение с подкреплением повышает способности к рассуждению, кодированию и решению проблем.
- Чрезвычайно эффективен при минимальных требованиях к вычислительным ресурсам, даже ниже чем у DeepSeek R1.
- Преуспевает в задачах с анализом, математических вычислениях и прикладном программировании.
- Настроен на высокую точность во множестве бенчмарков при сохранении эффективности.
Основные выводы
- Кроме того, пожалуйста, обратите внимание, что модели сообщества могут генерировать контент, который может быть неточным, расплывчатым или неприменимым.
- Студия LM — всего лишь платформа. Сама студия LM непосредственно не создает эти модели. Это делают члены сообщества.
- Пожалуйста, используйте эти модели искусственного интеллекта ответственно и избегайте неэтичного применения.
Смотрите также
- Прохождение миссии ‘Турнир’ из Assassin’s Creed Shadows
- Как убить лидера зимних разбойников в игре Assassin’s Creed Shadows
- Как победить Годаи Водной в Assassin’s Creed Shadows?
- Кто озвучивал Орикса в Destiny 2? 10-летняя тайна наконец раскрыта?
- Руководство по Assassin’s Creed Shadows: Все локации самурайских даишо в замке Азути, награды и многое другое
- Откройте для себя лучшие форки Mozilla Firefox, которые стоит попробовать прямо сейчас!
- Who Is Sister Lily in Black Clover?
- Лучшие настройки для RTX 4060 и 4060 Ti в игре Assassin’s Creed Shadows
- Инзои: Все карьеры и вакансии, доступные в игре
- Умрёт ли Сон Джин-Ву при прокачке персонажа в одиночку?
2025-04-01 13:55