Компания NVIDIA выпустила для своих видеокарт GeForce RTX и платформ RTX AI PC драйвер версии GeForce Game Ready 555.85 WHQL. Это обновление приблизительно в три раза ускоряет обработку данных в программах, которые задействуют большие языковые модели (LLM) в генеративном искусственном интеллекте.
— Поддержка DQ-GEMM для обработки квантования INT4 для LLM
— Новые методы нормализации RMSNorm для моделей Llama 2, 3, Mistral и Phi-3
— Механизмы группового внимания, многозапросного внимания и скользящего окна для Mistral
— Поддержка GEMM-тензоров с размерами, некратными 8, для ускорения контекстной фазы
В тестах нового драйвера показан значительный прирост производительности для INT4 и FP16 данных. Благодаря оптимизациям, скорость работы моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трёх раз. NVIDIA напоминает, что RTX GPU используют тензорные ядра для ускорения различных технологий, включая DLSS, NVIDIA Ace, RTX Remix, Omniverse, Broadcast и RTX Video. Компания предлагает наборы разработчиков TensorRT, Maxine и RTX Video для использования тензорных ядер в ИИ-приложениях. По заявлению NVIDIA, производительность её GPU в ИИ-задачах достигает 1300 TOPS, что значительно выше, чем у конкурентных решений.
Обновить драйвер можно через NVIDIA App.
Подписаться на iGuides в Telegram, чтобы узнать обо всем первым