«Windows 11 в скором времени будет использовать вашу графическую карту для генеративного искусственного интеллекта | ENBLE»
«Windows 11 в ближайшем будущем будет использовать вашу видеокарту для генерации искусственного интеллекта | ENBLE»
После выпуска Copilot, своего самого нового интеллектуального помощника для Windows 11, Microsoft снова продвигает интеграцию генеративного искусственного интеллекта с Windows. На проходящей Ignite 2023 веб-конференции для разработчиков в Сиэтле компания объявила о партнерстве с Nvidia в области TensorRT-LLM, что должно повысить пользовательский опыт на ПК и ноутбуках с RTX-графическими процессорами.
Новый релиз будет поддерживать новые большие модели языка и сделает более доступной выполнение требовательных нагрузок искусственного интеллекта. Особо стоит отметить его совместимость с Chat API от OpenAI, что позволяет выполнять их локально (а не в облаке) на ПК и рабочих станциях с RTX-графическими процессорами, начиная с 8 ГБ видеопамяти.
Библиотека TensorRT-LLM от Nvidia была выпущена всего месяц назад и, как говорят, помогает улучшить производительность моделей языка с помощью тензорных ядер на графических картах RTX. Она предоставляет разработчикам Python API для определения моделей языка и быстрого построения TensorRT-движков без глубоких знаний C++ или CUDA.
С выпуском TensorRT-LLM v0.6.0 сложности создания проектов с настраиваемым генеративным искусственным интеллектом будут упрощены благодаря появлению AI Workbench. Это единый набор инструментов, который облегчает создание, тестирование и настройку предварительно обученных моделей генеративного ИИ и моделей языка. Платформа также позволит разработчикам упростить сотрудничество и внедрение, обеспечивая эффективную и масштабируемую разработку моделей.
Понимая важность поддержки разработчиков искусственного интеллекта, Nvidia и Microsoft также выпускают улучшения DirectML. Эти оптимизации ускоряют базовые модели искусственного интеллекта, такие как Llama 2 и Stable Diffusion, предоставляя разработчикам больше возможностей для развертывания на разных устройствах и устанавливая новые стандарты производительности.
- Замечательный новый инструмент по погоде с использованием искусстве...
- Главная эпоха в истории MacBook наконец-то завершена | ENBLE
- Эти планшеты для заметок оптимизируют ваши задачи, заметки и список...
Обновление библиотеки TensorRT-LLM также обещает значительное улучшение производительности вывода, с увеличением скорости до пяти раз. Оно также расширяет поддержку дополнительных популярных моделей языка, включая Mistral 7B и Nemotron-3 8B, и предоставляет возможности запуска быстрых и точных моделей языка непосредственно на ПК с Windows различных типов и портативных устройствах.
Интеграция TensorRT-LLM для Windows с Chat API от OpenAI с помощью нового оболочки позволит запускать сотни проектов и приложений, работающих на ПК со встроенными RTX-процессорами. Это потенциально устранит необходимость в использовании облачных сервисов и обеспечит безопасность частных и проприетарных данных на ПК с Windows 11.
Будущее искусственного интеллекта на ПК с Windows 11 еще далеко впереди. С появлением все большего количества моделей искусственного интеллекта и продолжающимся инновациям разработчиков, использование RTX-графических процессоров от Nvidia может стать решающим моментом. Однако, пока рано сказать, станет ли это последним кусочком головоломки, которого так не хватает Microsoft для полного раскрытия возможностей искусственного интеллекта на ПК с Windows.
