Кубернетес сделан простым? Microsoft добавляет оператор инструментов искусственного интеллекта в сервис Azure
Кубернетес теперь легче обращаться? Microsoft расширяет функциональность сервиса Azure с добавлением оператора инструментов искусственного интеллекта
Если вы хотите запускать приложения искусственного интеллекта (AI) и машинного обучения, такие как большие языковые модели (LLM) в масштабе, вам необходимо запускать их на Kubernetes. Однако овладение Kubernetes – любимым оркестратором контейнеров всех – не так просто. Вот где Kubernetes Al toolchain operator – последнее дополнение к Azure Kubernetes Service (AKS) от Microsoft – вступает в игру.
Также: Microsoft Azure представляет разработочную платформу Radius с открытым исходным кодом
AKS уже облегчает использование Kubernetes в Azure. Вместо того чтобы делать все вручную, встроенные конвейеры кода к облаку и шлюзы AKS дают вам быстрый способ начать разработку и развертывание облачных нативных приложений в Azure. Благодаря единой системе управления и управления для локальных, распределенных и многооблачных кластеров Kubernetes, AKS также упрощает интеграцию с Azure безопасностью, управлением идентичностью, управлением стоимостью и услугами миграции.
То, что приносит Kubernetes AI toolchain operator, это автоматизированные способы выполнения работы с открытым исходным кодом AI/ML эффективно по стоимости и с меньшей ручной настройкой. Он также автоматически развертывает модель LLM на AKS с использованием доступных ресурсов CPU и GPU, выбирая оптимально подходящую инфраструктуру для вашей модели LLM или другого проекта.
AI toolchain operator делает это путем автоматического предоставления необходимых узлов GPU и настройки связанного сервера вывода в качестве точки доступа для ваших моделей AI. Сервер вывода, такой как Hugging Face’s 7B или NVIDIA Triton Inference Server, применяет обученные модели AI к входящим данным для принятия решений в реальном времени. Вывод – это процесс выполнения живых данных через обученную модель AI для прогнозирования или решения задачи. Использование этого дополнения сокращает время введения в эксплуатацию и позволяет сосредоточиться на использовании и разработке моделей AI, а не на настройке инфраструктуры.
- Amazon Fire TV Stick стоит всего $20 перед Черной пятницей 2023 года
- Лучшие устройства Alexa, которые вы захотите приобрести в Черную пя...
- «Apple прекращает выпуск последних DVD-дисков с установленной опера...
Он также позволяет легко разделить вывод на несколько виртуальных машин (VM) с низким числом GPU. Это означает, что вы можете запускать свои LLM на большем количестве регионов Azure, что исключает время ожидания для регионов Azure с более высоким количеством VM с GPU и снижает общую стоимость. Другими словами, вы можете автоматически запускать свои LLM на регионах с меньшей мощностью и более низкой стоимостью. Да, вы можете потерять вычислительную мощность, но не все задачи требуют более высокой производительности.
Также: Я познакомился с новыми функциями искусственного интеллекта от Microsoft, и эти 5 являются самыми полезными
Чтобы облегчить настройку, вы также можете выбрать из предустановленных моделей с помощью готовых образов, размещенных в AKS. Это значительно сокращает время настройки общей службы. Когда она уже работает некоторое время, вы можете настроить свою модель Azure, чтобы она лучше соответствовала вашей рабочей нагрузке.
Кроме того, Azure Kubernetes Fleet Manager позволяет использовать множество кластеров и масштабные сценарии для кластеров AKS. Администраторы платформы, которые управляют флотами Kubernetes с множеством кластеров, часто сталкиваются с проблемой развертывания обновлений безопасным и предсказуемым способом. Это позволяет администраторам оркестрировать обновления по нескольким кластерам, используя запуски, этапы и группы обновлений. Поскольку рабочие нагрузки AI/ML обычно требуют много ресурсов, это существенно облегчает их управление.
Короче говоря, если вы хотите серьезно заняться искусственным интеллектом/машинным обучением на Azure, оператор Kubernetes Al toolchain требует вашего внимания.
