Жизнь развития крупных языковых моделей в Alibaba взгляд в мир китайских технологических гигантов
Китайские технологические компании используют различные ресурсы и таланты, чтобы сократить разрыв с OpenAI и предоставить ценный опыт для исследователей с обеих сторон.
“`html
Сотрудник Alibaba делится инсайтами о создании LLM в Китае.
🔗 Источник
Китайские технологические компании делают все возможное, чтобы догнать OpenAI. В своем стремлении сравняться с возможностями ChatGPT, китайские интернет-гиганты, такие как Alibaba, накапливают ресурсы и таланты. И, удивительно, опыт исследователей с обеих сторон Тихого океана имеет поразительное сходство. Недавно Бинюань Хуэй, исследователь по обработке естественного языка в команде крупной языковой модели Alibaba Qwen, предоставил нам редкое проникновение в свое повседневное расписание на X, повторяя вирусный пост исследователя OpenAI Джейсона Вей. Давайте углубимся в увлекательный и забавный мир разработки больших языковых моделей в Alibaba.
Один день из жизни исследователя Alibaba
📅 Типичный день Хуэя начинается с позвонка в 9 утра, как у его коллег из OpenAI. После обязательной утренней рутины оба исследователя сразу погружаются во встречи. По мере того как день продолжается, кодирование, обучение моделей и сеансы мозгового штурма с коллегами занимают все их время. Даже после возвращения домой эти преданные исследователи продолжают экспериментировать допоздна, неустанно стремясь улучшить свои модели. Кажется, что сон – это роскошь, на которую они не могут позволить себе!
Различные взгляды на досуг
💬 Очевидная разница между Хуэем и Вей заключается в том, как они выбирают характеризовать свое досуговое время. Хуэй проводит его, читая научные статьи и просматривая Х, чтобы быть в курсе событий в мире. Тем временем, Вей предпочитает расслабиться с бокалом вина после долгого рабочего дня. 🍷
- Shadowfax привлек $100 миллионов в рамках раунда E финансирования
- Samsung представляет 12-стековую память HBM3E DRAM мощнейшую технол...
- COTU Ventures поднимает $54 миллиона для поддержки стартапов на Бли...
Китайское пространство LLM: Игровая площадка для технологических талантов
🎯 Напряженное расписание Хуэя не является необычным в текущем китайском пространстве крупных языковых моделей (LLM). Топовые технологические таланты с престижными университетскими дипломами стремятся к технологическим компаниям, готовым строить конкурентоспособные искусственные интеллектуальные модели. Речь идет не только о сравнивании возможностей компаний Силиконовой долины; дело идет о превзойдении их, если это возможно. В отличие от печально известных “996” рабочих часов, ассоциируемых с традиционными китайскими интернет-бизнесами, такими как видеоигры и электронная коммерция, этот интенсивный рабочий режим демонстрирует личную мотивацию и амбиции, присущие китайскому пространству LLM.
💡 Вопросы и ответы:
В: Какие другие компании в Китае работают над крупными языковыми моделями?
О: Помимо Alibaba, несколько компаний инвестируют в разработку крупных языковых моделей в Китае. Некоторые заметные участники включают Moonshot AI, Zhipu AI, Baichuan и 01.AI.
В: Как соотносятся параметры китайской LLM Alibaba с моделями OpenAI?
О: Qwen, LLM Alibaba, гордится моделью с 72 миллиардами параметров. Для сравнения, GPT3 от OpenAI имеет 175 миллиардов параметров, в то время как их последняя LLM, GPT4, имеет 1,7 триллиона параметров. Однако важно помнить, что ценность высоких параметров зависит от целей и конкретных потребностей рассматриваемой LLM.
Поиск лидерства в китайском пространстве LLM
🎲 На сегодняшний день в китайском пространстве LLM ни один определенный лидер не появился. Венчурные фонды и корпоративные инвесторы осторожны, инвестируя в несколько претендентов. Помимо развития собственных возможностей LLM, Alibaba активно инвестирует в стартапы, такие как Moonshot AI, Zhipu AI, Baichuan и 01.AI.
🌐 Многоязычный шаг Alibaba
🌍 В стремлении выделиться среди острой конкуренции Alibaba сделала многоязычный шаг, который мог бы стать значительным конкурентным преимуществом. Компания выпустила LLM для нескольких языков Юго-Восточной Азии под названием SeaLLM. Способный обрабатывать информацию на вьетнамском, индонезийском, тайском, малайском, кхмерском, лаосском, тагальском и бирманском языках, SeaLLM открывает новые возможности для Alibaba в регионе. Благодаря своему сильному присутствию на рынке Юго-Восточной Азии через свой облачный бизнес и приобретение платформы электронной коммерции Lazada, Alibaba потенциально может представить SeaLLM в свои услуги в ближайшем будущем.
“`
📚 Ссылки на источники: – Параллельная вселенная генеративного AI в Китае – Китайский единорог 01.AI: Интервью с Кай-Фу Ли – Большие языковые модели Qwen Alibaba на GitHub – Китайская “996” культура труда – Многоязычная LLM Alibaba, SeaLLM
🔗 Твит Ясона Вей 🔗 Твит Биньюань Хуя
На пересечении технологий и амбиций исследователи Alibaba круглосуточно работают над созданием больших языковых моделей, способных конкурировать с лидерами отрасли. Инсайты, предоставленные этим редким взглядом в их мир, раскрывают смесь преданности, инноваций и стремления держаться в темпе технологических достижений. Гонка за создание мощной и универсальной LLM набирает обороты, и кажется, что обе стороны Тихого океана идут бок о бок. Так что давайте поднимем бокал вина, или, возможно, просто насладимся чашкой кофе, и восхитимся невероятным прогрессом, достигнутым в мире больших языковых моделей.
🌟 Если вам понравилась эта статья, не стесняйтесь делить ее в социальных сетях и присоединяйтесь к разговору! 🚀
