Стартап в области искусственного интеллекта запускает на рынке «самый быстрый двигатель обработки данных»

Startup launches fastest data processing engine in the field of artificial intelligence.

Парижская компания Pathway, основанная женщинами и занимающаяся искусственным интеллектом, объявила о запуске своего движка обработки данных. По сообщениям, он на 90 раз быстрее существующих потоковых решений и обещает быть “самым быстрым движком обработки данных на рынке”.

Секрет заключается в уникальной возможности смешивать пакетную и потоковую логику в одном рабочем процессе, что позволяет системе забыть о вещах, которые больше не являются полезными. В основном это означает, что она может учиться и реагировать на изменения в реальном времени – как люди.

Традиционно, сложность создания архитектур пакетной и потоковой обработки приводила к разделению между двумя подходами, говорит генеральный директор и сооснователь Pathway Зузанна Стамировска.

Она добавляет, что это замедлило принятие потоковой обработки данных для систем искусственного интеллекта и зафиксировало их интеллект на определенный момент времени. Не говоря уже о дополнительной сложности третьего рабочего процесса – генеративного искусственного интеллекта.

По словам Стамировской, сейчас существует “критическая потребность” в быстрой обработке данных и более гибком искусственном интеллекте. “Вот почему наша миссия заключается в обеспечении обработки данных в реальном времени и предоставлении разработчикам простого опыта, независимо от того, работают они с пакетной, потоковой или LLM-системой”, – говорит она.

Стамировская говорит, что цель Pathway – предоставить разработчикам простой опыт, независимо от того, работают они с пакетной, потоковой или LLM-системой. Источник: Pathway

Внесение изменений в данные без повторного обучения ИИ

Ранее “забывание” неправильной или устаревшей информации в реальном времени было почти невозможной задачей из-за того, что модели обучались на статических данных. Традиционно, отказ от данных требовал повторного обучения модели.

Действительно, когда мы задали вопрос ChatGPT в шутку – можете ли вы забыть то, что оказалось неточным – мы получили следующий ответ:

“Как языковая модель ИИ, у меня нет способности “забывать” информацию так же, как люди.

“Однако разработчики и исследователи в OpenAI могут обновлять и повторно обучать модель на основе новых данных и улучшений”.

Но Pathway говорит, что может вносить изменения в определенные данные без необходимости полной пакетной загрузки данных, подобно обновлению значения одной ячейки в документе Excel. Обновленные ячейки не пересчитывают весь документ, а только зависимые от них ячейки.

Один из клиентов стартапа, немецкий логистический специалист DB Schenker, сократил время выхода на рынок проектов по анализу аномалий с трех месяцев до одного часа. Между тем, французская почтовая служба La Poste сократила затраты на автопарк на 16%.

“Лингва франка” для разработчиков

Польско-французская пара Стамировска и Клэр Нуэ, главный операционный директор компании, основали Pathway в 2020 году. До сих пор стартап привлек более 4,5 миллиона долларов (около 4 миллионов евро) на предварительном этапе развития в декабре прошлого года и имеет более 20 сотрудников в Европе и Северной Америке.

Этот стартап, основанный женщинами и занимающийся глубокими технологиями, надеется, что его система станет “лингва франка” для всех потоков данных (пакетных, потоковых и генеративных ИИ). Он говорит, что помимо снижения затрат для клиентов, стремится демократизировать возможность разработчиков создавать потоковые рабочие процессы, которые обычно требуют специализированных навыков.