Падение Вавилона — предупреждение для ИИ-единорогов

Babylon's fall - a warning for AI unicorns

В конце 2016 года Хью Харви работал врачом-консультантом в Национальной службе здравоохранения Великобритании. Харви изучал машинное обучение во время своей научной работы и видел потенциал искусственного интеллекта для революции в здравоохранении. Но он сильно верил, что внедрение ИИ в медицину не произойдет изнутри NHS, а произойдет от промышленности. Поэтому, когда появилась возможность в новой обещающей стартапе в области здоровотехнологий, Babylon Health, он подал заявку.

Основанная в Лондоне в 2013 году Али Парса, британско-иранским бывшим банкиром, Babylon ставила перед собой высокую цель: она хотела сделать с здравоохранением то же самое, что и Google сделала с информацией – сделать ее доступной для всех бесплатно и легко. К моменту присоединения Харви к компании в 2016 году, она уже привлекла десятки миллионов долларов венчурного капитала, хотя на тот момент все, что она построила, было приложение, позволяющее пациентам вести видеозвонки со своими врачами. Полезно, да, но не совсем революционно. Суть компании заключалась в ее великой амбиции добавить ИИ-поддерживаемый симптомный проверяльщик, который ускорил бы или даже автоматизировал бы диагностику.

Привыкший к скромным условиям постоянно бюджетируемого NHS, Харви говорит, что его привлекла роскошная обстановка: ноутбук ждал его на столе, модный офис в престижном Саут-Кенсингтоне, бесплатное пиво и пицца в офисе на обед. Но вскоре Харви смог заглянуть в программное обеспечение, которое стояло за всем этим волнением. Ему показали набор электронных таблиц Excel, содержащих клинические решения, написанные младшими врачами компании. Они в основном разделили тело на разные части, и в зависимости от того, на какую часть тела щелкнул пользователь, приложение следовало бы за так называемыми “клиническими потоками” или деревьями решений. “Я подумал: ну, это не совсем искусственный интеллект”, – вспоминает Харви.

Но в следующие несколько лет гипе вокруг Babylon только возрастал. Компания заключила контракты с NHS и британскими страховыми компаниями. Китайский технологический гигант Tencent заключил сделку о предоставлении услуг через WeChat. Суверенный фонд Саудовской Аравии инвестировал 550 миллионов долларов. К моменту выхода на публичную биржу Нью-Йорка в 2021 году стоимость Babylon оценивалась в 4,2 миллиарда долларов. Но колеса уже начали отваливаться. Потери компании росли, поскольку она тратила большие суммы, чтобы преследовать рост. Цена ее акций быстро упала. В середине августа этого года, после провала сделки по спасению, было объявлено, что британская часть бизнеса переходит в административное управление – процесс, аналогичный защите от банкротства в США. Компания закрыла свою штаб-квартиру в США, уволила десятки сотрудников и также подала заявление о банкротстве там.

ENBLE поговорил с тремя бывшими сотрудниками Babylon Health, чтобы выяснить, что пошло так не так для любимца “цифровой” здоровотехнологической платформы. То, что они говорят о крахе компании в момент, когда интерес VC к ИИ и здравоохранению находится на пике, является предупреждением о опасностях поддержки хайпа вместо доставки.

Ни Парса, ни Babylon Health не ответили на несколько запросов на комментарий.

Парса назвал свою компанию в честь древнего города Вавилон, где, по словам греческого историка Геродота, был площадь, где граждане собирались, чтобы делиться советами о лечении своих недугов.

Бывшие сотрудники говорят, что Парса был одержим “блицшкалированием” – видом предпринимательского гиперроста, популяризированного соучредителем LinkedIn Ридом Хоффманом. Компания устраивала неконтролируемые наборы сотрудников, говорят бывшие сотрудники, и команды часто работали над перекрывающимися проектами. В один момент три команды работали над тремя разными, взаимно несовместимыми версиями симптомного проверяльщика, говорит бывший сотрудник, который говорит под условием анонимности. Сотрудник говорит, что однажды он нашел менеджера по продукту, бродящего по зданию в свой второй день работы в компании. Его оставили искать команду для работы, потому что никто не интегрировал его и не сказал, с кем ему следует работать. “Он предположил, что это какой-то вид ‘вызова’ на интеграцию, чтобы просто найти команду, к которой можно присоединиться”, – говорит сотрудник.

В руководстве компании происходила частая текучка кадров. Высшие руководители отправлялись на отдыхи в Антигуа, что не было широко известно сотрудникам, пока это не стало известно по публичному Slack-каналу. Парса “однажды представил отчет с Антигуа, притворяясь, что находится в своем офисе”, – говорит один из бывших сотрудников. Бывшие сотрудники говорят, что стиль руководства Парсы был “идиосинкратическим” и “иногда мегаломаньяческим”. В один момент Парса попытался запретить использование Microsoft PowerPoint в компании. Работники, которых Парса называл Вавилонцами, получали выговоры от генерального директора за то, что уходили в 17:30, – говорит Харви.

Спешка Парсы в масштабировании превысила возможности Babylon Health реально выпускать готовые продукты, согласно бывшим сотрудникам. После присоединения Харви компания заверила его, что ее команда по науке о данных работает над графом знаний, который связывает знания с помощью вероятностей. Это выглядело так: Харви и его коллеги-врачи отвечали на тысячи медицинских вопросов, например, “Какова вероятность того, что у человека с желтухой будет гепатит?” Вопросы становились все более детализированными; какова, скажем, вероятность того, что у кого-то будет две недели желтухи и гепатит B?

«Вопросы стали все более абсурдными и несвязанными», – говорит Харви, и это все еще не было настоящим искусственным интеллектом. (Еще один бывший сотрудник Babylon Health, работавший в команде искусственного интеллекта, говорит, что, скорее всего, команда машинного обучения показала Харви таблицы Excel для упрощения, но признает, что модель дерева решений была «не особенно сложной».)

В какой-то момент BBC планировали посетить офис, чтобы снять технологию. Но была одна проблема: приложение еще не было готово. Оно было только спроектировано для гастроэнтерологии; в основном для проблем желудка. У него не было интерфейса, поэтому Харви вспоминает, как ученый-данный специалист пришлось спать в офисе несколько ночей и выходных, пока они гонялись, чтобы создать нечто похожее на приложение. «Но мы все знали… это не тот продукт, который мы создаем», – говорит Харви. «Это макет чего-то, собранного поспешно с большим количеством человеко-часов, чтобы продемонстрировать BBC». Еще один бывший сотрудник подтвердил версию Харви.

Симптоматическое приложение Babylon, называемое GP at Hand, было запущено в 2017 году с обещанием помочь справиться с длинными списками ожидания в NHS путем автоматизации некоторых запросов пациентов.

Задачей Харви в Babylon было получить разрешение от регуляторов на использование приложения для триажа пациентов – предварительной оценки, определяющей насколько срочно пациенту нужно обратиться к врачу. Но это не было официальной позицией. Парса публично заявлял в 2017 году, что приложение может поставить диагноз пациентам: намного более грандиозное заявление. Харви говорит, что Парса каждый день спрашивал его, получили ли они регуляторное разрешение. Харви объяснял, что они получат его, но только для триажа.

В конце того же года компания заявила, что ее искусственный интеллект работает лучше, чем люди, на экзамене, используемом для проверки способности врачей ставить диагнозы (заявление, которое быстро было оспорено экспертами). К тому времени Харви уже ушел и вернулся в NHS в качестве консультанта-радиолога. Но приложение GP at Hand стало популярным, хотя и не без критики со стороны медицинских специалистов.

Один из первых, кто поднял тревогу о эффективности искусственного интеллекта Babylon Health, был консультант-онколог NHS Дэвид Ваткинс. В начале он твитил под псевдонимом @DrMurphy11, регулярно документируя онлайн необычные отклонения бота от клинического норматива, например, задавая 66-летней женщине, беспокоящейся о комковидном образовании в груди, вопрос, беременна ли она или кормит грудью, и не замечая симптомов сердечного приступа. Компания назвала его «троллем» в публичном заявлении. Но, как оказалось, опасения Ваткинса также были разделены внутри компании и, как выяснилось, у регулятора медицины Великобритании.

Доклад Care Quality Commission 2017 года, регулятора здравоохранения и социальных служб в Англии, ставил под сомнение безопасность и эффективность услуг компании, за что Babylon грозилась подать в суд. В 2019 году ENBLE сообщила, что Babylon обходится NHS более чем в £26 млн. ($32 млн.). Затем, в 2020 году, компания признала, что ее приложение GP at Hand столкнулось с нарушением данных, из-за чего пользователи могли видеть десятки видеоконсультаций, проведенных другими пациентами. И, несмотря на то, что ее услуги стали популярными во всей стране, Babylon Health испытывала трудности с финансовым успехом в Великобритании. Парса винил в своем неудачном финансовом успехе структурные проблемы NHS, из-за которых компании никогда не удалось получить прибыль. Она прекратила последний контракт с NHS в августе прошлого года.

Но Парса давно мечтал о глобальном успехе. Компания открыла филиал в Канаде, но продала свои операции там в 2021 году в рамках лицензионной сделки. В том же году канадское правительство выяснило, что приложение не соответствует требованиям страны в области конфиденциальности. Babylon переключила свое внимание на США, где она могла зарабатывать больше денег через программы здравоохранения Medicaid и Medicare. Парса даже переехал туда.

Но американская авантюра также оказалась обреченной. Она входила в очень конкурентный рынок и не была готова к конкуренции. «Здесь есть множество зарекомендовавших себя компаний в сфере телемедицины, которые существуют намного дольше, чем Babylon», – говорит Кристина Фарр, инвестор в области здравоохранения в OMERS Ventures в Сан-Франциско.

Один из бывших сотрудников говорит, что Парса не полностью понимал, что США – это зрелый рынок. Последней каплей для сотрудника стал момент, когда он увидел, что готовится договор на предоставление телемедицинских услуг в Миссури через Medicaid. Фактически, Babylon взяла на себя все финансовые обязательства и финансовую ответственность страховщика, но без любых сверхвысоких премий, необходимых для покрытия такой ответственности. «Я сказал: “Нет, абсолютно нет,” – говорит бывший сотрудник. – “Это приведет к краху, и я не хочу быть рядом, когда это произойдет”. Он ушел.

Даже дебют на фондовом рынке компании быстро пошёл под откос. В течение 18 месяцев после включения в список, её акции упали на 99 процентов. Парса описал этот спад как “невероятную, несмягченную катастрофу”. Это не было особо удивительным. Хотя Babylon приносила доход, она теряла много денег. В 2022 году компания потеряла 221 миллион долларов. В первые три месяца 2023 года она потеряла ещё 63 миллиона долларов. В мае 2023 года крупнейший кредитор компании, Albacore Capital, приватизировал компанию и попытался слив её с другой компанией в области здравоохранения, MindMaze. Слияние не состоялось в начале августа.

Babylon не первая компания на стыке ИИ и здравоохранения, которая испытывает трудности в переходе от шумихи к коммерческому успеху. Её судьба “поднимает вопросы о коммерциализации ИИ в здравоохранении”, говорит Дэвид Вонг, доцент по информатике в области здравоохранения и науке о данных в Университете Лидса в Великобритании. Вонг указывает на ещё один провал: крах стартапа Sensyne Health, который обошёлся в две миллионы фунтов стерлингов для двух больничных доверий NHS, когда он был исключен из Лондонской фондовой биржи в 2022 году. В том же году IBM отказалась от Watson Health. Olive AI, стартап по автоматизации здравоохранения, оцененный в 4 миллиарда долларов в 2021 году, уволил треть своего персонала в феврале 2023 года.

Причина, по мнению экспертов, в том, что компании, подобные Babylon, терпят неудачу, просто потому что сложно заменить врачей на алгоритмы, и существует несоответствие между культурой “двигайся быстро, ломай вещи” стартапов в области технологий и здравоохранения, где забота о пациентах требует внимания и контекста.

“Я думаю, что, вероятно, сложной частью мира стартапов является то, что много людей имеют идеи, и большинство из них не сработают”, говорит Вонг. “И я думаю, если бы в команде было больше врачей, большинство из них быстро бы вам сказали, какие из них имели шанс сработать, а какие – нет”.