Хирургия будущего: как врачи из Харькова выполняют операции с использованием дополненной реальности.
Гиганты индустрии – Meta, Apple, Microsoft – инвестируют миллиарды долларов в развитие этой технологии. AR-очки Apple, производителя iPhone, стали самым дорогим массовым гаджетом в истории компании.
Тем не менее, технологию дополненной реальности можно использовать не только в сфере развлечений. Она может изменить ряд научных областей. Например, в медицине AR предоставляет врачам возможность получать дополнительные визуальные данные во время операций, включая трехмерные изображения органов пациентов.
Хирург при этом видит не только пациента, но и детальную 3D-модель его мозга, наложенную на реальное тело. Это не фантастика, а реальность, созданная командой украинского healthtech-стартапа eXtra Vision.
Стартап был основан тремя врачами: Владиславом Калюжкой (нейрохирург, CEO), Никитой Маркевичем (кардиолог, CTO) и Марком Глухеньким (нейрохирург, COO). Технологию используют десятки врачей. С ее помощью они провели более 150 операций. В 2024 году стартап стал победителем IT Arena и планирует выходить на рынок ЕС.
Как врачам из Харькова удалось превратить идею о виртуальной хирургии в успешный стартап?
Идея, десятки операций и готовый стартап
"Каждая операция – это вызов, который требует максимальной точности и скорости, сосредоточения исключительно на патологии, чтобы избежать повреждения здоровых тканей. В нейрохирургии риски очень высоки как для врача, так и для пациента. Чтобы минимизировать их, возникла идея создать трехмерную модель головного мозга пациента с учетом патологии", – вспоминает Калюжка о начале создания стартапа.
Однако от идеи создания трехмерных моделей до появления первого MVP (минимально жизнеспособного продукта) прошло несколько лет. Сначала был длительный поиск разработчиков: не все понимали, как технически реализовать замысел врачей. Кроме того, возникали трудности с монтажом полученных 3D-изображений в AR-очки.
На помощь пришли коллеги. "Первый прототип нашей технологии создал мой коллега, кардиолог, который до обучения в медуниверситете получил техническое образование", – рассказывает Калюжка.
Видеть будущее: как цифровые двойники меняют мир вокруг нас
Первые 50 успешных операций с использованием AR-очков нейрохирурги провели в Харьковской областной клинической больнице. Их выполняли на головном и спинном мозгах. Врачи протестировали свой продукт на пациентах с различными патологиями – от новообразований и сосудистых проблем до травм и врожденных дефектов.
Эффективность решения убедила их развивать проект как стартап с перспективой привлечения инвестиций для создания собственного бизнеса. Со временем команда eXtra Vision расширила команду специалистами из IT, в том числе разработчиками Unity, инженерами в области искусственного интеллекта (машинного обучения) и дизайнерами.
Как работает eXtra Vision
Для создания 3D-модели мозга пациента необходимы данные. Для этого идеально подходят компьютерная томография (КТ) или магнитно-резонансная томография (МРТ) пациента. Полученные цифровые двумерные изображения загружаются в приложение, где с помощью ИИ создается объемная цифровая копия головы человека.
На первом этапе создания 3D-модели выделяются анатомические структуры: кожа, кости, сосуды, нервы. На втором – патологические структуры, например, опухоли или гематомы. В настоящее время процесс создания 3D-моделей полностью автоматизирован.
Готовая модель загружается в облачное хранилище, с которым синхронизируются очки дополненной реальности. Обычно от создания трехмерной модели до ее интеграции с AR-очками проходит от нескольких минут до получаса, в зависимости от объема данных.
С помощью AR-очков врач видит готовую модель в реальном пространстве. В самих очках есть несколько камер и датчиков, через которые сканируется помещение, где находится врач, и создается система координат. Кроме того, датчики используются для отслеживания инструментов и рук хирурга.
Прорыв в медицине или новая пузырь: что не так со стартапом Neuralink Илона Маска
"Врач видит и виртуальные, и реальные объекты. Технология позволяет наложить 3D-модель на пациента, что дает возможность видеть череп как бы в разрезе. Это помогает точно определить место разреза, объем костной ткани, которую нужно удалить для доступа к патологии, и обойти важные сосуды", – объясняет CEO eXtra Vision.
В стартапе чаще всего используют очки HoloLens от Microsoft. Кроме того, разработчики работают над тем, чтобы импортировать модели на Apple Vision Pro, MetaQuest 3 и MetaQuest Pro от Oculus и Meta.
Стартап фокусируется на работе нейрохирургов: на операциях на головном мозге и позвоночнике. В будущем команда планирует развивать эту технологию в ортопедии и травматологии, гепатобилиарной хирургии (диагностика и лечение заболеваний печени, желчного пузыря и желчных путей), в челюстно-лицевой хирургии.
Как eXtra Vision облегчает работу врачей
3D-модели помогают не столько во время операции, сколько при ее планировании. Врач может посмотреть модель мозга, покрутить ее, чтобы качественно продумать план вмешательства. Ранее для этого использовали двумерные изображения КТ или МРТ, анализ которых требует длительной практики и навыков.
Трехмерные модели не менее важны для пациентов и их родственников. Благодаря 3D-модели хирург может объяснить, как пройдет вмешательство. "Операции на головном мозге – это большой стресс для пациента, но когда они понимают, на что идут, и видят, что врач четко знает, как все будет, это их успокаивает", – отмечает Калюжка.
Технологию можно использовать и во время операций. Перед разрезом модель проецируется на участок тела, где будет происходить вмешательство. Так врач видит опухоль и другие важные элементы. Структура трехмерной модели зависит от конкретной операции и задач, которые нужно выполнить.
По словам CEO eXtra Vision, использование их технологии наиболее критично в начале операции – перед разрезом, который нужно точно спланировать. Само вмешательство лучше проводить без AR-очков, однако их можно использовать в любой момент для оценки ситуации.
Кроме того, команда работает над созданием ассистента для врача с искусственным интеллектом. Сейчас нейросеть больше задействована в создании моделей, но в будущем команда планирует привлекать ИИ и к анализу данных. ИИ-ассистент сможет определять тип опухоли и на основе 3D-модели рекомендовать врачу лучший путь для хирургического вмешательства, чтобы избежать повреждения важных функциональных зон мозга.