Microsoft Hololens

Продукт
Разработчики: Microsoft
Дата последнего релиза: 2017 г

Содержание

Microsoft HoloLens - очки виртуальной реальности. Они представляют собой надеваемый на голову обруч с расположенными перед глазами тонированными линзами с волнообразной призматической структурой, которые преломляют и отправляют в глаза пользователя изображения с расположенных по бокам микродисплеев.

Microsoft HoloLens - очки смешанной реальности. Используют 32-разрядную операционную систему Windows Holographic (версия Windows 10). Устройство автономно и не требует подключения к ПК, смартфону или игровой консоли.

В дополнение к центральному и графическому процессорам очки имеют голографический процессор (англ. holographic processing unit), разработанный Microsoft специально для HoloLens.

2017

Применение в операции по удалению опухоли

Находясь в разных уголках мира, три выдающихся хирурга из Индии и Британии с помощью очков дополненной реальности Microsoft Hololens смогли виртуально присутствовать в одной операционной и совместно выполнить операцию по удалению опухоли. Об этом 23 октября 2017 года в своем блоге сообщила BMI Healthcare, крупнейшая в Великобритании группа частных клиник.[1]

AR-очки Microsoft помогли хирургам из разных стран провести операцию по удалению опухоли

Операция по поводу колоректального рака прошла на базе лондонской больницы The Royal London Hospital. Хирургу из Великобритании Шафи Ахмеду (Shafi Ahmed) ассистировали коллеги — профессор Шайлеш Шриханде (Shailesh Shrikhande), онкохирург из Tata Memorial Hospital в Мумбаи, крупнейшей онкологической клиники Индии, и Хитеш Патель, консультирующий колоректальный хирург из частной клиники BMI The London Independent Hospital. Еще одним виртуальным консультантом стал Иэн Нотт (Ian Nott) из США, соучредитель и технический директор компании Aetho, разработавшей AR-приложение Thrive для очков Microsoft Hololens.

Специалисты работали в AR-очках и могли не только слышать, но видеть друг друга в виде графических фигур-аватаров, как будто они действительно находились в одной операционной. Хирургам были доступны томографические снимки внутренних органов пациента, которые отображались в виде трехмерных голограмм, и врачи могли делать на них виртуальные пометки, обсуждая ход операции.

AR-приложение Thrive для очков Hololens разработала компания Aetho
« «Мы по-настоящему объединили технологии с медициной. Сведя вместе специалистов из разных частей света и временных зон, мы продемонстрировали, что можем сделать операции безопаснее, обеспечить лучшие результаты лечения пациентов и демократизировать хирургическую практику», — прокомментировал профессор Шафи Ахмед.[2] »

Использование очков HoloLens в онкологической операции, 24 октября, 2017 год

Стоит отметить, что это уже не первый опыт Шафи Ахмеда по использованию инноваций в операционной. В 2014 году он с помощью VR-очков Google Glass организовал онлайн-трансляцию операции, которую увидели несколько тысяч студентов-медиков из 115 стран.

Microsoft HoloLens 2.0

По словам представителей Microsoft, второе поколение очков HoloLens, помимо «голографического» процессорного модуля (Holographic Processing Unit/HPU 2.0), будет также оснащаться сопроцессором искусственного интеллекта (AI coprocessor), благодаря которому станет возможна поддержка технологий глубоких нейронных сетей (Deep Neural Networks, DNN).

Исполнительный вице-президент подразделения по искусственному интеллекту и исследованиям Microsoft (Artificial Intelligence and Research Group) Гэри Шум (Harry Shum) в июле обнародовал первые подробности о втором поколении очков HoloLens, разработка которого продолжается.[3]

Фото: s9.tarhely.com

Среди множества дополнительных функций и возможностей HoloLens 2.0 наибольший интерес представляет сопроцессор искусственного интеллекта (AI coprocessor), который позволит устройству обзавестись поддержкой технологий глубоких нейронных сетей. Это означает, что HoloLens сможет «на лету» обрабатывать большие объемы данных, не прибегая к внешним облачным ресурсам.

Как уточнил Гэри Шум, ИИ-сопроцессор будет полностью перепрограммируемым и сможет работать в режиме реального времени, что, в свою очередь, позволит второму поколению HoloLens автономно и без задержек анализировать то, что видит и слышит пользователь. Кроме того, чип будет применяться разработчиками программной платформы HoloLens 2.0 для создания приложений смешанной реальности с активированной функцией ИИ.

Как и в случае с HoloLens первого поколения, особенностью аппаратной платформы очков HoloLens 2.0 также будет «голографический» процессорный модуль (Holographic Processing Unit/HPU 2.0), отвечающий за обработку данных со всех датчиков системы в реальном времени, включая датчик глубины реального времени собственной разработки Microsoft, камеры для отслеживания положения головы пользователя, сенсоры блока измерения инерции (IMU) и инфракрасную камеру.

Аппаратная часть

HoloLens 2.0 базируется на процессоре с производительностью не ниже Intel Mobile Core i5, за обработку графики отвечает встроенный графический модуль не слабее Intel HD Graphics 620 (GT2) с поддержкой API Direct3D 12. Устройство оснащается не менее 8 ГБ двухканальной памяти, интерфейсом HDMI 1.4 с поддержкой режима 2880x1440 с тактовой частотой 60 Гц или HDMI 2.0 с разрешением 2880x1440 и тактовой частотой 90 Гц, жестким диском емкостью от 100 ГБ, портом USB 3.0 или USB 3.1, а также Bluetooth 4.0.

Применение в качестве гида по музею японского храма

Microsoft HoloLens, (2016)


18 августа корпорация Microsoft объявила о том, что очки смешанной реальности HoloLens теперь используются в качестве гида по музею японского храма Кеннин-дзи. Древние экспонаты оживят с помощью визуальных эффектов, звуков и всплывающей информации. Таким образом, руководство храма Кеннин-дзи рассчитывает привлечь новых посетителей, а также усилить их впечатление от выставки.

Один из старейших дзэн-буддийских храмов Киото Кеннин-дзи будет использовать Microsoft HoloLens в качестве гида по музею

Один из первых артефактов, задействованных в проекте — 400-летняя расписная ширма с изображениями японских богов ветра и грома, Фудзин и Райдзин. В смешанной реальности она будет дополнена реалистичными звуками и 3D-элементами, разработанными группой Hakuhodo в партнерстве с Microsoft. Надев очки HoloLens, посетитель увидит под божествами тучи, из которых в землю ударяют молнии. Электронный «спектакль», сопровождающийся голосовой справкой об экспонате, будет длиться от трех до пяти минут.

« Мы хотим, чтобы люди взглянули по-новому на наше национальное достояние. Это первая выставка, на которой очки HoloLens будут применены подобным образом, — подчеркнул Кадзухиро Суда, креативный директор рекламного агентства Hakuhodo Inc. — Я считаю, что каждый музей должен попробовать использовать смешанную реальность, в том числе и для того, чтобы приобщить к технологии обычных посетителей. »

Использование очков в сложной операции на позвоночнике

В феврале 2017 года стало известно об использовании очков виртуальной реальности Microsoft HoloLens в ходе сложной и рискованной операции на позвоночнике. Ее провели в Институте ортопедии и травматологии Жарагуа-ду-Сул (Instituto de Ortopedia e Traumatologia de Jaraguá do Sul) в штате Санта-Катарине (Бразилия).

Хирурги Энрике Ламперт (Henrique Lampert) и Бруно Гоббато (Bruno Gobbato) применили HoloLens в артродезе — операции создания искусственного анкилоза сустава, при которой достигается полная неподвижность сустава. Гаджет Microsoft помог врачам точно установить винты для фиксации позвоночника в тех местах, где движение причиняло боль, чтобы избежать повреждений нервов или разрушения импланта.

При помощи HoloLens хирурги визуализировали трехмерную модель позвоночника пациента с оптимальным расположением винтов, созданную на основе компьютерной томографии (КТ). Ученые отмечают, что такая визуализация очень сложна, поскольку она требует использования во время операции дорогостоящего КТ-оборудования, которым обладают далеко не все больницы. HoloLens является портативным прибором и стоит $3 тыс., что гораздо меньше по сравнению со специализированными медицинскими решениями.

Энрике Ламперт и Бруно Гоббато выразили надежду на то, что новые версии HoloLens смогут выводить объемную картинку с более высоким разрешением и частотой кадров. В то же время, по словам Ламперт и Гоббато, им понравилось «ограниченное» поле зрения устройства, поскольку оно позволяет одновременно следить за другими экранами, записями и элементами, не связанными с гарнитурой.

Врачи намерены разработать учебный курс, посвященный использованию реализованной в очках HoloLens голографической технологии в хирургических операциях.[4]

Версия для строителей

Microsoft совместно с американской компанией-производителей ПО TRMB и Кембриджским университетом разработала очки дополненной реальности HoloLens, предназначенные для использования в строительной отрасли, анонс ожидается в 2017 году.

Устройство создано на базе очков смешанной реальности Microsoft HoloLens и внешне напоминает VR-шлем. Очки будут работать на системе Windows 10.

Очки имеют встроенные датчики, которые считывают технические параметры построек и выявляют как ошибки, допущенные при проектировании и строительстве, так и приобретенные повреждения конструкции. Кроме того с помощью гаджета можно создать свою 3D-модель постройки - здания или объекта инфраструктуры, например, моста - и сохранить ее для последующей компьютерной обработки.

В 2016 году году в продажу вышли очки Hololens, позволяющие работать с интерьером и макетами зданий.

2016: Компьютер, выполненный в виде очков

Microsoft HoloLens — это надеваемая на голову гарнитура, обруч с тонированными линзами и волнообразной призматической структурой, расположенными перед глазами. Линзы преломляют и направляют в глаза пользователя изображения с микродисплеев, с дух сторон.

Очки оснащаются средствами регулировки, индивидуальной подгонки к физиологическим особенностям головы пользователя: межзрачковое расстояние и другие. Динамики расположены у нижнего края устройства, они обеспечивают подачу звуков виртуальной реальности и внешних шумов.

Microsoft HoloLens, (2016)

Разработка продукта началась в 2012 году. Компания Microsoft представила прототип в январе 2015 года. В марте 2016 года начались продажи версии для разработчиков в США и Канаде. В октябре 2016 года предзаказ устройства стал доступен в Великобритании, Ирландии, Франции, Германии, Австралии и Новой Зеландии.

Microsoft HoloLens, (2016)

В конструкции HoloLens использованы:

  • 64-разрядный 4-ядерный процессор Intel Atom x5-Z8100 с частотой 1,04 ГГц.
  • графический процессор
  • голографический процессор, разработанный Microsoft специально для HoloLens.

Голографический процессор в корпусе 12 × 12 мм использует 28 цифровых сигнальных процессоров производства Tensilica для обработки и интеграции данных, поступающих от сенсоров, пространственного сканирования помещения, распознавания жестов, голоса и речи. SoC (system on chip) и голографический процессор делят 8 МБ встраиваемой памяти SRAM и по 1 ГБ LPDDR3.

Встроенное хранилище данных объёмом 64 ГБ, из которых ~10 ГБ - операционная система. Объём ОЗУ — 2 ГБ.

Как заявила компания-разработчик, Microsoft HoloLens — это компьютер, выполненный в виде очков. Картинка, выводимая на их стекло, накладывается на окружающий мир и встраивается в него посредством данных, получаемых от камер устройства. Управление в интерактивных приложениях выполняется жестами или голосом.

Виртуальная реальность



Примечания