[HTC HIVE] Как использовать встроенную камеру

[jetyb]

Здравствуйте.

Есть модель HTC Hive со встроенной передней камерой. Хочу использовать эту камеру для создания дополненной реальности:
например есть реальное рабочее место (стол, стул), камера показывает реальное их изображение, а поверх показывает 3D.

Что я хочу получать для каждого кадра:
- RGB изображение с 3D (знаю как получить)
- RGB изображение с камеры шлема
- Depth изображение с камеры глубины шлема (если она надеюсь есть)
Если есть камера глубины, то на основе этих изображений можно сформировать кадр дополненной реальности (что ближе - то реальность, что дальше - то 3D). Если камеры глубины нет - то придется в реальности натягивать зеленый экран, а дальше в постэффекте просто распознавать зеленые пиксели.

Как получить кадр с камеры шлема?

Опция отображения реального мира в HTC Hive есть, но она показывает все контурами (c Edge Detection) и без ограничения дальности.

К тому же, как я понял, это происходит на аппаратном уровне шлема, после получения кадра от Unity. Полупрозрачные черно-белые контуры реальности просто накладываются на виртуальную сцену.
Может есть какие-то плагины?

З.Ы разбираюсь сейчас сам, актуальные вопросы меняются

Добавлено.
Разобрался. Для дополненной реальности HTC не годится, надежда на HoloLens

[[bm]]

Для AR неплохо смотрится вот это https://bridge.occipital.com/

[Tolking]

Для дополненной реальности HTC не годится, надежда на HoloLens

Надеешься получить заполненный буфер глубины реального мира? А в Деда Мороза веришь?
Хотя устройство за 300 000 рублей может и имеет что-нибуть чтобы делать скан расстояния до каждой точки изображения в реальном времени...
Либо какую-то железяку чтобы рассчитывать расстояние из пары изображений (2 камеры у него есть) в реальном времени по параллаксу...
Но лично я буду сильно и приятно удивлен если это так...

[Paul Siberdt]

Встроенная камера HTC Vive не может работать в качестве обычной камеры.

Сравнительно точно и дёшево буфер глубины можно получить через бинокулярную систему, чем камера Вайва не является. Смотрите в сторону МХ-гарнитур, но, увы, разрешение камеры на сегодня - еще бОльшая проблема, чем разрешение дисплеев виртуального шлема. Пока в природе не появилось ни 4К и 8К МХ-гарнитур, ни стогерцовых реалтаймовых 4К и 8К камер.

[lol]

AR в htc vive pro: https://www.digitaltrends.com/news/htc- ... ality-sdk/