3D-сетка — это представление трехмерного объекта, состоящее из различных вершин и полигонов. Эти представления могут быть очень полезны для многочисленных технологических приложений, включая компьютерное зрение, виртуальную реальность (VR) и системы дополненной реальности (AR).
Исследователи из Университета штата Флорида и Университета Ратгерса недавно разработали систему Wi-Mesh, которая может создавать надежные 3D сетки человека, представления человека, которые затем могут быть использованы в различных вычислительных моделях и приложениях. Их система была представлена на двадцатой конференции ACM Conference on Embedded Networked Sensor Systems (ACM SenSys ’22), конференции, посвященной исследованиям в области компьютерных наук.
«Наша исследовательская группа специализируется на передовых исследованиях в области wi-fi зондирования», — сказал Tech Xplore профессор Цзе Янг из Университета штата Флорида, один из исследователей, проводивших исследование. «В своих предыдущих работах мы разработали системы, использующие устройства wi-fi для определения различных видов человеческой деятельности и объектов, включая крупномасштабные движения человеческого тела, мелкомасштабные движения пальцев, мониторинг сна и повседневных объектов. Наши системы E-eyes и WiFinger были одними из первых, которые использовали wi-fi зондирование для классификации различных типов повседневной деятельности и жестов пальцев, с акцентом на предопределенные действия с использованием обученной модели».
Основной целью недавней работы профессора Янга и его коллег было оценить, могут ли устройства wi-fi, которые обычно используются для связи, также помочь в построении 3D сетки человека. 3D-сетка человека представляет собой поверхность человеческого тела в трехмерном измерении, отражая рост, вес, соматотипы, пропорции тела и деформации тела, вызванные артикуляцией.
«3D-сетки человека имеют множество применений, включая создание контента VR/AR, виртуальные примерки и мониторинг физических упражнений, и являются фундаментальным строительным блоком для различных последующих задач, таких как анимация, реконструкция человека в одежде и рендеринг», — пояснил профессор Янг.
Система Wi-Mesh, созданная исследователями, использует несколько антенн, встроенных в обычные устройства связи wi-fi, для создания человеческой сетки. По сути, система излучает сигналы wi-fi для зондирования человеческого тела, а затем анализирует отражения, чтобы определить форму человеческого тела.
Наша система анализирует отражения от человеческого тела, чтобы оценить двумерный угол прибытия (2D AoA) отраженного сигнала, что позволяет устройствам wi-fi «видеть» окружающую среду, как это делают люди», — сказал профессор Янг. «Затем система извлекает 2D AoA изображения человека и далее использует модели глубокого обучения для преобразования 2D AoA изображений человеческого тела в 3D сетчатое представление, которое может быть использовано в различных приложениях взаимодействия человека и компьютера (HCI), таких как создание VR/AR контента, виртуальная примерка и мониторинг физических упражнений».
Wi-Mesh имеет ряд преимуществ перед традиционными системами на основе камер для создания 3D сетки человека. Прежде всего, эти традиционные системы не могут работать в условиях отсутствия прямой видимости (NLoS), в темноте или в мешковатой одежде, в то время как Wi-Mesh работает даже через стены и препятствия, поскольку сигналы Wi-Fi могут проникать через них.
В отличие от других предложенных систем, Wi-Mesh также не зависит от носимых датчиков или маркеров, что делает ее прозрачной и простой в использовании. Наконец, эту новую систему можно легко развернуть с помощью существующих устройств связи wi-fi, что делает ее более доступной и способствует ее широкому распространению.
«Наше исследование показывает, что можно использовать бытовой wi-fi для построения трехмерной сетки человека, что ранее считалось невозможным», — сказал профессор Янг. «Этот прорыв означает, что устройства wi-fi могут не только общаться, но и «видеть» и визуализировать человеческое тело, предлагая новый уровень сенсорных возможностей».
Недавнее исследование этой группы ученых может вскоре открыть новые и захватывающие возможности для создания человеческих сеток для различных технологических применений. В будущем система Wi-Mesh может быть использована для создания лучшего VR и AR контента, более продвинутых видеоигр с танцами в реальном времени и приложений для мониторинга физических упражнений, а также других технологий, преодолевающих разрыв между физическим и виртуальным миром, таких как широко обсуждаемая «метаверсия».
В своих следующих исследованиях профессор Янг и его коллеги планируют создать инновационные приложения, которые смогут воспользоваться преимуществами 3D сетки человека, созданной их системой. Одно из таких приложений, интеллектуальная система безопасности для дома, будет представлено на конференции USENIX Security Conference 2023.