Новости

May 26, 2023

WiMi разработала закрытый

ПЕКИН, 27 июля 2023 г. /PRNewswire/ -- WiMi Hologram Cloud Inc. (NASDAQ: WIMI) («WiMi» или «Компания»), ведущий мировой поставщик технологий голограмм дополненной реальности («AR»), сегодня объявила, что

ПЕКИН, 27 июля 2023 г. /PRNewswire/ -- WiMi Hologram Cloud Inc. (NASDAQ: WIMI) («WiMi» или «Компания»), ведущий мировой поставщик технологий голограмм дополненной реальности («AR»), сегодня объявила о том, что Метод помощи под управлением AR предназначен для обеспечения улучшенной визуальной обратной связи с пользователем для управления с обратной связью с использованием гибридного ИМТ, который сочетает в себе сигналы ЭЭГ и отслеживание глаз для интуитивного и эффективного управления роботизированной рукой.

Метод управления роботизированной рукой с гибридным сигнальным интерфейсом «мозг-машина» с замкнутым контуром, основанный на дополненной реальности WiMi, усиливает визуальную обратную связь для пользователя за счет объединения ИМТ на основе сигналов электроэнцефалограммы (ЭЭГ) и методов отслеживания глаз для достижения замкнутого управления во время управления. роботизированной руки. Система объединяет функции ИМТ, отслеживания взгляда, обработки изображений, автоматизации и интерфейса AR, позволяющие пользователю выполнять задачи манипулирования объектами. Обработка изображений используется для сегментации всех потенциальных прямоугольных объектов из изображения рабочей области. Пользователь может использовать отслеживание глаз для выбора сегментированных объектов. Выходные данные, декодированные из BMI, используются для (1) подтверждения выбранного пользователем объекта, (2) переключения последовательности действий и (3) непрерывного управления апертурой и высотой приспособления во время захвата и подъема. Выбранный пользователем объект и статус операций захвата и подъема передаются пользователю в режиме реального времени через экран компьютера с использованием технологии AR. Наконец, роботизированная рука выполняет задачи по растягиванию, захвату, подъему, доставке и отпусканию на основе результатов гибридного декодирования ИМТ. Оборудование системного устройства включает в себя айтрекер, гарнитуру ЭЭГ, компьютер, роботизированную руку и USB-камеру. Взаимодействие между пользователем и системой осуществляется с использованием гибридного взгляда BMI и визуальной обратной связи с усилением AR.

Замкнутая гибридно-сигнальная система управления роботизированной рукой BMI на базе AR WiMi включает в себя:

Интерфейс управления дополненной реальностью: благодаря технологии AR разработан интуитивно понятный и простой в использовании интерфейс управления, позволяющий пользователям управлять движением роботизированной руки с помощью жестов или голоса.

Сбор сигналов ЭЭГ: электрические сигналы мозга пользователя захватываются с помощью оборудования ЭЭГ и передаются на компьютер.

Обработка сигналов ЭЭГ: с помощью алгоритмов обработки сигналов сигналы ЭЭГ фильтруются, извлекаются признаки и выполняются другие операции для извлечения команд движения роботизированной руки, которой хочет управлять пользователь.

Генерация управляющих сигналов: на основе сигналов ЭЭГ пользователя генерируются управляющие сигналы для управления движением роботизированной руки.

Управление роботизированной рукой: система управления роботизированной рукой, включая выбор и создание аппаратных устройств, таких как драйверы двигателей, датчики положения и управляющие микросхемы.

Реализация управления с обратной связью: собранная информация обратной связи о положении роботизированной руки передается обратно в компьютер для реализации управления с обратной связью и обеспечения точного и стабильного движения роботизированной руки.

Управление в реальном времени: передача сигналов управления пользователем и информации обратной связи о положении роботизированной руки в режиме реального времени в систему управления роботизированной рукой, реализующая управление в реальном времени.

WiMi протестировала разработанную систему с замкнутым контуром (с обратной связью AR) по сравнению с существующей традиционной системой с разомкнутым контуром (только с визуальным контролем). Результаты показывают, что обратная связь AR значительно сокращает количество триггерных команд для захвата и подъема объектов по сравнению с тестами, использующими только обычный визуальный осмотр. Кроме того, был уменьшен зазор по высоте приспособления при подъеме. Пользователи гибридного ИМТ извлекли выгоду из информации, предоставляемой интерфейсом AR, что повысило эффективность и снизило когнитивную нагрузку в процессе захвата и подъема. Замкнутая система обратной связи AR предоставляет пользователям новый и эффективный способ управления роботизированной рукой с использованием гибридного BMI, что еще больше совершенствует традиционную систему управления за счет интеграции более совершенных алгоритмов обработки изображений и машинного обучения для улучшения сегментации объекта в декодирование рабочего пространства и сигнала ИМТ.