微美全息开发一种基于头戴式显示器(HMD)的脑机接口(BCI)控制的人形机器人交互

2024-04-28

  伴随着脑机接口(BCI)技能的生长以及其运用的特征,大批的的研究机构最先研发基于BCI的人形操纵系统。个中,WIMI微美全息开辟一种基于头戴式显现器(HMD)的脑机接口(BCI)操纵的人形机器人交互操纵系统。这类交互体例经由过程稳态视觉诱发电位(SSVEP)操纵机器人,让它与环境和人类互动。正在该计划中,机器人内嵌式摄像头给予实时反应,将刺激反应集成到HMD上显现。

  据悉,微美全息(NASDAQ:WIMI)研究人员正在实验中,根据利用这类新的交互体式格局节制了人形机器人,并进行了一项义务来测试其性能。正在义务中,测试者被请求将机器人导航到特定位置以执行义务。这个义务基于视觉SLAM反应,根据机器人摄像头捕捉的环境图象供应了导航指导。

  正在该研讨中,WIMI微美全息采用了稳态视觉诱发电位(SSVEP)作为操纵旌旗灯号,根据脑电旌旗灯号收罗设备收罗用户的脑电旌旗灯号,并运用头戴式表现器表现机器人的实时反应。为了供应导航指导,研讨人员正在机器人上嵌入了一个内嵌式摄像头,并将其实时反应取头戴式表现器上的SSVEP旌旗灯号相结合,构成一种交互方法。正在操纵算法层面,研讨人员采用了基于视觉SLAM(Simultaneous Localization and Mapping)的算法来供应导航指导。该算法根据机器人摄像头捕捉的环境图象,建立起环境模子并供应导航指导。

  基于头戴式显示器的BCI的人形机器人掌握系统需求包孕多个组件,包孕旌旗灯号收罗设备、头戴式显器、人形机器人、内嵌式摄像头、掌握算法等。WIMI微美全息基于头戴式显示器的BCI掌握的人形机器人的辅佐掌握系统的技能实现步调和后果如下:

  脑电信号收罗和处置:

  微美全息的研究人员首先使用了一套基于脑电旌旗灯号的交互平台,适用于收集用户的脑电旌旗灯号,并对这一些旌旗灯号开展处置惩罚。平台由多通道放大器、电极帽和数据收集软件构成,可以实时收集并存储用户的脑电旌旗灯号。正在处置惩罚脑电旌旗灯号时,使用了一种高效的方式,即根据旌旗灯号的频次剖析提取稳态视觉诱发电位(SSVEP)。该方式将特定频次的光闪灼显现为用户,用户的脑电旌旗灯号会正在这个频次上发生同步振荡,进而实现节制旌旗灯号的提取。

微美全息开发一种基于头戴式显示器(HMD)的脑机接口(BCI)控制的人形机器人交互

  该研讨采用了头戴式显现器的BCI掌握形机械的要领,此中掌握旌旗灯号基于稳态视觉诱发电位(SSVEP)。研讨人员使用脑电旌旗灯号收集设备来收集用户的脑电旌旗灯号,经由过程头戴式显现器来显现机械人的实时反应,并经由过程内嵌式摄像头供应导航指导。掌握算法采用了基于视觉SLAM的算法来供应导航指导,该算法经由过程机械人摄像头捕捉的环境图象,建立起环境模子并供应导航指导。

  头戴式显示器的使用:

  为了给予操纵旌旗灯号的反应,微美全息的研究人员使用了一种头戴式显现器,显现器经过内置的显现器显现机器人的实时图象和状况。头戴式显现器采用了高分辨率的显现技能,以给予越发实在的虚拟环境体验。

  别的,为了更好地给予节制旌旗灯号反应,研究人员还将表现器取机器人的内置式摄像头相结合。经过机器人摄像头捕捉环境图象并表现正在头戴式表现器上,用户能够愈加直观地理解机器人的状况和环境信息。具体来说,用户须要凝视头戴式表现器上的特定频次的光刺激,这将造成用户的大脑收回特定的SSVEP旌旗灯号。旌旗灯号被捕捉并处置后,节制算法能够依据旌旗灯号的频次和振幅肯定用户的企图,比方移动机器人向左或向右转等。内嵌式摄像头能够实时捕捉机器人的视角,给予环境图象和机器人当前位置的反应信息。

  导航算法的实现:

  为了实现机器人的导航节制,微美全息的研究人员采用了一种基于视觉SLAM的算法。该算法经由过程机器人内置的摄像头,捕捉机器人所在环境的图象,并将其转换成机器人的环境模子。与此同时,该算法还可以对机器人的位置举行估量,并为用户给予导航指导。用户可以经由过程SSVEP旌旗灯号来节制机器人的挪动标的目的,与此同时头戴式表现器会表现机器人的状况和环境信息,为用户给予越发直观的反应信息。

  别的,微美全息的研究人员还对该节制系统进行了实验评价,评价了其节制精度、交互体验等方面的性能。根据实验结果表明,该节制系统可以供应准确的节制旌旗灯号,与此同时还可以供应沉醉式的交互体验,为用户供应了一种新奇的机器人节制体式格局。

  实验评价:

  为了评价该体系的性能,微美全息的研究人员展开了一系列实验。实验包含用户利用该体系展开机器人导航使命,和利用传统遥控器展开使命的对比实验。实验结果表明,用户正在利用该体系时可以越发精确地完成导航使命,而且获得了更好的交互。

  研究人员对该掌握体系进行了实验评价,包含掌握精度、交互体验等方面的性能。实验中,参与者需要在一个摹拟的环境中,掌握机器人走到特定位置,完成任务。实验结果表明,该掌握体系能够供应正确的掌握旌旗灯号,均匀掌握精度高达98.1%。与此同时,用户评价该体系的交互体验很好,以为这是一种很是自然、直观的交互方法。

  现阶段,微美全息(NASDAQ:WIMI)基于头戴式显示器(HMD)经过脑机接口(BCI)实现的人形机械人掌握系统的研讨,展现了基于头戴式显器的BCI掌握形机械的一种新的交互体式格局,给予了一种更加自然、直观的机械人掌握体式格局。实验结果表明,该掌握系统能够给予准确的掌握旌旗灯号,而且用户对其交互体验很好。这一掌握体式格局具有潜力,可适用于很多须要准确掌握的场景,比方医疗、教诲、文娱等行业。后续,该掌握系统还能够取其他传感器技能融合,比方语音、手势等,以给予更多样化的掌握体式格局。这类基于头戴式显器的BCI掌握的形机械的导航帮助计划为用户给予了一种新奇的交互体式格局,能够进步机械人的操纵效力和交互体验。