中华网

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
军事APP
当前位置:经济频道首页 > 数字经济 > 正文

像奇异博士一样预测未来已成为现实?MIT、百度AI或为你圆梦!

像奇异博士一样预测未来已成为现实?MIT、百度AI或为你圆梦!
2019-07-05 17:40:31 算力智库

算力说

无论是在电影还是小说中,预测未来的能力总是让人惊叹。运用AI算法,透过声音或像素流向对未来进行预测,或将为你打开这扇新世界的大门。

MIT、UCBerkeley强强联手,用AI听出你的姿势

在今年的CPVR2019论文中,有一篇跨模转换的文章吸引了算力智库的注意。这究竟有什么特别之处呢?原来,只需要音频语音输入,AI可以预测并生成出相对应的手势,而所谓的跨模转换即为声音到手势及手臂动作的转换,让我们先来看段视频了解一下。

视频的左上是标定好的真实数据,而右边的视频则是基于左下的预测部分进行合成的。通过观察,我们可以发现预测数据对比真实数据的准确度是高度一致的,这种神奇的操作又是基于何种原理呢?

语音预测动作的技术原理大致分为以下四个要素:

1.首先,需要训练与音频相对应的姿势检测序列(能将指定序列从数码流中识别出的方法)。研究人员使用L1回归到2D关键点的序列堆来学习从语音到手势的映射。

2.其次,使用对抗性鉴别器(防止数据训练时源标签信息丢失以及结果多样性不足的鉴别器)来避免回归到所有可能姿势的平均值,以确保预测动作的可信度。

3.进而,运用卷积音频编码器(用以音频纠错的编码器)对2D图像进行采样并转换为1D信号。

4.最后使用Unet转换架构(用已转换的1D信号重建2D图像的转换架构)。而bottleneck作为构建Unet转换架构的三大组成之一,为完全卷积网络(由卷积音频编码器及Unet转换架构组成)提供了过去和未来时间的上下文。而这一步即为预测速度的关键。

像奇异博士一样预测未来已成为现实?MIT、百度AI或为你圆梦!

在了解了相关技术之后,让我们来感受一下这个神奇的视频。

动画角色创建或成为最先应用

说话者的手势是独特的,对一个人进行训练并预测另一个人的手势并不起效。这些个人特定手势往往带有自己的风格,无论是睁大眼睛又或是手舞足蹈。比如下面这两位。

而无论你的动作细微还是夸张,都逃不过AI的“法耳”。

研究团队表示,他们的下一步是不仅根据声音,还根据文字稿来预测手势。该研究潜在的应用包括创建动画角色、动作自如的机器人,或者识别假视频中人的动作。

东京工大建立FuturePose系统,提前看穿你的下一步

东京工业大学的研究团队于今年在IEEE上发布了一套名为FuturePose格斗训练系统。这套系统可以帮助实验者预测对手未来0.5秒后的动作。让我们先看两个有趣的动图来了解一下。

像奇异博士一样预测未来已成为现实?MIT、百度AI或为你圆梦!

像奇异博士一样预测未来已成为现实?MIT、百度AI或为你圆梦!

研究人员通过RGB像素流向,运用机器学习来定位关节,进而根据关节摆动方向来预测对手未来的动作。

相关报道:

     

    黄金饰品“缺斤短两” 重量真是洗没的?

    相关新闻