近日逛 App Store 的时候发现了一套手势识别系列 App,可以利用 iPhone 设备的摄像头识别用户手势,来浏览网页、相册,还可以控制秒表计时等,感觉有点有趣,毕竟这类“好像很好玩但实际又很不实用”的 App 实在太稀少了,而且手势识别也很引人好奇,于是决定尝试一下。
这套 App 来自开发者 James Hudson,命名比较有规律,分为《Hands-free Photos》、《Hands-free Browser》、《Hands-free Stopwatch》还有一个《Hands-free OSC》,功能看名字就懂了,分别是手势看照片、看网页、暂停表还有音乐效果开关。每一种小功能分成一个 App 来上架也是很醉,虽然大都是免费,不过并不太推荐大家去下载,除非你很喜欢瞎折腾一些新奇功能,至于原因,后面会说的……
然后笔者依次试验了一下这几款 App,界面就不介绍了,没有什么界面,就一页说明书,然后就进入使用了。既然是手势识别,那么还是要借助摄像头的,把 iPhone 放置或固定好,把你的手放在摄像头前方 10-20cm 距离,就会出现手势识别模式,界面右上角开了一个小窗,让你看到有没有对准摄像头。
手势控制能干什么呢?很遗憾,在这几个 App 里干不了什么,浏览网页的时候你还是要正常地输入网址,然后点开网页,相册也要自己点开,不过点开之后,你可以用手势识别“隔空”上下滚动页面/左右切换照片。
是不是感觉很蛋疼……对,这确实很蛋疼。当然了,第一次接触这样的玩法有一点点小炫酷,比如伸手对着摄像头上下晃一下就能把网页往下拉继续阅读。不过有这功夫还不如直接划屏了,如果你的手不方便触碰屏幕还是可以的。
手势识别滑动相册超级不好用,感觉对左右移动的手势识别能力比上下移动的识别要差,误操作到飞起。而且手好累……
手势停表比较有意思,手掌在摄像头跟前左右晃就可以操作秒表开始计时、暂停计时和重新计时。虽然暂时想不到应用场景在哪里。
至于那个《Hands-free OSC》,对不起,实在没找到正确的打开姿势,而且开启这个功能之后 iPhone 里的音乐播放都没声音了(笑哭)。
使用之后的感想,大概就是手势识别还没能真正发展到足够能用的程度,虽然这样的技术,早在 2012 年开始就有开发者和团队在研究了,但直到 2017 年,移动设备的手势识别依旧还是试验水准,精准度低,实用性低,不过与此相对的,是大大地发散了人们的想象力。早几年前,我们曾经给大家介绍过可以用手势识别关闭闹钟的插件,还有用手势来远程控制摄像头自拍,这些摄像头+感应技术结合的应用,其实在安卓和 iOS 上多多少少都被用起来了。
人机交互是一个一直往前走的技术领域,从鼠标、键盘到触屏、语音,当每一个新的交互系统真正成熟,都能带来巨大的改变。所以我们今天来联想一下,手势交互操作,未来有没有可能像触屏、语音那样,成为交互方式的主流。
我们都知道,现在移动时代已经广为普及的触屏操作,是一种 2 维平面的操作,在 XY 轴构成的空间内,人们的10个手指头,所能做的事,掰着手指头就能数过来,当跳出 2 维与手指头之后,你整个人都可能会是交互载体。Microsoft Kinect / Leap Motion / Google Glass / 各种体感、AR 都进入了立体交互的领域。
与已有成熟的交互方式相比,手势交互的技术更复杂,但同时有很多优势:
1.学习成本较低,识别人的自然手势,不像传统交互那样记住双击和鼠标左右点击的区别。
2.可以脱离实体接触,实现远距离控制。
3.交互动作更加丰富和自然,不同的操作有不同的手势,不像传统交互局限于点击和滑动等几种常用的操作。
4.对用户正常活动影响较少,可以随时继续手势操作。
比起鼠标和键盘操作,这些手势交互是更加方便的交互方式。早期需要穿戴手套,对于普通用户来说比较累赘。之后摄像头作为输入设备,用户并不需要和实体设备接触,而且可以分析手势的 3D 运动轨迹。计算机图形学等科学的发展,识别率得到提升,可以实时捕捉手臂和手指的运动轨迹,技术推动了人机交互的发展。
移动交互也早已不再局限于对屏幕的触摸,借助传感的设计会更加符合用户的第一直觉。比如声音输入,重力感应,方向感应等等。随着智能手机的流行,其性能会越来越强,而手机摄像头的识别能力也会随之增强。通过摄像头识别手势、手势移动轨迹,这是一个很大的亮点。只可惜目前在手机上的手势交互控制设计都是基于设备现有的平面摄像头来做的 2D 手势识别,其识别度远不能与 3D 摄像头识别相比,只能通过软件算法的优化,起到切换、翻页等简单的控制。就比如前面测试的几个小 App。
解决这个难题的关键或许在于手机摄像头的 3D 性能,而一旦摄像头能够比较准确地识别 3D 手势,那么不光是操作更多样性的问题,移动 VR、AR 领域都可以依托于这样的方案去实现浸入式交互了。相信有远见的厂商们已经在致力于解决这一关键,说不定这样的未来距离我们并不遥远。