如果任何一个业余爱好者,围着一个物件拍摄20张照片,就能给这个物件创造出一个三维图像来,您知道这将意味着什么吗?这是Intel中国研究团队的一个创举,这个创举将帮助任何一个能够使用数码相机的人或者设备,创造出丰富的视觉内容,包括三维物体和“镜像世界”,即可模拟真实世界中建筑和其它大型结构的环境,或者帮助用户使用越来越多的用户生成和地理标记的多媒体数据,创建并浏览镜像世界。
解决了重大难题
今天,利用照片来生成三维模型在学术界已有了不少的研究,甚至有一些已有了产品, 但都有不少局限性而很难大规模应用。例如,一些照片建模的工具需要很多的用户交互,所以适合于较专业并且愿意花时间的用户,而且对于非规则的物体做模型将很复杂。另外在其中的多视角立体视觉(Multi-view stereo)技术方面, Middlebury上面做了不少评测, 但其测试数据也比较有限,其在现实应用中的鲁棒性仍需要进行进一步评价和改进。
而英特尔中国研究院(Intel Labs China)可扩展统计计算实验室在这方面的研究就是要把这些限制减少到很容易使用的程度,另外对算法进行优化使得它们可以在未来的计算平台上可以快速运行。例如在估计照相机参数时,他们不用类似棋盘格的参考物体就可以进行非常准确的校正(calibration),另外还将考虑现实应用中很多因素,如光照、材质、遮挡等等。目前这项技术的基本步骤如下:
(1) 用户围着物体拍摄大约20张照片。如果是移动数码设备有计算能力的话,这些设备可以帮助用户来选择拍摄的角度和各个照片间的较好的重叠程度。另外系统需要进行前背景分离(foreground/background segmentation),以便把物体的像素点分离出来。
(2) 照相机参数估计。这一步自动计算出每张照片的拍摄位置和角度。
(3) 粗略模型生成。这一步利用象Visual Hull这样的方法来生成一个粗略的模型。Visual Hull的原理有点象雕刻,通过从不同角度不断切割来得到比较准确的几何形状。
(4) 精细模型生成。这一步用其他的一些更精细如多视角立体视觉的方法来获得更细致的模型。获取纹理并进行绘制。纹理是从多张照片中获取并映射到物体的三维模型上。经过绘制,一个很有真实感的物体就产生了。然后用户就可以把这个物体放到虚拟世界中去。
应用前景广大
三维虚拟世界是未来互联网的一类重要的应用,甚至可以说是杀手级应用,其应用的范围非常广,而且对硬件和软件乃至系统方面的技术要求很高。
那么三维虚拟世界中人们可以做些什么呢? 现在的第二生命、HiPiHi等等应用都可以让你有个初步的体验。例如你可以进行在线虚拟会议,在线社会网络交往(与另一个Avatar在线聊天)、在线旅游、在线购物等等。而未来的三维虚拟世界将通过新的图形和内容生成技术大大提高人们的浸入式体验。这也是英特尔研究院(Intel Labs) 所进行的浸入式链接体验研究(Immersive Connected Experience)的一个重要目标。
那么浸入式体验方面的技术给我们的三维虚拟世界具体能带来什么变化呢?英特尔给出的定义就是“Looks real, act real, feel real"。具体说来,首先,虚拟世界上的三维内容的数量和质量将会大大加强。有了英特尔中国研究院的业余用户三维内容生成技术,广大的业余用户也能构造出接近甚至超过高端游戏中的三维模型(尤其是真实的物体), 人们在虚拟世界中能看到的环境的范围将大为增加,原来可能只是几十平方公里,而现在就可以在几百万的土地上自由翱翔了。原来看到的物体种类可能就几十种,而未来将与我们的真实世界一样丰富。由于更好的三维内容的质量,再加上英特尔美国研究院正在研发的图形学技术(光线跟踪Ray tracing等),未来虚拟世界中的物体,建筑物等都将显得更加栩栩如生,给人以赏心悦目的感受,那时虚拟旅游或许真正可以成为虚拟世界中的一大产业。
英特尔中国研究院正在研发的三维人建模和跟踪模拟技术也会使得未来虚拟世界中的人更加真实,有了这些技术,在未来你就可以在在线与朋友聊天或共同观看足球赛时看到对方的实时表情和动作。当然对于运营这样一些超大范围,高质量,多实时交互性的虚拟世界对计算平台,分布式计算等都提出了挑战,这些也是英特尔研究院和学术界共同在探索的一些问题。最后,一个更重要的方面是未来的移动设备也可以运行虚拟世界的应用。比如你在一条购物街上购物,你逛得有点累了,但又想到前面500米外的商店去买件心仪已久的衣服,这时你可以拿出你的移动设备,登陆到镜像虚拟世界(现实世界的拷贝),用上几秒钟快速飞到这家商店,与店员的三维化身交谈后,并进行试穿,然后就可以在线定购。然后嘛,你就可以接着逛近一点的店了,或者可以喝点咖啡了,反正有一大把的时间可以打发。
当然,虚拟世界的成功还有商业模式等方面的因素,但无疑这些技术将为虚拟世界开启一扇通向成功的大门。