全景照片观看效果不佳?Facebook用AI解决它

Facebook 今天宣布,将会使用AI来确保上传到社交网络的360度全景照片在他人观看时呈现最佳效果。同时,其还在Scale会议上展示了一种系统,用户可以用深度神经网络来修正上传照片中普遍存在的方向误差。

如果在拍360度全景照片时,相机没有摆好,和地平线不平行,拍出的照片将会很难读取,在用VR查看的时候也会失去沉浸感。Facebook的系统则会拍出一张照片,输出倾斜值和滚动校正值,使照片与视线平行。这样的话,查看照片的人在看到画面时就不会很糟糕。这个系统的基础是一个图片识别系统,AlexNet,目前已经被应用于解决其它问题,如决定照片内容。现在,该系统还没投入生产,但是Facebook的研究表明还是很有希望看到的。

让360度全景照片在社交网络上看起来很赞,这正是Facebook的关键,而Facebook正在VR上进行大量投资。例如,Facebook的社交VR app Rooms,它让虚拟替身在360度全景照片的背景闲逛。如果照片看起来不是最佳效果,会降低用户使用app的体验。

除了自动旋转的问题,Facebook还要处理360度全景照片的尺寸问题,因为这些巨大的照片将被上传到服务器里。在有超快的网速和设备的情况下,这些都不是问题,但是在目前手机的蜂窝网络上却会是巨大的问题。

Facebook把照片转化为立方体,再把这些立方体存储为不同的分辨率。这些照片会被碎化为512×512像素的立方体。当用户打开一张照片,Facebook会在所加载照片内计算分辨率和位置。这样的话,用户没法立刻得到足够高分辨率的照片,因为社交网络会呈现更低分辨率的版本,直到得到可用的照片。