前言:影像的本质,无疑是对当下这一瞬间的记录,是时间的切片,是记忆的凝固。如何帮助用户更好地记录当下,表达自我,是我们一直以来追求的目标。
2020年6月1日,vivo X50系列手机在万众瞩目中发布,作为一台专业影像旗舰,它在影像后期处理方面的能力也同样亮眼。vivo相册中上线了超清图像、去除阴影功能,标志着专业级图片编辑能力在手机上的普及,手机不仅能够拍出好照片,更能修出好照片。
vivo影像后期处理功能的发展历程
2014年以前,高像素的手机普及度还并不高,用户对于手机的需求还停留在如何能够拍出更好的照片,对于「 影像后期处理 」的认知和关注并不高。所以当时的手机相册主要为用户解决图片存储、裁剪调整和美化等简单的后处理功能。
后来,随着手机影像能力的不断提升、用户对于记录生活的需求愈发强烈,如何让用户更好地还原世界的美好,成为了vivo影像团队急需解决的问题。“我们希望用户在相册中不仅可以更快地找到图片,还能够完成对图片细节的处理,提升图片质感。”vivo相册高级产品经理刘钊和我们分享道。
于是,在2018年,vivo相册陆续推出了环境增强、消除笔、人像光效等影像后期处理功能,使得用户可自己调节图片的明暗度、修复图片细节、还原手机没有拍摄出来的光效。逐步从简单的拍摄记录转向带有个人态度的影像创作。此后,影像后期处理相关的功能研发开始驶入快车道。
2019年4月,vivo相册在手机厂商中首发AI抠图功能,可支持将画面中无用的路人甲一键抹除,随着版本的不断迭代,AI抠图的功能逐渐扩展至:艺术画、一键换天、动感天空、换背景、肖像照……谈及AI抠图功能,刘钊说:“在产品设计前期,我们希望既能满足用户对于图片创作的创意要求,又能降低他们的制作成本。目前看来,在这个功能上我们做到了。”
AI抠图-路人消除
随着相册玩法的不断丰富,vivo相册团队开始深入思考,如何满足用户更高层次的心理需求,如何真正解决用户实际生活中的痛点。图像作为某一瞬间的即时记录,更多地承载了用户保存记忆的心理诉求。限于不同阶段手机拍摄能力的不同,越是老旧照片,图像质量也越差。
由此,在vivo X50系列手机上,超清图像功能诞生了。通过对过去模糊不清的人像图像进行细节还原和颗粒度、清晰度优化,一键翻新旧照片。除此之外,为解决用户在生活中用手机拍摄纸质文件、名片或身份证时,因顶光而在照片上留下局部阴影的问题,在X50系列手机中推出了去除阴影功能。用户拍摄图像时,再也不用避开阴影。
超清图像修复效果对比
文档去除阴影效果对比
vivo算法团队助力功能实现
影像后期处理能力之所以能实现不断突破,离不开vivo AI算法团队在计算机视觉领域的持续探索。随着深度学习的广泛兴起,基于深度学习的视觉技术在手机上的落地应用越来越广。在图像理解方面,机器分类识别取得了超越人眼精度的巨大成就,人脸识别、智慧识图、OCR等技术已经在vivo手机上广泛应用。
随着GAN等相关图像生成技术的发展成熟,基于深度学习的图像增强技术也逐渐有了越来越多的落地。vivo AI正是基于这样的技术发展背景,持续为vivo影像后期处理功能的不断优化助力。
为实现超清图像功能在X50系列上顺利上线,从4月初开始,郭伟伟带着团队的小伙伴长期出差在深圳,开始了为期两个月的封闭开发。
超清图像涉及到的功能模块非常多,包括「人脸检测、特征点检测、人脸矫正、人脸五官区域精细分割、人脸增强、全图去噪超分处理、服务端高效率多并发支撑」等一系列技术点,“在涉及到如此多复杂模块的情况下,超清图像功能仍能够在这么短的时间内顺利上线,离不开 vivo AI团队的技术支持。经过几年的发展,vivo AI 已经积累了非常多前沿的技术能力,可以很迅速地复用到其他场景!”郭伟伟非常自豪地说到。
与郭伟伟团队同样在为新功能研发苦苦探索的,还有孙东慧团队。此次X50系列上自研的去除阴影功能,可以很好地处理弱阴影和强阴影,但研发之路也布满荆棘。
首先,渐变阴影的问题尤为明显,阴影的强度沿一个方向逐渐变强或者变弱,都会引起阴影检测的准确度下降。所以,算法团队从问题的成因入手做了深入分析,最终提出了比较好的解决方案,实现阴影检测算法的准确性提升。
而阴影对原有颜色的干扰,一方面是由于拍摄对象本身有颜色,如果是黑白文档,那么消除影子后文档本身颜色可以完全不改变,处理得很干净,相对来说彩色文档阴影去除就要格外费心;另一方面,还受到拍摄场景光线影响,无论是户外阳光还是室内灯光,其实这些光会导致影子本身也是有颜色的。大家反复论证了「光照修复」的精密算法,最终验证了解决方法确实可行并有效。
项目负责人孙东慧告诉我们,“从阴影形成的物理成因来讲,光线被遮挡从而不能在物体表面形成均匀的光照。阴影部分和非阴影部分的交接处有信息的突变,这就导致强阴影很难消除得很干净,尤其是边界部分。”如何实现阴影去除算法的效果提升,就是团队每天熬夜要抗争的“顽疾”,最终经过去影算法处理后的图像合格率达到了92%,去影的算法还会继续迭代,更好的守护用户的无影良品。
此次 vivo X50系列手机的在影像赛道上的惊艳亮相,再一次体现了vivo长期坚持的“消费者导向”核心价值观,将消费者需求前置,利用前沿技术解决用户大量的痛点难题,为惠及用户不断打磨产品,踏踏实实积累产品技术能力。
「放眼未来,一切都值得用心期待」