近日，快手特效团队联合Y-tech技术团队为游戏主播“侠客红尘”打造了一款高真实感的虚拟人形象“红尘”。“红尘”已在快手带来直播首秀，虚拟形象加上新奇有趣的玩法使得首秀直播吸引了近 300 万人观看，同时在线人数近 5000 人，涨粉近 10 万。
直播间效果显示，直播中虚拟人“红尘”的面部动作和肢体动作真实感很强，在游戏中的喜怒哀乐的情绪均能准确的表达，还可以自由切换发型和各种道具。此外还为“红尘”配置了一些有趣的玩法，比如，在被弹幕喷“菜”时会气得头变大，在输掉游戏时会变出一个平底锅来接锅。
红尘在直播时唱歌
据了解，红尘在直播中运用了大量的2D和3D特效效果。在直播中，“红尘”的头顶有可爱的小鸭子，还能够换上机车头盔和小象头套，甚至还能变成马脸和一个电视机。带着马脸挥着平底锅，跳着骑马舞的夸张形象引起了直播间观众们“就离谱”的阵阵惊呼。
丰富的3D魔表效果
主播“侠客红尘”表示，用了虚拟形象之后，和观众有了更好的互动体验。“之前直播的时候我只是打游戏，即使在和观众互动时也主要是围绕游戏展开。现在有了虚拟形象后，能明显感觉到大家在关注游戏的同时，还能非常好地感受到我，感受到我的喜怒哀乐等情绪。”
据了解，在虚拟人“红尘”这套技术完全由快手自研。获得快手用户喜爱的背后，实际上主播并不需要为此添置昂贵或者复杂的器材。应用快手的这套解决方案，主播只需要单个摄像头和普通电脑即可实时驱动虚拟人。
该项目的技术总监马博士表示，这套方案包括3D扫描、动作捕捉以及实时渲染等技术，可在一个 100 元左右的摄像头下，实时捕捉人的动态并几乎无延迟地驱动虚拟人。这次虚拟人识别驱动技术为业内顶级，其中面部捕捉技术可以和苹果arkit技术相媲美，而且并不需要采集深度信息。
据介绍，此次虚拟人驱动模块根据真人识别信息，通过资产校准、反向动力学等算法模块，转化为连续稳定的资产动画。系统中还使用了自动情绪增强模块，通过自动识别的驱动者情感，对资产的面部表情动作进行自动调优，以使虚拟角色体现出更具表现力的情感。
资深算法工程师郑博士表示，该项目在实时渲染效果上极大的接近了真实感，且在渲染效率上做了大幅优化，以能够完美支持直播和短视频场景。郑博士还介绍，在高真实感的皮肤材质生成方面，快手运用深度神经网络，将美术绘制的纹理进行风格转化，通过该方法降低了美术素材的创建成本，同时提高了渲染的真实感。
该项目负责人表示，基于平台优质的直播和短视频生态，未来快手还将推出千人千面的虚拟人服务，为创作者提供广阔的发挥空间，也将面向C端用户提供更多丰富的玩法选择，欢迎对虚拟人感兴趣的组织联系快手。
评论