50倍效率做CG 这家公司能让“阿凡达”变日更番剧
扫描二维码
随时随地手机看文章
在这家公司位于上海虹桥的拍摄影棚内,四周布满了光学捕捉摄像头,身穿贴着光学标记点的动捕服和动捕头盔的演员正按照导演设置的情节做着夸张的动作和表情。
与此同时,演员们的表演数据实时传入魔珐科技自研的软件中。完成肢体、手指动作、表情和眼神捕捉只是完成动画制作的第一步。考虑到虚拟角色和演员的身体、脸型比例、拓扑结构等等方面的差异,接下来系统要自动完成表情和眼神重定向的步骤。
这时候,导演可以从显示器观看虚拟角色的动画效果,如果觉得不满意,就会喊 cut 让演员重拍。拍摄完成后,动画师会针对原始动画进行精修和 CG 特效等后期制作,最终输出由真人演员映射的虚拟角色的动画视频。
这是魔珐科技的 AI 表演动画制作流程。自去年 10 月获得数千万人民币天使轮融资后,今年 6 月,魔珐科技又获得数亿人民币 A 轮融资。投资方来自红杉资本、晨兴资本、头头是道等,华兴资本担任独家财务顾问。从泛娱乐内容行业切入,魔珐科技创始人柴金祥称,过去一年已经在影视动画和游戏内容制作实现了 0 到 1 的突破。
拓展业务维度是接下来的目标之一。柴金祥称,团队希望今年在虚拟 IP 线上直播、短视频,线下互动上做出「标杆案例」,下一步的业务方向是打造应用于教育、服务等行业的人工智能虚拟助手。
50 倍效率的 CG 怎么做?
喜爱好莱坞大片的影迷不难理解动作捕捉。《阿丽塔》就是通过对扮演者罗莎·萨拉扎尔的动作捕捉后进行 CG 制作的电影角色,而这里的「动作概念」更为宽泛,同时包括肢体动作,手势,面部表情和眼神。
传统制作一部动画,需要分为手绘、建模、绑定、分镜、动画、灯光特效、后期剪辑几大部分。据柴金祥称,「一位高级的动画师一天能够生产一秒钟高质量 3D 动画。」动捕技术的出现极大地解放了动画师的双手。
从 1990 年,《全面回忆》首次引入动捕技术至今,动捕技术已经发展了近三十年,虽然有《阿凡达》、《复仇者联盟》等等使用动捕技术的巅峰之作出现,但是高难度和高成本也成为此项技术广泛应用于动画制作的门槛。
国外不乏优秀的光学动捕方案公司。深耕在肢体和手势捕捉的英国动捕公司 Vicon 就是其中一家,Vicon 不同程度上承担了超过三十部好莱坞大片,包括《阿凡达》、《驯龙高手 2》等等。据柴金祥称,好莱坞大片会选取不同的单点技术公司(分别从事肢体和手势,表情,眼神)做表演捕捉,然后拼凑在一起,再用人力精修。无可挑剔的视觉效果和巨大的制作成本是成正比的。
如何用技术解放「生产力」是柴金祥一开始就思考的问题。2000 年柴金祥博士攻读卡内基梅隆大学计算机学院人工智能和机器人专业。公司成立一年多以来,魔珐科技研发出了集合肢体、手势,表情和眼神捕捉以及运动,表情和眼神重定向六个技术的 AI 表演动画系统。虽然公司成立时间不长,但是柴金祥表示,这是自己和带领的 15 个博士生在运动捕捉和人工智能动画领域将近二十年的积累成果。
不过,魔珐科技没有走「技术输出」路线,而是为 B 端客户制作和生产三维动画「成品」。柴金祥透露这样做的原因有两个:一是动捕技术对于 B 端客户来说操作难度大;二是传统动画制作依然是劳动密集型产业,行业普遍生产效率低,质量参差不齐,在他看来售卖硬、软件技术对行业变革不大。
「如果谈竞争对手的话,那就是劳动密集型的传统动画制作外包市场。」柴金祥说道,在 AI 表演动画加持下,动画师只需要承担真人演员做不了的特效画面,和最终的动画精修,对比传统动画制作,制作效率能达到 50-60 倍的提升。
数据显示,2017 年全球电子游戏消费达到 7495 亿元,全球付费玩家已破 10 亿;2017 年仅中国的动漫产业市场规模就已经达到了 1518.1 亿元。
尤其是国产漫画领域,虽然技术越来越成熟,但是漫长的制作周期无法满足周更,甚至日更的市场需求。柴金祥在游戏和影视动画中看到了潜力和机会,「我们的打法基本上是从最头部的客户开始做,然后往下延展。」柴金祥透露,团队今年会替某头部影视动画公司制作一部 15 集的番剧。
技术会反哺内容。「很多内容行业从业者认为,无所谓当前的技术有多差,内容是能先做出来的。实际上,技术至少能保证内容出来的体验不低于某个阈值。」柴金祥称,「等我们将制作成本降下来,内容行业的人才愿意投入更多成本构思(动画)情节。」
虚拟 IP 的市场有多大?
A 轮融资后,柴金祥表示会加速团队建设和业务扩展。团队目前积极探索的领域包括虚拟形象直播、短视频,以及虚拟形象线下互动,涵盖 3D 卡通形象,二次元虚拟偶像,名人 IP 等等。据魔珐科技介绍,如果客户对直播精度不高,魔珐科技提供消费级产品,实现演员不用穿戴动捕服和头盔,仅仅通过摄像头就能驱动 3D 卡通角色进行直播。
IP 的市场有多大?拿二次元虚拟偶像为例,自从日本虚拟偶像初音未来诞生以来,已经在全球俘获超过 6 亿粉丝,2017 年,初音未来在上海的演唱会票价最高达到了 1480 元。这背后是快速增长的二次元用户群体,以及虚拟偶像延展到线下活动、短视频、周边、品牌合作等方面的巨大潜力。
而在探索虚拟形象直播的业务上,魔珐科技也希望从中游内容制作,走向上游 IP 开发和策划。柴金祥表示,因为影视动画和游戏的制作周期比较长,魔珐科技只专注于内容制作。相比之下,直播和短视频的业务链条短,魔珐科技会根据 B 端客户要求策划或者合作策划 IP。这也意味着,魔珐科技的商业化路径从单一的收取内容制作服务费,扩展到与合作伙伴 IP 分成。
对于将技术落地在哪个赛道,柴金祥有自己的一套方法论。他表示会首先判断技术实现的难易程度,如果满足了技术上是可行的。另外一个前提是,技术落地后能否实现规模化。「技术是藏在后面的,等到有一天大家没有看到背后的技术,只看到前面产品的时候,我认为这时作为一家技术公司,就比较成功了。」
当前,魔珐科技也在不断丰富自身的底层技术库,除了全栈式 AI 表演动画系统,魔珐科技也自研了视觉交互系统,能实现人脸识别、表情识别跟踪、眼神追踪,接下来将会自研或者与别人合作开发语音交互系统,实现自然语言理解。依托于此,打造垂直行业的虚拟智能助手也在魔珐科技的未来规划中。不过,柴金祥坦然会从虚拟形象直播,线下互动等一类「弱交互」、「短链条」的赛道探索出发,同时将经验复用于其他赛道业务。
据魔珐团队透露,今年在影视制作和游戏方面陆陆续续会有合作消息出来,甚至有内容上线。对于前景广阔的泛娱乐内容市场来说,0 到 1 的成绩依然是起步阶段。
「现在想制作『翻跟头』动作,还得需要演员表演。随着表演数据越来越多,数据能直接合成我需要的动画内容,就像从技能库中抽取一个技能一样,也许以后就不需要演员表演了。」柴金祥说道,「说到底还是一个数据的时代。」魔珐科技未来想打造一个支撑虚拟世界内容制作(影视、游戏、广告等等)生态的平台,除了将表演动画智能化、数据化,制作流程管理上的数据,也可以被标准化,赋能整个行业。