中手游x腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能

xiangqiankan

  7月28日,“游戏云科技峰会——前沿趋势科技 数字场景再加速”在上海召开,中手游《仙剑世界》发行总经理林炳聪受邀出席大会并发表“AIGC在开放世界游戏的应用”演讲。同天会后,与会嘉宾共同品鉴了由腾讯云和Intel联合主办的“文化之根 传承之魂—仙剑世界沉浸式闭门晚宴”,晚宴充分结合中手游《仙剑世界》所包含的御剑、书法、古乐等仙侠国风元素,以四大亮点令与会嘉宾共同体验了一场独特的饕餮盛宴。

中手游x腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能 第1张

  以下为演讲原文:

  各位伙伴大家好,我今天分享的主题是《AIGC在开放世界游戏的应用》。现在AI的发展非常迅猛,各种各样的新技术层出不穷,而我是发行出身,所以今天主要分享的内容,还是以《仙剑世界》为案例,探讨游戏发行如何应用AI技术,来提高发行和产品的效能和表现。

中手游x腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能 第2张

  AIGC在行业内应用最成熟和广泛的应该是AI绘画,众所周知,AICG支持AI辅助绘画、图生图、文生图三种方式,这3种方式都对我们的业务有非常大的帮助。

  这里展示的是我们使用AI辅助绘画的2个小案例。

中手游x腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能 第3张

  第一个案例里面,我们利用了ControlNet、Openpese提取动作模型,结合预先训练的龙葵Lora实验模型,可以快速生成想要的创意图片。

  第二个案例,就是比较常规的应用。AI可以辅助细化线稿、辅助上色,我们的部分美宣图,利用这项技术可以快速生成质量较高的作品。

  当然,现在的AI绘画还没法一次过就能得到我们想要的图片,大部分生成的结果都会存在细节瑕疵,所以需要原画挑选多张合适的图片,去拼装出最后的成果图。但即使如此,我们原画的产能也得到了成倍的提升,且只需要对一个初级原画师做基础培训,就能产出中上水平的原画作品,通过AI辅助绘画,目前原画成本降低了约50%。

  上面的两个案例主要是发行方面的应用,相对来说风格和品质的边界比较宽。在研发方面,因为设计和品质都有统一标准,所以主要是利用AI的批量生产能力来提供创意方向。

  比如这里的两个案例,我们用批量出图来生成大量的脸部设计和角色形象设计,找到合适的方向再由原画师去做具体的原画设定,从而节省了不少创意和试错成本,加快研发效率。

  目前,我们应用比较多的还是Lora和Midjourney这两个模型。其实AI绘画最大的困难点还是如何训练合适画风的模型。现在国漫、二次元风格素材比较多,所以在社区衍生物料,比如表情包、同人图等应用比较广,也可以用AI绘画做一些营销话题活动。

  像风格化的画风,就会受原始素材量的影响,我们不得不用多种风格混合的方式,再把AI产出的图喂回去,来慢慢训练出合适的模型。比如右边的案例,得到这个模型之后,就可以应用到游戏中做剧情风格插画,再搭配人手对插画做切片处理,还能快速制作2D Live动画。经过实践,现在3个人花两周就能做一条1分钟的片子,作为过场动画应用到项目里,可以有效提高剧情沉浸感。

  在3D领域,现在已经能够有局部应用落地。这个案例里面,我们就是先用Midjourney生成面部原画,再通过AI生成面部模型,最后对成品做部分调整即可。这项技术主要还是应用在NPC制作上,能够节省一部分的模型成本。

中手游x腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能 第4张

  当然,我们也在研究AI直接生成3D模型的技术,只是目前的研究成果,生成的模型精度都还达不到要求,这里就不做演示了。

  AI还有很多能够帮助我们提升游戏体验的应用。比如AI捏脸,原理就是通过原画提取面部模型参数,再自动生成五官,文字捏脸则是应用了文生图,再图生3D的结合来实现。AI捏脸可以帮助玩家快速生成想要的角色形象,提高玩家的个性化表达。

  其次是AI语音,现在智能AI已经能够实现用预录制的声音来训练配音音色,输入文字就可以自动生成配音。这项技术能够批量应用在NPC对话和支线剧情中,从而提升整体游玩感受。后续我们还在研究如何应用AI生成方言配音,对于游戏的区域文化属性会有更大的提升。

  另一项技术则是AI生成面部表情,AI可以识别语音内容来生成面部微表情和口型,结合AI语音,未来我们只需要输入一段文字,就可以自动完成NPC的剧情表演。

  最后是NPC-AI,我们设计了一套基于事件驱动的AI决策框架,框架以行为树为底层结构,嵌入分层状态机、GOAP、HTN、Suspend行为队列等多种决策算法,可以快速生成NPC行为,在保证运行时性能的同时,让NPC行为表现更多样,从而让游戏世界的社会生态更加真实。

  我们也将ChatGPT应用到游戏中。在《仙剑世界》里面,我们把ChatGPT接入到主角身边的吉祥物“圆满”身上,玩家可以通过文字或者语音,跟圆满实时对话,充当解闷、向导的作用。且还能通过圆满来执行主角行为,比如跟圆满说“把我传送到杭州城”,就会自动将主角传送到对应的传送点。

中手游x腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能 第5张

  在其他NPC身上,则是会存储玩家跟NPC的对话数据,从而影响到NPC的行为,玩家可以通过跟NPC互动获得更多的交互乐趣。

  其他还有一些我们正在研究、或者跟合作伙伴一起摸索的AI应用方向。

  比如AI生成3D动作,通过读取动画片段提取3D动作数据,快速生成模型动作,能够节省不少研发动作成本;

  其次是王者荣耀已经应用的,通过识别游戏内容信息,获取游戏标签和高光时刻,可以自动生成精彩瞬间、高光集锦,这项技术应用于社区可有效提高用户分享频率,促进社区活跃和内容生产。

  这项是通过AI训练贴图、材质参数模型,现在实景扫描生成3D模型的技术已经非常成熟,将两项技术结合,未来我们可以快速的生成符合项目风格的模型组件,且能够支持生成不同面数规格,大大降低研发成本。

  最后是场景识别,通过提取场景参数,通过图生3D、文生图转3D的方式,快速生成家园布局。随着这项技术的深度研究,我们希望未来可以通过AI来自动生成游戏地编,极大提高研发产能。

  以上是《仙剑世界》基于AIGC与游戏业务结合的应用和探索,我们相信随着技术的发展,AI将会对行业带来极大的冲击,作为游戏发行方,我们也期待越来越多的新技术面世,通过科技应用来推动行业发展。