怎么用英伟达使游戏画质有质感（看完英伟达AI和AnimeGAN2炫技）

不知道是否有人和笔者一样，曾经羡慕过神笔马良，倒不完全是因为这个人物正能量的一面，更多的是喜欢他的神笔。

直到后来意识到自己的手残，才发现即使自己有了神笔，估计也不会有太大的作用，而寓言故事里的马良，放在现在恐怕也是一个名震一方的太太（二次元圈子里对画师的尊称）。

但如今已经2021年了，这是一个科技的时代，技术正在改变整个世界，也在让越来越多对于特定人群而言的不可能，变为可能。

AI横扫二次元和三次元

11月22日，英伟达也在官网博客中宣布，之前曾经官方放出的AI绘画演示Demo，其背后的GauGAN AI已经升级到了第二代。用户只需要用几个文字，比如“沙滩上的日落（sunset at a beach）”等，就可以通过AI生成一张相对真实的照片。并且在照片生成之后，用户甚至还可以通过文字进行修图，调整图片中元素的构成。

“在农场旁边的湖”，由GauGAN2制作

这种通过文字描述作图的AI，对于很多人而言，显然是更加直接易上手的创作工具，但可惜的是，英伟达的GauGAN似乎并没有进行二次元或人物等方面的机器学习，目前该AI的适用范围还是以真实场景为主。

不过既然有类似于笔者这样的网友对二次元有直接的需求，就一定会有大佬在这一领域完成英伟达没有完成的工作。

在稍作了解后，笔者还发现了另一个与英伟达的GauGAN AI类似的GitHub项目“VQGAN-CLIP”，只不过不同于英伟达“文字生成照片”，且有着明显的限制，VQGAN-CLIP对文字的内容并没有过多的要求，生成的也不是照片，而更像油画，不过相对应的，在画面内容的精度上，VQGAN-CLIP也显得更加具有“艺术性”一点。

上图分别是笔者以“一个小男孩在圣诞夜打游戏（A boy playing video game in chrismas eve）”为关键词，在VQGAN-CLIP的Hugging Face页面，分别让AI“迭代”了200次（左）和500次（右图，500次也是在线服务器的迭代上限）的成果，其中500次的画面中，圣诞树、客厅的布置、电视、游戏等元素都已经基本成形。

而由于英伟达的GauGAN AI无法生成人物，同样的关键词在英伟达的Deno中只得到了一个虚无的太空的图片。

不过笔者尝试的这种在线生成的方式显然不够发挥出VQGAN-CLIP的全部实力，在项目的 GitHub界面，有用户分享了自己在本地使用该工具的成果，在除了机器性能AI没有限制的情况下，VQGAN-CLI所声称的画面效果自然要好很多。

不过对于很多人而言VQGAN-CLI的成果可能“太过艺术性”，就在英伟达发文的前两天，冲上了GitHub趋势榜的前列的一款名为“AnimeGAN2”的“二次元项目”，可能更符合普通用户的胃口。整个项目的效果，虽然一眼看上去与抖音上前段时间流行的动漫滤镜极为类似，但在质量和对复杂场景的处理上，AnimeGAN2肯定要高级得多。

并且在Twitter上一众博主带上相关话题发帖造势的影响下，整个项目的热度高居不下，项目的Hugging Face页面，排队的人数甚至一度超过了数千人。

守护姐夫的笑容，it’s so COOOOOOOOOOOL

上图便是AnimeGAN2在图片上的应用效果，目前该工具的Hugging Face页面，在图片的转化上一共预设了两种风格。

不过和VQGAN-CLI一样，笔者这种在线的尝试可能因为网站服务器等原因，无法完全发挥出该工具的效果，以下是图片来自“animegan2-pytorch”这个 GitHub项目。

从结果来看，AnimeGAN2已经可以达到很多微博、QQ空间中很多 “收费画二次元头像”的业务水平了。当然AnimeGAN2的应用还不仅仅局限在图片这种形式，在官方的GitHub页面，甚至还有AnimeGAN2 在视频上的尝试。

虽然就AnimeGAN2视频中的表现，我们很难说它已经将真人电影转化成了动漫电影，在一些空境中更多的是像一种调色奇怪的滤镜，但这只是二代，未来AnimeGAN的潜力难以预料。

生成对抗网络GAN

其实在今年年初，Gamelook曾报道过日本科技公司Preferred Networks（后文简称PFN）旗下的CryPko团队开发的一套“全自动生成二次元老婆”的AI作画技术，用户通过简单地调整参数，CryPko就可以生成立绘级的人物形象了。

无论是CryPko、 AnimeGAN还是英伟达的GauGAN，而从他们的后缀中，不难发现，这三者的核心之一就是生成对抗网络（GAN， Generative Adversarial Network）。

所谓GAN，该方法由伊恩·古德费洛等人于2014年提出，整个系统由一个生成器与一个判别器组成。生成器的目的是让生成的数据骗过判别器，而判别器则是找出生成器做的“假数据”。生成器和判别器二者在互相博弈中进行学习。

而在GAN的技术之上，英伟达和湖北工业大学的AnimeGAN的原作者都加入了更加复杂的系统，以实现语义识别、风格化等功能。

英伟达的GauGAN2 在单个模型中融合了分割映射、图像修复和“文本到图像（Text-to-Image）”，使其成为创建“真实”照片的强大工具。

而AnimeGAN则结合了结合了Neural Style Transfer和GAN，并且在AnimeGAN的第二个版本中，团队还使用了LN（layer normalization）而非IN（Instance normalization）来防止生成的图像中产生高频伪影。

AnimeGANv2生成器的网络结构 图片来源：GitHub

虽然对于非专业人士而言，这些技术都过于高深，即使GauGAN2和AnimeGAN都有着明显的缺点，但对于普通网友而言，基于这些技术的一系列工具，可依然比B站UP主经常“恰饭”的美术速成课程有用多了。

英伟达基于GauGAN的应用程序“NVIDIA Canvas”早在今年6月就已经正式上线免费公测，利用应用程序内的预设的数十种材料和风格，用户只需要绘制简单的线条，AI就会自动生成复杂的场景，甚至就连基本的光影效果都会随着用户的调整而改变，池塘中会有附近元素的倒影、在画面中加入雪花，整个场景就会来到冬季。

图片来源：英伟达官网

而AnimeGAN虽然目前没有商用，但从某些玩家的分享中，笔者却看到了该技术在游戏中运用的场景。

AnimeGAN这种偏写实的风格，在一开始就让Gamelook想起了《天外世界》《GTA》等游戏中的人物，就比如来自推特网友分享的下图，右边那张AnimeGAN生成的图片，至少在笔者看来，只需要简单的后期处理，就可以成为《GTA6》的封面了。

AI是元宇宙未来的重要组成

这些目前对于普通网友或专业内容创作者而言，作为提供娱乐以及辅助手段的AI，在游戏甚至是元宇宙的未来，必将大放异彩。

在不久之前GameLook就曾报道过，元宇宙概念的火爆引起了各大企业对于美术从业者的争抢，背后的原因也很简单，因为美术从业者在未来很长一段时间内将是虚拟世界的核心构造者之一。即使着眼现在，在游戏精品化的浪潮下，玩家对于游戏画面的要求就直接决定了优秀美工的不可替代性。

回答于2019年

但举个简单的例子，作为国内手游美术顶峰的网易，就有策划曾透露过公司美术单人每天工时内的价格一般在几百到两千，时至今日，这一支出只会更高。虽然GameLook曾多次强调，AI无法在美术等工种取代人类的地位，不过在美术人才供需不平衡，价格高昂的整个大背景下，AI作为人类的辅助就显得十分必要了。

就比如说场景原画，在GauGAN新版上线的这两天内，画师Andy Crooper就已经利用该工具做出了还不错的，带有寂静岭感觉的“照片”，即使现在这些图片还不能达到游戏场景原画的水平，但是Andy Crooper也为普通网友见识了这一工具在专业人士操作下的可塑性。

图片来源：Andy Crooper

至于AnimeGAN这种偏写实风格的AI，除了能够在技术成熟后，在美颜相机让网友付费，同时也能够被运用于动画产业，和某些日漫一样，1：1将现实中的场景还原出来。

不过在此基础之上，GameLook认为更适合的领域将是元宇宙里的虚拟化身，不同于现在各个游戏里的捏脸或者是Roblox的简单粗暴的虚拟形象，AnimeGAN所生成的人物形象在足够美好的同时又足够真实。

作为一种可能并不会和现实完全脱离的未来，这种在真实和美好之间把握了良好平衡的虚拟化身，或许要比清一色的俊男靓女更受玩家欢迎，毕竟在元宇宙所描述的虚拟和现实的界限被模糊的年代，落差太大的直接影响就是玩家丧失沉浸感。

更何况当人人都是吴彦祖的时候，就没有人满足只是吴彦祖。

图片来源：GitHub

虽然画面的创造性来源于画师的个人意志，美术作品中最具有价值的部分依然是其中融合的情绪和思想，但是人力资源必然是有一个上限的，在元宇宙这种大规模的建设中，伴随着美术需求的增长，成本同样也将高出天际，此时就是AI出马的时机了。

虽然AI无法解决一些根本性的问题，但至少对于专业人士而言会是个好帮手，只不过在AI的影响下，美术这一工种，必将对在技术和专业性上处于最底层的从业者，展开一次大淘汰。

,