凯迪微信公众号
扫描二维码关注
发现信息价值

微信扫一扫
分享此帖文

发帖人:
汪元
 |  只看此人
   楼主
收藏
收藏成功
添加
添加标签来管理你的收藏吧!
| 刷新 | 字体缩小 | 字体变大
[转帖]我把石原里美的脸,合成到日本小短片儿里了
1423 次点击
1 个回复
汪元 于 2018/2/12 17:16:08 发布在 凯迪社区 > 影视评论
    请叫我

    制片师

    不知道差友们还记不记得两个月前 Reddit 上的科技界大事儿。。。

    有个 id 叫 deepfakes 的神人,用机器学习框架写了一套工具,把女星的脸接到了某些不可描述的影片中。

    

    和一般意义上的 P 图不同,这个方法是通过搭建神经网络来学习人脸,使替换以后的脸可以生动地模仿原来的表情,以假乱真。

    差评君这两天闲来无事,逛 Reddit 的时候发现有了个以 deepfakes 命名的板块,里面一堆人在讨论技术的同时还在贴着不可描述的内容,一片欣( hei )欣( hei )向( hei )荣,学术氛围浓厚。。。

    还有人分享大量训练样本

    

    差评君觉得有些奇怪,虽然说那位叫 deepfakes 的大神把工具开源了,但是以大部分网友的水平应该是不会用他的源码的,咋这个社区这么热闹了呢。。。

    直到我注意到了置顶帖,又有个 id 叫 deepfakeapp 的老哥在 deepfakes 的代码基础上做了一套傻瓜式工具,让没啥技术背景的人也能学会使用,这种分享精神实在是让我感动。。

    

    可惜的是虽然哥们儿精神可嘉,不过依然不够 geek --这套工具没有开源。

    不过一开始 deepfakes 的代码库也没有用任何协议,所以不开源也没啥毛病。

    

    那还等什么???我这就下载下来,抱着学术态度好好研究一下机器学习啊!!!

    按照开发者的教程,这套工具的环境需要 CUDA,这是核弹厂 Nvidia 出的用显卡来做机器学习的工具,我装了一下。( 至于为啥要用显卡来搞,你可以看看我的旧文章 )

    以及 Visual Studio,微软家的开发工具,功能极为强大,这个差评君因为平时会玩儿 Unity, 早就装过了。

    工具名叫 FakeApp,它目前有 3 个功能,我依次试了试。

    第一个功能是获取训练样本。

    

    获取方式是逐帧截取一个视频文件,然后再把里面的脸部截出来,做成一个个 256 × 256 像素的矩形。

    差评君征集了一下公司里小伙伴们的意见,选择了女神石原里美作为训练对象。

    我找到了一段采访视频,用 FakeApp 的素材制作工具成功获得了大量石原女神的脸部图片。

    

    在剔除了一些不含脸部,或者不清晰的图片以后,得到了两千多张脸部图片。

    好。。。可爱。。。

    

    然后,在网上随便找了一个不认识的日本妹子拍的视频,也做了差不多的操作,获得了另一组素材。

    

    差评君准备好了素材,开始使用第二个功能,训练。

    

    结果刚点下去没多久,这玩意儿报了个错。

    

    考虑到这是个人开发项目,稳定性很差也是情有可原的嘛,而且人家也没收钱。。。

    但是我不知道问题出在哪啊?!

    后来通过各种研究,发现有人和我碰到了一样的问题,最后开发者回答:因为执行训练时用的代码调用的是 CUDA 8.0( 最新的是 9.1,你特么研究这么先进的技术,环境能不能也用新的!?),而 CUDA 8.0 配套的 Visual Studio 插件最新的也只支持到 2015 版本,差评君用的是 2017,因此失败了。

    总而言之,就是环境配置的时候我没有按要求的版本搞!

    而且这朋友又没开源,我想改代码也没办法,只好老老实实地去搞定环境了。

    

    但是问题来了,微软作为一家在科技行业中的领先企业,为了推动新标准自然是义不容辞的,所以旧版的工具 VS 2015 在官网上肯定是没收啦,给我用新版本去啊混蛋!

    

    我看着文件夹里几千张石原小姐姐的微笑,正准备砸电脑的时候,在旁边偷窥我的世超给了我个 U 盘,里面静静的躺着 VS 2015 的镜像文件,他朝我露出了一个鼓励的微笑。。。

    果然还是你们程序员靠谱啊

    

    差评君卸载了电脑上的 VS 2017,装上了 2015,又重新装了遍 CUDA 8.0,打上了补丁,我可以说我上学的时候都没这么认真的钻研技术。。。

    随后,设置好了一些选项,例如训练素材和模型的路径,神经网路层数,节点数等等。。。

    项目代号:石原里美,启动!

    

    顺路还在工作群里装了个逼!

    

    一开始,效果很次,啥也看不出。。。

    

    工具运行时会出现两组不断变小的叫作 “ Loss ” 的属性,差评君猜这是素材组转化的时候体现损失率的参数,值越低越好。

    

    随着时间的推移,图像变得清晰以后,就能看见训练代码会在左边不知名妹子的脸型基础上,用石原妹子的脸型代替成右边的样子。

    

    这期间,电脑卡得一塌糊涂。。。

    

    我嫌它太慢了,抢过了 KK 装了 1080 Ti ,32G 内存的高配 PC,把环境全部搞定了以后开始了全速训练,目测大概是我 16G, 960 GTX 的小破电脑 5 倍速度,我把进程挂在那儿跑了 20 个小时。

    

    这个训练过程没有结束的时候,我只要按照自己的需求,掐掉训练就行。

    第二天,我从 KK 这里把训练好的模型拷贝了过来,开始了最后一步。

    转化素材。

    

    这一步我做了以后发现,原理其实没有我想象的那么牛逼。。。

    在我依次指定完训练好的模型和原视频的路径,设定好视频帧率以后,这个工具会逐帧分离视频,把人脸抽出来,然后从模型里找到数据替代像素,再嵌回去做成新的逐帧画面,最后把画面合成视频。

    然而,这个个人项目再次证明了它还有进步空间,最后一步合成的时候出错了,而且找不到原因。。。

    看着这 8 千多张合成好的视频帧,我快急死了。。。

    

    赶紧上 Reddit 的对应板块去研究一下,结果。。。

    

    没错,其实我比这些新闻网站都要先知道这个消息,因为我这两天一直混在这儿研究技术问题。。。

    

    最后我通过长时间搜索找到了个工具:FFMPEG,可以把逐帧的图片转换成视频,我配置好了命令行工具以后,一行命令就搞定了。。。

    

    ( 而且我知道这么搞视频肯定没声音,

    机智地顺便还从原视频里拉了个音轨 )

    我再用 FFMPEG 把音轨放了进去,看到静静地躺在那儿的 MP4 文件,我激动地仰天长叹。。。

    

    估计是我太专注了,这一放松,回头发现办公室里的人都来围着我来看视频了。

    看来他们也挺关心啊。。。

    

    可以看到,脸部边上还是有些瑕疵,但是这个表情已经很到位了有木有。。。

    

    而且音轨拉进去以后,说话的时候口型竟然对上了!

    

    不说了,这个技术前景无限,我去喝瓶营养快线冷静冷静。

    “ 从此看片不求人! ”

    来源:差评 chaping321

    
    
人工合成色情片流行后,几家互联网网站开始封禁

    从 2017 年 12 月份起,互联网上开始流行一种用新的人工智能技术合成的色情片,将公众人物、明星的脸“贴”在色情片主演脸上,效果逼真。一批女明星的脸都被用作了素材,包括《神奇女侠》主演盖尔·加朵(Gal Gadot)、斯嘉丽·约翰逊、艾玛·沃森、麦茜·威廉姆斯等。

    最初这种合成色情片就起源于在线论坛 Reddit,一位 ID 是 deepfakes 的用户将盖尔·加朵的脸用作素材,合成了视频放在了帖子上。很多用户开始关注到该视频,用户 deepfakes 还专门建了个 Reddit 主题,吸引了 9 万用户关注。

    更多类似视频的出现,推动力来自于 Reddit 用户 deepfakeapp 开发的一款名为 FakeApp 的电脑软件,可以更快速、便捷地制作这类合成视频。

    本质上,这类合成视频在技术层面上没有特别的地方。对人脸特征进行定位,再将另外一张人脸贴合上去,如果找来的素材质量较高,合成效果很可能不错。类似的合成技术,和 PS、阅后即焚 Snapchat、FaceU、美图秀秀等差别其实不是太大,但合成的时间、效果可能都不会很理想。

    但科技公司、科研机构近几年开发的人工智能技术,将这类合成视频的制作成本降到更低了,效果也更好了。

    这次事件中,最主要的可能是 Google 在 2015 年开源的机器学习工具 TensorFlow。用户 deepfakes 和 deepfakeapp 开发的 FakeApp 都用到了 TensorFlow。素材方面,用户通过网络搜索、社交网站的照片都可以找到,确实有不少人在名人的 Instagram 上找素材。

    用户 deepfakeapp 称,他开发 FakeApp 的目的是降低门槛,让任何没有技术背景、编程经验的人都可以使用这类合成视频的技术。有些用户用 5 小时左右就能做一个类似的视频出来。

    例如,也有人用 FakeApp 这款工具恶搞了尼古拉斯·凯奇,让他成了《夺宝奇兵》主角印第安纳·琼斯、007 等。像华盛顿大学也有类似的研究,通过抓取视频,就可以编造出美国前总统奥巴马在说一段他从未说过的话,效果都挺逼真。

    

    尼古拉斯·凯奇的脸被用作了素材

    

    左边是奥巴马的视频素材,右边是合成的

    但最近 1 周,包括社交网站 Twitter、在线论坛 Reddit、gif 搜索引擎 Gfycat 以及聊天工具 Discord 等开始封禁这些合成的色情片。Reddit 调整了网站上的内容条款,禁止青少年非自愿型色情、有性暗示的内容出现,deepfakes 主题在这周三也被封禁。

    即便是色情网站也加入了封禁这类合成视频的行列。最大的色情网站 Pornhub 称,这种类型的色情片不是自愿,他们会禁止这部分的内容放在网站上。Pornhub 有相当多的这类视频是用户上传上去的。Pornhub 被看作是色情网站里引入新技术最快速的网站之一。

    但彻底封禁这部分合成的色情视频可能没多少可行性。用户将这类视频制作成 gif 图片,托放在 Gfycat、imgur 等平台上,Twitter、Reddit 等平台删除没法根绝这类内容的传播。事实上,即便这些互联网公司说要封禁,但还有不少内容留存。在技术上识别这类内容本身也相当难。

    来源:好奇心日报
分享: 分享到新浪微博 分享到腾讯微博 分享给朋友
凯迪社区APP下载

优秀帖文推荐

    回复 | 引用 | 举报
    回帖人: | 只看此人 | 不看此人 | 2018/2/13 23:12:33    跟帖回复:
       沙发
    有很想去的地方吗?有什么很想要的东西吗?有什么希望和理想吗?请参加我们睡觉集团,进行做梦工作……~
    跳转论坛至:
    快速回复:[转帖]我把石原里美的脸,合成到日本小短片儿里了
    本站声明:本站BBS互动社区的文章由网友自行帖上,文责自负,对于网友的贴文本站均未主动予以提供、组织或修改;本站对网友所发布未经确证的商业宣传信息、广告信息、要约、要约邀请、承诺以及其他文字表述的真实性、准确性、合法性等不作任何担保和确认。因此本站对于网友发布的信息内容不承担任何责任,网友间的任何交易行为与本站无涉。任何网络媒体或传统媒体如需刊用转帖转载,必须注明来源及其原创作者。特此声明!

    【管理员特别提醒】 发布信息时请注意首先阅读 ( 琼B2-20060022 ):
    1.全国人大常委会关于维护互联网安全的决定2.凯迪网络BBS互动区用户注册及管理条例。谢谢!
    • 广告