QbitAI量子位

文章数:1868 被阅读:22728782

账号入驻

漫画汉化组,不用手动抹掉原文了:开源AI一键擦除,还能修复背景

2019-08-22
    阅读数:
栗子 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

 来自《弹丸论破》

漫画汉化组,和动画字幕组,表面看都是翻译,可工作还是很不一样的。

比如,日文动画生肉一般没有加字幕,而漫画原本就充满了文字。

所以,漫画的汉化组,要先把原文抹掉,才能贴上中文。

需要抹掉的,不只气泡里的对话,还有背景里的旁白,以及字体硕大雄健的拟声词。

这样巨大的工作量,还是交给AI吧,只要一键:

满篇的文字都消失了,人类完全没有帮忙。

AI的名字叫SickZil-Machine,是一群韩国小伙伴开发的,已经开源。

不光字去掉了,背景也修补了:

有了它,汉化组再也不用大规模手动擦除了。

面对此情此景,人类表示相见恨晚:

那么,韩国少年们是怎样孕育出这只AI的?

一步两步

团队说,这是一个完全自动消除漫画文字的AI;但如果人类需要,也可以手动指定消除某一部分文字。

至于是如何擦掉文字,AI由两个机器学习模型组成

一个叫SegNet,负责把需要抹掉的文字部分,分割出来;

一个叫ComplNet,负责把抹掉之后露出的背景补全。

抠出文字的SegNet,借鉴了前辈U-Net图像分割技术:

U-Net结构像个U,从全卷积网络 (FCN) 改进而来。

分割是用成对数据训练的。这里的成对数据,就是漫画原图,加上文字部分的mask。

只用了285对数据。

抠出文字之后,就该填补背景的ComplNet上场了。它是借鉴了前辈DeepFillv2图像修复算法:

DeepFillv2来自UIUC和Adobe,擦除图像的任意部位,AI都能修补完整。

比如,抹掉一盏路灯,AI便会把路灯背后的建筑物补好。

除此之外,还能按自己的意志修改图片:

把人类的下巴擦掉,再描个短一点的下巴,AI就会给你一张不是马脸的人像了。

当然,漫画未必需要这样高度定制,脑补背景就够。

团队用了31,497张图来训练,其中11,464张是有文字的。

最终,成果斐然:

不过,也不一定要全靠AI,人类可以手动选择要 (或不要) 消除的部分。

先让屏幕显示出AI生成的mask (红色) 。如果发现不该变红的部分红了,就手动把这一部分从mask里去掉,这样AI就不会把它消除了。

比如上面,妹子的脸旁边,没有字的地方红了一大块。那么,把这一部分红色框起来扔掉,就好了。

你也试试吧

其实,这个好东西也不一定是汉化组才用得到。

没事做的时候,把漫画原本的台词抹掉,练习填词,也是很健康的活动哟。

比如到了这种时候,人类会说些什么呢:

来自山下智博

额,哪里健康了?

传送门:
https://github.com/KUR-creative/SickZil-Machine

U-Net传送门:
https://arxiv.org/abs/1505.04597

Deepfillv2传送门:
http://jiahuiyu.com/deepfill2/

作者系网易新闻·网易号“各有态度”签约作者


活动推荐 | 千份技术实战PPT限时免费领

MPD技术管理者工作坊将于9月21-22日深圳开启。来自Google、AWS、阿里、字节跳动等企业的24位一线技术专家将面对面传授实战经验,现场进行沙盘演练,每议题分享长达3小时,赋能核心骨干、管理层,实现理论落地学以致用。限时领取1000份技术干货PPT,扫码参与!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !




最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved