肖像转素描:AI小素的前世今生

一. 小素的全名和家族箴言

前段时间,我做了个AI,叫小素,能够把肖像图片转成素描风格。受限于数据集,目前只是人物肖像的转换效果还能看,其余的如风景建筑、花鸟虫鱼、风花雪月之类的图片,也可以转换,只是效果嘛…只能说一切皆有可能!

下面是小素的几张人物肖像的转换效果:

在这里插入图片描述

这几张转换效果还是不错的。特别是以下几点值得赞赏:

  1. 最重要的:眼神的神韵被捕捉到并在素描图像中保留了下来(即顾城《一代人》中的黑色的眼睛里的那一抹光明,注意瞳孔和黑眼珠不是单纯的一团黑,而是有明暗过渡的)。
  2. 留白:中国化讲究留白,有种“空即是色”的感觉。小素在这方面做的很好,留下了大片的空白,但却不显空洞,原因是第三条。
  3. 细节保留的很到位,双眼皮、卧蚕、甚至眼睫毛都有所体现。可谓是寥寥数笔,尽显风情。
  4. 头发有层次、纹理、明暗的变化,甚至素描图像中变得更飘柔了。
  5. 线条粗细、浓淡得当,可以参看发梢、锁骨等部位。

说到这里,请允许我重新正式地介绍一下AI小素:

小素的全名是**素描AI家族的风暴降生素描一世、不彩者、无色之人、千面之素、留白之王、花里胡哨总结者、安达尔素人和先民的女王、草原上的卡丽素、打碎缤纷者以及素之母!**

家族箴言是Winter is coming, color is gone【凛冬将至,天下皆素】

因此,小素又被称为White Walker

二、小素的前世

其实远在做出小素之前,做图像转素描的想法就已经早早地存在了。cvpy.net上线之初,我就做了最简版的图像转素描功能。最简版有多简呢,除了读图只调用了一个函数,不能更简了吧。这唯一的一个发挥作用的函数就是OpenCV元老——厚德大佬threshold。厚德大佬的功法如下:

固定阈值分割:

  • type=cv.THRESH_BINARY模式下,设定阈值thresh,对于每个像素,如果小于阈值thresh,则将其值设为0,如果大于阈值thresh,则设为最大值maxval
  • type有四种不同的取值:
    • cv2.THRESH_BINARY
    • cv2.THRESH_BINARY_INV
    • cv2.THRESH_TRUNC
    • cv2.THRESH_TOZERO
    • cv2.THRESH_TOZERO_INV

没错,就是通过二值化实现类似的素描的效果。体验不太好的地方在于,每来一张图都需要手动调参,以寻求一个比较好的素描效果。由于原理简单,很多时候调参也未必能调出一个好的效果来。对于学习OpenCV同学来说,厚德大佬threshold存在的意义更大一些。毕竟他可以让人直观地看到threshold的函数效果,通过调参直观地感受不同参数的不同取值对于结果的影响。

下面是我随便调参的两张图,注意红框中的参数变化
在这里插入图片描述

这是调参结果还能看的图片,至于调参之后仍然不能看的,我就不展示了。毕竟“家丑不可外扬”。但是你可以自己去尝试制造属于自己的“家丑”…(感觉哪里怪怪的!)

三、小素的今生

不知道你是否看过本号的前面的一篇文章《一键智能抠图-原理与实现 | 可在线体验》,介绍了一种精细的自动化抠图模型U^2-Net(有群友称之为优方奈)。抠图效果放一张图示意一下:


模型结构如下,一看就知道为啥叫优方奈

笔者试过其抠图效果之后,不禁勾起了厚德大佬时代就埋下的素描化的思想萌芽。既然其抠图的效果这么好,那么能不能用它来做素描转换呢?

逻辑上好像没啥问题,那就试试吧。

最困难的问题是数据集哪里来?恰逢笔者前段时间刚看了一篇论文,叫《APDrawingGAN》。顾名思义,这篇文章使用GAN来做肖像素描化的。具体细节本文按下不表,有兴趣的可以去看论文和代码。笔者感兴趣的是,作者给出了包含将近500张图片的数据集。部分截图如下:


是的,你没看错,几乎每一个人都出现了好几次,不同之处在于可能加了稍微旋转之类的增强。

但是不得不说,虽然数据集数量少,但是素描的质量还是挺不错的。放大一张看看:

反正我这个没有艺术细菌的人觉得画的还挺不赖。

数据集有了,模型也有了,剩下的就是开炉炼丹了。

笔者调好真火火候,一点点投入药材,连续炼制了九天九夜,不彩者、无色之人小素一世出世!小素降生之时,天降异象,霎时间天昏地暗,飞沙走石,万物黯然【失色】

比如憧憬着七彩祥云的彩色女神紫霞仙子:
在这里插入图片描述
比如本来就很白的白石麻衣:

再比如下面这个谁(真不认识…):

再比如那个谁,到底是谁你来说吧。

看到这里你是想体验一把小素的的能力呢?还是想体验之后再开炉炼一波仙丹呢?

体验请到www.cvpy.net找到AI小素或者元老厚德体验小素的前世今生。

开炉炼丹我已准备好单方灵药,关注公众号【CVPy】,后台呼叫【小素小素】获取单方和灵药。
在这里插入图片描述

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页