本文为 雷锋字幕组 编译的技术博客,原标题Creating Intricate Art with Neural Style Transfer,作者为Kalai Ramea。
翻译 | 陈俊雅 校正 | 凡江
自从
Gatys
宣布了神经作风迁移算法,我们见证了海量的图片摇身一变成了
艺术品
。
算法用了一个前馈网络把给定图片的作风输出网络。我们还看到了超凶猛的“ 非艺术气质的作风迁移算法 ”,“非艺术画”或许日常用品都可以铺开来构成作风图片来发明艺术。后来这个范畴有了停顿,由 Johnson等人 开展出了一个疾速作风迁移办法。这个办法就为手机使用市场铺平了路途,其中一个著名的就是 Prisma ,用户可以在几秒内把手机拍摄的照片打形成艺术作品。
但是,应用这个算法生成的大局部艺术品次要内容是来自于内容图片。
这篇文章引见了一种新颖的方式:以轮廓剪影为内容,以涂鸦作风来消费(设计)复杂艺术。
三大最盛行的 AI 文章
-
从感知器到深度神经网络
-
用来解微分方程的神经网络
-
把你的树莓派打形成私家Google Home
繁复画作思想的来源
我是一个手绘“ 禅绕画 ”艺术家的超级粉丝。这种艺术品把复杂的图案或许涂鸦镶嵌进长方形或任何其他外形,看起来繁复而优美。
手绘禅绕画
它们最近用于中年少男少女的涂色绘本。可以想见,绘制这类艺术品需求很好的耐烦。
缺乏耐烦的那种人(包括我)依然希望可以绘制一些复杂的艺术大作,那么我们就需求借助深度学习来解救本人尚未泯灭的童心了。
复杂作风迁移的框架
这个框架是在Gatys的作风迁移算法为根底做一些小改动。我们的做法是,内容图片是一张剪影,作风图片可以是任何图案(从复杂的彩色涂鸦到更复杂的颜色镶嵌)。这段代码包括了转换图案和创立基于内容图片的掩模,它们最终都会被用到生成图案中。
这个使用的权重是来源于预训练网络(VGGNET)。后面的特征层视为图片作风效劳的,前面的特征层视为内容图片效劳的。Gram阵度量了作风损失和内容损失,每次迭代需求极小化这个结合损失。
复杂艺术的神经作风迁移框架
生成了交融的图片当前应用掩模迁移并保管为输入。这个代码用以tensorflow为后端的keras编写的。 详细代码可以点击这里的Github链接检查 。
依照机器学习的实践使用的传统,算法一开端放在一只猫的剪影上停止了测试。
由猫剪影生成的复杂艺术品
不算太差吧。这幅画的作风来自于一组复杂的涂鸦堆积在一同。
我们来尝试一下更复杂的颜色图案作为作风输出吧!这些大约需求100到250次迭代。假如迭代次数不够多,输入图片就会还留有一局部的剪影黑底。
输出作风(左)与生成的艺术品(右)
我们把给定的几何图案作为作风输出,就生成了极端风趣的,黑色玻璃效果的艺术品。
几何图案艺术品作为作风(左)与生成的艺术品(右)
这个代码还可以选择指定背景图片或背风光彩。
由文字剪影生成的艺术品
图案曾经用光了?拍一张外婆被子的照片吧!
被子图案(左)与Darth Vader被子艺术(右)
如今Darth Vader和你外婆有的好聊啦~
为什么用剪影
为什么我们偏要来生成剪影轮廓?不能直接从已有的图案下面抠图么?或许就用白噪声来生成一种新的图案然后抠图安就任何图形上不好么?为什么偏偏想不开要用剪影呢?
把剪影用作内容图片当然有它的益处。以楼下三个生成的艺术作品为例。(X) 就是从原始图案直接抠图到舞者外形里的。(Y)是由白乐音加到内容图片上生成图案,然后抠图到舞者外形上,构成了最初的图片。(Z)是把剪影作为内容然后用掩模迁移来剪出最初的图片的。
后面两个图片(X)和(Y),我们看到图案(不论是不是生成的)都不能填充溢整个舞者。(Y)我们虽然有了新的图案,但和外形配不起来。但是(Z)看起来图案放在这个图形里宛如天生般的合适。
沿着边边卡准的图案(左)和沿着边边的被子针脚(右)。
用被子图案生成的艺术品(见上方的Darth Vader)有着沿着边边的针脚,就仿佛布特别剪切好做出来的!用白噪声和内容图片生成图案或许直接从图案上剪切上去的时分就不会发生这样的情形。
另外,剪影不一定要全部都是黑色的。其实各种颜色就像种子(生成随机数的种子)一样可以生成不同品种的艺术品。我们想要把哪种颜色作为主色来选择剪影颜色(留意:黑色就像一个分界颜色——它是中性的)。
由同一作风生成的不同剪影的艺术品
使用
-
任何图案设计(例如:logo, 符号, 海报)
-
客户服装设计(有本人特性的或许印有本人喜欢的名言的T恤,或许设计一件笼统款的衣服)
-
印刷设计(就把图案塞到文字轮廓里)
-
设计涂色绘本
留意
本项任务原为 Self-Organizing Conference on Machine Learning, 2017 的海报。
参考文为数亿中文用户免费提供海量、全面、及时的百科信息,并通过全新的维基平台不断改善用户对信息的创作、获取和共享方式。献
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. A Neural Algorithm of Artistic Style. 2015. https://arxiv.org/abs/1508.06576
Roman Novak and Yaroslav Nikulin. Improving the Neural Algorithm of Artistic Style. 2016. https://arxiv.org/abs/1605.04603
Some of the code is developed based on Somshubra Majumdar’s implementation of neural style transfer: https://github.com/titu1994/Neural-Style-Transfer
Geometric patterns are obtained from artist Rebecca Blair: http://rebeccablairart.tumblr.com/
道谢
本项任务的完成离不开 Palo Alto Research Center 为我们提供的GPU,和 PARC研讨员为我们提供珍贵的意见。
博客旧址 https://becominghuman.ai/creating-intricate-art-with-neural-style-transfer-e5fee5f89481
更多文章,关注雷锋网,添加
雷锋字幕组
微信号(leiphonefansub)为好友
(雷锋网雷锋网
(大众号:雷锋网)
)
备注「我要参加」,To be a AI Volunteer !
。