深度学习：你行不行？|邵晓鹏专栏⑭

王语嫣教授终于靠武林秘笈这个大数据发表了多篇CNS，一路披荆斩棘获得了杰青资助，题目：“深度学习与计算成像之异构体系”。她人美，心里更美。很多人邀请她出入各种高端论坛，即使是疫情也挡不住她日益升高的人气。可是计算成像的元老级人物、大理研究院院长段元庆可不买她的账，每每看到语嫣教授的报道时，胸中总是发出“咕咕”的声音，像个蛤蟆。他很讨厌这个小丫头，一方面是王语嫣的论文很多，说得头头是道，却其实一篇都不实用；另一方面，他儿子段誉那么喜欢她，可是她却非常冷漠地对待段誉。这些事儿语嫣教授却从来都不放在心上，她只关心一个人：表哥慕容复。

最近慕容复的“还以彼身”之术在深度学习和大数据的支持下越来越厉害，甚至江湖上传说他已然超越了“不深度学习”的丐丏（miǎn）所所长乔峰，这让他觉得恢复大燕之事应该提到日程上了。可是，他心里也不踏实，尽管其“还以彼身”之术进步颇快，但是对数据的依赖却越来越严重，而且，当样本积累到一定程度后，他发现，再增加样本也基本上没什么提升，甚至停滞不前。当他看大佬段院长的眼神时，确实很怕。

他孤傲，不想跟别人讨论，学术会议只听不说，给人感觉很神秘。孤独的时候，他就会想起王语嫣，毕竟，她的样本库太丰富了，如果能迁移到他的库中，该有多好。乔峰也确实是他心中大患，这人论文不多，也不去评人才，可是却在航天、航空甚至手机领域里都在推广计算成像的应用，能不能打得过他，却心虚得紧。当然，丐丏所的几个长老也打着自己的小九九，尽管丐丏所为天下第一大所，计算成像各种技术可以说是四面开花，可是在评价指标上却很吃亏。深度学习这么热，本该去蹭蹭热度，多发论文，乔所长却似乎像个局外人，每次问起，他都说计算成像还是要在应用中才能发现问题，他这么做也都是为了丐丏所的发展。可是，丐丏所也需要人才啊，学科评估这方面吃亏还不够吗？

深度学习在计算成像中到底行不行呢？

源起

1、江南小镇

鲁镇大学的孔乙己教授在酒吧中一边喝着酒，一边用手蘸着水在桌子上写着，对旁边的众孩童道：“深度学习有CNN、DNN、RNN、GAN……其实呢，机器学习是实现人工智能的一种手段，而深度学习呢，是机器学习的分支。”酒保抢白了一句：“孔乙己，CNN、RNN、GAN不都属于DNN吗？”孔教授不悦，排出几文大钱，对酒保道：“再打一壶酒。”接着说：“深度学习遵循仿生学，源自神经元以及神经网络的研究，能够模仿人类神经网络传输和接收信号的方式，进而达到学习人类的思维方式之目的。”

人工智能、机器学习与深度学习旁边的一个小孩问道：“孔乙己，你说深度学习到底有几层网络？”这时，孔乙己面露不悦，说：“多乎哉，不多也！”

一个少年问他：“孔乙己，你的深度学习能提高成像分辨率吗？你的零样本深度学习专利为啥不卖XX公司了？”孔乙己脸色涨红，道：“他们给的钱太少……”

2、漠上星宿

星宿海大学的准聘副教授阿紫望着铁头阿丑游坦之发怔，这个家伙虽然丑，但小样本学习能力特别强，比起江湖上的那些大佬似乎一点都不弱，而且，他的学习迁移能力似乎已到了潜移默化的地步，纵使姊夫乔峰也未必能敌得过。想到这里，她恨恨的。编码热的时候，她选了一个热门的方向，一路上也发了很多一区论文。可是，学术这玩意跟时装界是一样的，都是在追求潮流。如今的潮流是深度学习，还有元宇宙。可是，元宇宙到底是个什么东西，师傅总是说不清楚，他的江湖地位似乎低了不少；问姊夫，他却不愿意说一个字。眼看着王语嫣的风头一浪高过一浪，心里愈发着急，毕竟星宿海大学非升即走的压力太大了，她忘不了大师兄摘星子悲惨离开的那一情景。

3、南疆大理

王语嫣自从在杭州的计算成像大会上遇到了慕容复之后，她就跟随着表哥一路讲学来到了大理。这一路上，她的表现确实不俗，她从母亲王夫人那里读的那些武林秘笈确实对她的样本训练起了很大的作用，毕竟，很少人有机会能接触到这些数据。有了这些数据，那就意味着占据了深度学习的制高点，毕竟这个深度学习是数据依赖型的，想到孔乙己教授在分会上做的题为“零样本深度学习之前途”报告，矜持的她也不禁噗嗤笑了出来。

此时的慕容复已然天下第一的样子，就连鸠摩智见了他也有些怵。在大理的那一场对决中，鸠摩智确实没占到什么便宜，当他使出小无相功时，王语嫣及时从她的样本库中检索出了应对之招，慕容复的“斗转星移”差点就点中了他的要穴。也就是这个时候，慕容复越发觉得他已离不开表妹，可是，“兴复大燕”的梦想使命也确实压得他喘不过气来，儿女情长、事业发展、江湖地位……各种拧巴的事情让他的人格分裂越来越严重。

当有一天，他无奈与段元庆教授交手时，却意外发现王语嫣的样本学习压根就用不上了，在强敌面前迁移能力几乎为0。这个老家伙虽然“深度不学习”，可是基本功实在很扎实，一眼就能洞穿语嫣表妹深度学习的命门所在，破坏边界条件，让他顿觉气息不畅，似要发疯，差点自刎。“我讨厌这帮深度不学习的家伙！”每每他人格分裂时，他都会恨恨地甩出一句。

元学习、少样本学习和零样本学习

4、西北大夏

今年夏天热透了，西夏大学校园中的狗即使趴在空调房里，依然还吐着舌头。童姥院士正带着一个既丑又傻不拉几的博士生虚竹在攻克计算成像之基础理论，这小子虽然又丑又笨，却是名门之后，父亲是少林的玄慈大师，母亲却是“四大恶人”行二的叶二娘，只是这事只有慕容复的爹慕容博知道。

这小子虽然笨，却肯下功夫，把量子力学都啃下来了，最近在钻研计算成像中的信息传递问题。当他在杭州计算成像大会上看到热度飙到天上的深度学习时，看到貌美的王语嫣教授时，也未动心。他的心里只有梦姑，对，就是梦姑，给了他在博士学习路上的满满动力。每每段誉与他说深度学习时，他只会说：来，我们喝酒！

5、东京汴梁

汴京城热闹非凡，不仅GDP全球第一，而且科技方面也在引领。蔡太师大寿之日，有部长提议搞个“科技大比武”活动，选题就是“水下之远距离光学成像”，太师应允。于是，这几天各路大神齐聚东京城。与乔峰持不同意见者全冠清三级教授，新近从丐丏研究所加盟到汴京大学，与高太尉是球友，推杯换盏之际就拿下这个项目。他最近发了几篇深度学习的顶级会议论文，得意至极，跟随者众。

不服的人是有的，慕容复就不服，他本来想借着这个项目能够圆梦——梦回大燕。语嫣安慰：我已有杰青之名，到哪里也能混口饭吃。然复心忖：妇人之见！有人问及乔峰时，他却只谈技术:这事难度太大了，不从理论上入手，单纯靠深度学习肯定不行。你学了拍虾，拿去拍鱼肯定不行；再来一个鲎（hòu），肯定立马蒙圈。现在的深度学习在样本依赖性上和学习迁移能力等方面还差得远。深度学习是很好的一个工具，扬长避短，发挥它的作用，那是最好不过的。凡事都有个边界条件，逾了界，就不成立了。当问起江湖之事，乔峰却闭口不言。

深度学习的不足之处

兴盛

1、小试牛刀

当散射成像如火如荼，大家都在研究光学记忆效应怎么拓展、怎么实现宽光谱成像时，王语嫣发了一篇推文“深度学习轻易透视毛玻璃，穿云透雾已不是梦想”，汴京城有钱人家把厕所的毛玻璃都换掉了，连走路都怕被别人透视了。吃瓜群众都普遍认为深度学习太可怕了！

紧接着，王语嫣又发了一篇“深度学习之超视距水下成像”一文，让她声名鹊起。段誉教授发文要突破100倍光学厚度成像这样的难题，语嫣教授的深度学习利剑一挥，便不是什么问题了，大理学院愿意高薪聘请王语嫣教授做大理杰出领军学者，不出几年，就是大理国的院士了。慕容复可不喜欢这个大理学院校董的公子，除了喜欢女孩子之外，对江山一点都不感兴趣！人啊，怎么活得这么拧巴！哎，我堂堂慕容复——鲜卑大燕之皇孙，却失去了江山！什么大理国院士？每年的会费可不少！慕容复当然知道王语嫣的这些小trick，其实她做的散射成像学都是1、2、3、4这些阿拉伯数字，再复杂一点的就是字母，再难一点的就是加点手写体，要是换成了汉字或者别的之类的，压根什么都成不出来。他嘲笑那些换厕所毛玻璃的脑残患者，别说透视，里面到底是男是女都分不清楚，有换毛玻璃的钱还不如买点脑残片吃吃。

深度学习用于计算成像

2、一鸣惊人

吐蕃明王鸠摩智绝对是计算成像界之奇才，身为吐蕃研究院院长的他不仅聪明好学，而且领悟能力极强。但他有个毛病，虽为僧人，却争强好斗，从不甘人下。本来呢，他的无相编码成像技术已经登峰造极，可是他却觊觎其他学派的技术，通过安插留学生偷学、窃取文件资料，甚至抢夺器材等手段，把能学的都学了，更过分的是他竟然打主意抢语嫣教授，逼迫她交出深度学习的样本。

最让明王扬名的是他到大理学院与枯荣等院士PK三维成像技术，其实他早就想得到大理学院的六脉扫描量子成像技术了，可是这帮糟老头子从来不发论文、不写专利，就连技术也是只传段氏子孙！“什么狗屁出家人！”明王不禁骂了一句。他的被动无相三维成像技术其实已经非常厉害了，只是跟六脉扫描量子这类主动成像技术比精度上确实差了不少。为此，他费了很多脑筋。这次，他说：“枯荣大师，如今是深度学习的天下了，你演示一遍六脉扫描技术，我就能学会。我现在的小样本学习技术天下一流，无人能比。”枯荣说：“我们是出家人，不玩这些！”明王道：不玩也得玩！说着就动手了。枯荣院士一看，这还了得，我虽不怕，但这门技术还没有传给下一代啊！于是上当，被迫当场演练给校董公子段誉看，没想到这个脓包竟然记忆力还真不错，记住了！可是鸠摩智的深度学习刚开机，显卡都快烧了，却也只记了个大概。于是，他使出无相三维成像技术，经过渲染，确实比大理学院的结果好多了，于是硬是说枯荣输了，他要把校董公子段誉给抓了，说是带到故人慕容博墓前烧掉这个唯一掌握该技术的家伙，以慰故知。

在自媒体发达的时代，江湖上传出一篇简短的报道：“鸠摩智之深度学习方法已突破量子纠缠，超远距离近场成像已不在话下……”

3、拍案惊奇

全冠清自从拿下了国家级课题之后，从三级教授升为二级教授，甚至有人说他能当上中原的院士。不过，这么说是有根据的。你看看，他从海内外引进了一批人才，在小样本学习和深度迁移学习方面做了大量的研究，购置了巨型计算机，据说开机的功率能推动大型火箭发射5次。当然这些都是江湖传说，但有一件事是真的，东京汴梁夏天热得受不了家家都开空调时，也没有全教授开机的功率高。全教授说，他的计算机超算能力足以让一个16×16像素的图标图像变成8K×8K的超高清图像，毫无违和感。这其中就有高太尉很多球友纷纷去实验，果不其然，太尉那个16×16像素、压根什么都看不出来图像竟然在一声轰鸣中出现了比太尉还真实的8K×8K的超高清图像，甚至还是立体的。这帮家伙直叫绝！

迁移学习

小样本学习方法优缺点对比可是，一个刚回国的优青试着把他宠爱的阿黄的照片输入进去时，输出来的竟然是徽宗赵佶！后来，此人换了个工作，去了精神病研究所，被研究。

“科技大比武”项目验收那天，汴京热得要死。高太尉下令给百姓停电，以保障全教授的项目验收。要知道，多少次拉闸限电都让全冠清损失惨重，显卡烧了很多不说，数据计算得重新再来啊！这一次，他万事俱备，事先准备好了各种水下的场景，在众专家的努力下，结论是：项目突破了118.9倍光学厚度成像，各项指标全面领先，属于国际领先水平。

据说，汴京城那天晚上吃狗肉的人特别多，并不是京城的人喜欢吃狗肉，是很多狗给热死了。

失败

1、高手对决

成像分辨率是光电成像永恒的主题。为了看得更清楚，主动的、被动的、合成孔径的、扫描的……各种超分辨率的招数都能使出来。萧远山和慕容博都是这方面的高手，他们俩的技术本不分伯仲，拿个项目，建个团队，转化个专利，维持小康绰绰有余。可是，他们都太有追求了！

这两大高手都偷偷潜入少林达摩院，窃取不同技术样本。当他们看到易筋超分辨率成像技术时，简直如获至宝，把祖传的GPU都用上了，达摩院的里样本也不管有用没用，也不顾顺序，统统输入学习库中。别说，这些样本进去之后确实奏效，成像分辨率提升特别快，这让他们俩欣喜若狂。不过，他们也发现，他们这个深度学习方法虽好，但随着样本的增多后却出现了疲态，效能提升很慢，甚至出现了副作用——伪像越来越严重，怎么看都像是假的！最可笑的是，有一次慕容博在演示拍月亮的时候，月亮清晰的环形山上居然出现了一只兔子！正当萧远山忍不住大笑时，他的拍摄结果确是月亮上竟然不仅有玉兔，还有嫦娥！

深度学习图像超分辨重建技术这事让鸠摩智笑岔了气。

2、命悬一线

明王最近却不顺。他号称精通少林达摩院的72超分辨绝技，在分别展示了72绝技中的摩诃编码、般若照明、大金刚共聚焦、袈裟伏魔频率拓展，以拈花编码技术完胜玄渡后，更是让人觉得他的深度学习能力深不可测。可是，虚竹就看出了他实际上使的是小无相超分辨率算法，只是学习能力过于强大，天赋之高，的确让人咋舌！这些玩意儿其实是想掩盖他在少林达摩院偷偷深度学习的经历，给人感觉他的超分辨率技艺是自家武功。

RealSR超分辨率算法他自恃功高，想依靠精深的超分辨率绝技，以赢得重大研发计划“极端超分辨率成像方法”以扬名天下。他一路过五关斩六将，在前期的材料汇报、PPT答辩等把慕容复之流统统都打败了，进入了决赛的试验比测阶段。比测似乎一切都很顺利，他似乎已经可以笑傲江湖了，可是就在最后的一个环节，拍摄尼安德特人的视觉神经元时，一个诡异的现象出现了：这个神经元清晰地前无古人，几乎可以无穷尽地放大！放大，放大，太刺激了！正当大家觉得不可思议的时候，鸠摩智分明看得那神经元上满满地写着篆体字，他作为国师，当然识得，竟然写着：“天龙八部、人与非人，皆遥见彼龙女成佛……”

思量良久，鸠摩智伸手乱抓胸口，内息不住膨胀，似乎脑袋、胸膛、肚皮都在向外胀大，立时便要将全身炸得粉碎。

3、拨云见日

少林达摩院的一个扫地的老头，边扫着地边给他们仨说：深度学习是很好地！只是有很多人过度鼓吹，也有人在妖化，这些态度都是不对的。

首先，我们应该看到，深度学习呢，它是一个很好的工具，在边界条件满足的情况下，它从来没有让你失望过。比如在成像领域，如果针对人脸成像等一些专门应用场景，它能提供更高的成像分辨率，更好的成像效果，甚至能弥补强光干扰下产生的缺陷。如果我们能把这个工具用好，很多非线性的问题都会应运而解。

但是，有些做法呢，就得好好去斟酌一下这么做到底对不对。你们看：很多人用深度学习做信号处理时，把一维信号转换成了图像作为输入，很显然，图像是二维信号，这种升维有道理吗？很多人说，这些方法确实有效，可是，有效并不意味着达到了最好的水平，那只是比原先好而已。想一想，他们为什么这么做？还不是因为CNN这样的网络对图像很有效，说白了，它就是建立在视觉的基础上。再往深里说一点，深度学习只适合处理二维数据，当有三维的点云时，现在的办法都是将深度信息降维映射为灰度反应在图像中，这又无端地降维处理了。你想想，把一个一维信号几乎没有理论根据地转换为图像数据，说实话，这需要勇气！这跟多年前做压缩感知的人硬是把图像矩阵“拉直”成一个向量一样，这种降维方式肯定会破坏原先的空间关系，可是，在图像处理和成像方面似乎还用得不错，那是因为图像数据再进入眼睛时，大脑会重新加工，掩盖了很多寄生缺陷。你想想医院检查色盲的那些小卡片，人眼解决那些干扰几乎没什么问题。

深度学习好是好，却不能无限放大，就说它存在的几个毛病吧：

（1）只能根据既有的数据来学习，不会判断数据正确性。深度学习只相信它在数据中频繁看到的事物、底层模式和趋势，因此它会放大人类社会的偏见和问题。如果数据显示被逮捕的黑人比白人多，那么一旦有人犯罪，深度学习将首先怀疑黑人。

（2）无法修正学习结果，除非重新训练。玉兔和嫦娥都是因为你们输入了不该学习的样本，而你们没有重新训练。

（3）无法解释做出的决策。深度学习没有逻辑可言，也不会讲道理。就像银行每个月给你寄一个“欠款0元”的欠费单，如果你不理，它每月都会给你寄；“正确”的做法是你支付一个0元的支票，从此再也不会受到骚扰了。这就是计算机的逻辑。

（4）应用市场较狭窄。除了在艺术、游戏或高级幽默以外的领域，使用深度学习都有法律风险。目前只有图像识别和游戏方面做得还不错。在伦理方面它肯定不行，在成像方面，你看，做某一类的成像应用效果会非常好，可是，深度学习迁移能力很差。要做得好，需要大数据支撑，而世界是无穷的，用有穷的去枚举无穷，哲学上是说不通的……

那扫地老头又挥起了他的扫帚……

求败

虚竹顺利拿到博士学位，论文题目是“计算成像之信息传递模型”，因为灵鹫大学人才凋零，虚竹被破格委任为灵鹫大学执行校长。

王语嫣教授嫁给了慕容复，依靠着她的杰青头衔被聘为阴山大学领军教授，带着一帮学生发发论文，也就完成了任务。余下的日子，就是陪陪已然疯掉的慕容复，看着儿女已经长大，结婚生子。她最喜欢的是孙女慕容燕，这个小女孩太像自己了，这也让她颇为担心。

果不然，慕容燕被风流倜傥的黄药师欺骗，她伤心至极，在喝下了“醉生梦死”之酒后，幡然醒悟。她深知奶奶王语嫣只会纸上谈兵，真功夫一点也无；爷爷慕容复天天让一群小孩围着他叩拜、发糖，已是废人。于是，经过深度思考，她来到了东海之滨，开始潜心钻研计算成像基础理论，她没有否定深度学习，而是把深度学习作为一种非线性的推演工具，同时翻阅了大量的物理、数学和信息论的书籍，甚至读了大量的哲学经典，融会贯通，终练就了“无招胜有招”的独孤九剑之计算成像理论，自此江湖无敌，号“独孤求败”。

注：本文之课前知识：金庸《天龙八部》、鲁迅《呐喊》、王家卫电影《东邪西毒》。

专栏预告

第十五篇 超分辨率，到底超了谁？

分辨率是成像永恒的主题，各种超分辨率方法层出不穷。光学中有超分辨率的说法，图像处理里也有。本来各自相安无事，可是到了学科交叉的时候，这种井水不犯河水的格局即被打破，原先各表一方的说辞已收不住场，铺天盖地的超分辨率让很多人混淆了概念。本篇将对主流超分辨率方法进行归类分析，讲述超分辨率的原理，明晰超分辨率的界限。

作者团队简介

邵晓鹏，教授，博士生导师，西安电子科技大学光电工程学院院长。

西安市计算成像重点实验室主任，西安电子科技大学杭州研究院先进光电成像与器件实验室主任，西安电子科技大学光学工程学科带头人。

陕西省级人才，陕西省级团队带头人，中国光学工程学会常务理事，中国光学学会理事，陕西省光学学会副理事长，西安市激光红外学会副理事长，中国宇航学会光电委员会常务委员，中国兵器光电子专业委员会委员，华为媒体技术实验室技术咨询委员会委员，美国光学学会（OPTICA）会员，国际光学工程学会（SPIE）会员。

光电信息控制和安全技术重点实验室学术委员会委员、中科院航空光学成像与测量重点实验室学术委员会委员、中科院光谱成像技术重点实验室学术委员会委员、中科院空间精密测量技术重点实验室学术委员会委员、中国红外探测器技术航空科技重点实验室学术委员会委员、陕西省先进光学技术国际联合研究中心学术委员会委员、陕西省光信息技术重点实验室学术委员会委员；Ultrafast Science副主编，《激光与光电子学进展》《光学 精密工程》《光子学报》《应用光学》《光电技术应用》《数据采集》《西安电子科技大学学报》《西安邮电大学学报》等期刊编委。

作为国内最早开展计算成像研究的人员之一，在新体制光电成像与感知领域攻坚前沿基础研究并促进技术工程应用，率先在国内开展散射成像研究。发表论文100余篇、发明专利80余项，获省部级奖励5项，主持国家自然科学基金、重点实验室基金等项目60余项，年经费保持在1000万元以上，获多项重要奖项，入选全球前2%顶尖科学家榜单。倡导举办4届全国“计算成像技术与应用”专题研讨会，提高了计算成像在光学领域的影响力。带领团队成员研制了广域相机、高性能低成本小型化红外导引头、偏振相机、激光陀螺仪光损耗测试仪、辐射计量辐射光源稳定功率系统等，成果和样机用于国内多家科研院所，促进了新体制成像技术的装备应用。

席特立，西安电子科技大学菁英副教授，西安电子科技大学计算成像研究所副主任。

主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究，近年来主持或参与了包括国家自然科学基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等国内外重要学术期刊共发表SCI论文20余篇，并多次在国际及国内学术会议上做口头报告。曾获2020年陕西省科技工作者创新创意大赛三等奖（第五获奖者）等奖项。

程华超，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。

主要研究方向包括散射成像技术和三维成像技术。近年来参与了国家自然科学基金重点项目、面上项目、联合基金项目及国家重点研发计划课题等项目研究，取得了多项具有重要学术意义和应用价值的研究成果。以第一作者在Opt. Lett.、Appl. Phys. Lett.、Opt. Express.、Appl. Opt.等国际重要学术期刊发表SCI论文4篇，以合作者发表SCI论文18篇、中文特约综述一篇。