第99章 这是数学！（5k）
所有的欢呼声、尖叫声以及拥抱都停了下来。
整个XRCE团队的目光缓缓移向了那块屏幕。
“第……第二名？”
佩罗宁难以置信地看着屏幕上刺眼的数字2。
如果他们研究透了经典特征工程，耗费了一年的心血才把错误率压到26%的费舍尔向量改良版方案，在今天，仅仅只能屈居第二的话，那么，第一名的错误率会是多少？！
那个踩在他们头顶，拿下了本届ImageNet第一名的方案又是什么？！
“26%竟然只能拿第二？这合理吗？！那第一名的错误率得低到什么程度？！”
来自洛桑联邦理工学院的副教授坐直了身子，盯着屏幕，摇头说：“施乐居然是第二名，太难以置信了。”
“今年预测所有参赛团队最好的成绩，也就只能把错误率压到24%到25%之间，难道漆昊团队真的做到了这一点？”
“24%？那已经是经典词袋模型的理论红线了！”
一旁的阿姆斯特丹大学领队否认说：“要知道，ImageNet拥有上千个高相似度的分类。”
“比如几十种不同品种的狗、不同鸟、不同蝴蝶、不同车型，人肉眼都容易认错，更别说机器了。”
“想突破25%的关口，除非他们不仅在传统的SIFT算子里加入了色彩直方图和LBP局部二值模式等多重手工特征进行超大规模的融合，还必须通过多核学习算法去动态调整特征权重，甚至在多核计算上彻底解决了非线性核函数在海量样本下的存储与优化瓶颈。”
“这需要的资源可不少，他一个搞数学的能做到这些？”
李教授及其团队的人都在他们旁边坐着，没搭话。
即使他们早就知道了答案，但临到现在公布的时候，这一群人的心跳还是莫名其妙加快了。
在全场上千道要把屏幕戳穿的灼热视线中，屏幕上刷新出了代表着本届ImageNet最高成绩的第一名数据。
【第1名：华国蓉城科大QInet错误率：15%】
刺眼的15%让所有人都忘记了说话的本能。
在经历了大脑短暂宕机之后，整个会场炸了！
“15%？！上帝啊，这确定不是屏幕的显示像素坏了，导致25%的那个2字上半截没能显示出来吗？！或者是打字员昨晚喝多了红酒，把25%给手抖敲成了15%？！”一位来自慕尼黑工业大学的资深视觉组教授扯开了衬衫领口，整个人因为激动变红了。
“25%我是相信的，15%是什么情况？”
“11%的绝对差距，这不科学！”
“阿西吧，一定是作弊！他们是不是在黑盒测试集上进行了作弊？对，只有提前拿到斯坦福的测试集去进行有针对性的过拟合，才有可能跑出这种吓人的数据！”刚刚还合十祈祷的首尔国立大学领队，根本不相信屏幕上显示的错误率。
“闭嘴吧，寒国人，ImageNet的评测服务器是斯坦福独立脱机运行的，测试集在开赛前才由李教授的团队亲自导入，你告诉我他们怎么作弊？用特异功能吗？”一旁的阿姆斯特丹大学领队惊讶之余，也不忘怼他。
“漆、漆昊……”
陈工咽了口唾沫，他感觉自己心脏几乎要跳出嗓子眼了！
“我没看错吧？我们在学校实验室里跑十折交叉验证时，由于那几块GTX 580显卡可怜的显存限制和保守估计的数据集偏差，测出来的成绩不错，但那是验证集，和测试集数据不同，怎么一到斯坦福的官方测试集上，这错误率直接到了15%？！”
漆昊此时也有些错愕。
深度卷积神经网络在CUDA的并行算力下，对局部图像特征的捕捉会表现出非同寻常的优越性，但他没想到，实际错误率比他预估中还低。
此时李教授拿着话筒上台了。
东京大学团队的人立刻大声问道：“李教授，请问漆昊团队是否将训练集和测试集搞错了？”
面对东京大学代表队不服气的质疑，原本有些嘈杂的主报告厅再次安静了下去，大家都在期待李教授这位ImageNet挑战赛发起人会怎么说。
台上李教授，拿起话筒直接解释了起来：“我非常理解东京大学团队，以及在座诸位此时此刻所感受到的震撼和难以置信，但从ImageNet挑战赛的工程逻辑和规则设计来看，你们所质疑的混淆数据集的情况，在物理层面上是绝对不可能发生的。”
“众所周知，为了确保比赛的绝对公平，ImageNet将整个数据集严格划分为三个完全独立的部分。”
“第一部分是包含120万张图片和完整标注的训练集，用于给各大团队进行模型训练，第二部分是包含5万张图片的验证集，用于大家在本地调参数，而真正决定结果，用于计算最终成绩的，是包含10万张图片的测试集。”
“简单说一下区别，拿训练集和验证集来说，它们就像是学校发给你们用来复习和模拟考的课后习题和参考答案，不管题面如何，大家手里都有一清二楚的正确答案。”
李教授考虑到现场有很多非专业的观众，尽量找了一个简单的例子：“那10万张测试集的图片，就像是期末考试中的期末考卷。”
“所以大家应该知道了，这10万张期末考卷只有题目，根本没有参考答案，标准答案自始至终都被锁在斯坦福大学的离岸评测服务器里，在这个世界上，除了我们核心评估小组的研究员，没有任何一个参赛团队能够接触到其中一个字节。”
“QInet团队和在座的诸位一样，手里只有那10万张没有任何标注的图，他们必须让自己的模型去预测这些图片里装的到底是什么，然后将生成的纯文本预测报告上传至我们的服务器，由我们的系统在后台进行全自动的双盲比对。”
“因此，除非漆昊团队黑进了斯坦福的网络，盗取了这10万张测试集的标准答案去教他们的神经网络做题，否则，根本没有可能把训练集和测试集搞混，更不可能在闭环中进行作弊。”
李教授话音一落，主报告厅里那点不服气的嗡嗡声，顿时小了许多。
东京大学领队本想再争辩两句，可如果他再质疑数据集污染，无疑是在暗示李教授团队有问题，李教授作为这个领域的佼佼者，他肯定不想得罪。
“我知道，仅仅是规则的严密，依然无法平息大家对QInet团队成绩的疑惑。”
“ImageNet挑战赛本意是想成为促进学术交流的平台，所以下面我们进入现场答辩环节。”
“下面有请QInet团队负责人漆昊，上台！”
现场观众大多数都是为了漆昊来的，现在漆昊上了台，他们非常给面子的给了他最大的掌声。
随后佩罗宁迫不及待开口了：“李教授，请问我可以提问吗？”
李教授说：“现场答辩期间你们可以问问题。”
佩罗宁接过工作人员递过来的话筒，说：“李教授，我们当然相信测试集的公平性，但成绩归成绩，科学是要讲方法论的。”
“我想请问QInet团队，你们如何将错误率降低到15%的？如果连方法都说不清楚，恕我直言，这个结果很难让人信服。”
漆昊拿起话筒就说了起来：“各位好，我是漆昊。”
“我理解各位目前的质疑，事实上，如果易地而处，看到有人把imagenet测试集的错误率一口气降到15%，与其他团队的结果相差11%以上，我大概也会怀疑是不是斯坦福的评测服务器被黑客入侵了。”
台下响起了一阵善意的笑声，原本质疑的气氛缓和了一些。
“但很遗憾，我们的黑客技术并不足以攻破斯坦福的防火墙，况且，我们实验室服务器的电费已经严重超支了，实在没有余力再去发起一次分布式拒绝服务攻击。”
“大家肯定会想，既然不是作弊，那么QInet究竟是怎么做到目前的结果。”
“其实答案很简单，我们抛弃了过去十年里，整个计算机视觉界认可的人工特征提取路线。”
下面的学者研究院们听到这一句话立刻哗然了起来。
现在，整个学术界对图像识别的主流认知，全都是基于SIFT、HOG等人工设计的算子，再配合支持向量机或者费舍尔向量进行分类，大家比拼的是谁设计的特征提取器更细致。
而现在，这个年轻的东方人竟然在ImageNet的舞台上，公然宣称他们把这些行业基础全扔了？
“荒谬！”
斯坦福大学的一位资深教授忍不住说道：“不用人工特征，你们拿什么去理解物体的边缘，纹理和几何结构？难道指望机器自己去长出眼睛来吗？”
“没错，我们就是让机器自己长出眼睛。”
“我们复活了那个在学术界几乎快要被扫进历史垃圾堆的技术，人工神经网络，确切地说，是卷积神经网络CNN。”
“CNN？”佩罗宁皱着眉说。
“杨力昆在90年代搞的那个LeNet？”
“那玩意儿不是只能识别手写邮政编码吗？面对ImageNet这种上百万张，上千个分类的复杂现实图片，神经网络那可怜的拟合能力和让人绝望的计算效率，根本就走不通嘛！”
“是的，就是杨力昆先生所提出的LeNet，大家都知道深度神经网络有三大难题，梯度弥散导致的无法收敛，参数过多导致的严重过拟合，以及惊人的计算量。”
“我设计的QInet一共包含5个卷积层，3个全连接层。”
“首先，是关于梯度弥散和收敛速度的问题，传统神经网络喜欢用Sigmoid或者Tanh作为激活函数，但这两种函数在输入值较大时，梯度会趋近于零，导致深层网络在反向传播时根本无法更新参数。”
“在座的各位想必都被那种训练了三天三夜，损失函数纹丝不动的痛苦折磨过。”
台下的研究员们不由自主地点头。
这苦他们确实都吃过。
“我们的解决方案其实非常简单，直接弃用了复杂的双曲正切和逻辑函数，采用f(x)=max(0，x)。”
“我们称之为Relu，也就是修正线性单元。”
“在相同的网络结构下，使用Relu的QInet，其收敛速度比使用Tanh的网络快了6倍！”
然而，外行看热闹，内行看门道，台下的学者研究员们，都听懂了他的意思。
f(x)=max(0，x)，这个在数学上几乎可以说是初中水平的单侧抑制函数，竟然能带来6倍的收敛速度提升？这意味着什么？
这意味着在大规模工程实践中，计算效率将获得质的飞跃！
“那过拟合呢？”一位MIT的教授追问，“120万张图，8层网络，6000万个参数，参数比的样本还多……我是说，这么大的模型，你怎么保证它不是把训练集背下来了？”
这个问题问到了点子上，全场再次安静。
“确实会有这种的担忧，所以为了防止它在测试集上出现这种情况，我们引入了一种全新的正则化技术。”
“也就是Dropout随机失活。”
“它的原理是，在每一次前向传播中，以50%的概率随机将部分神经元的输出置为零，这些被选中的神经元在这一轮训练中，既不参与前向传播，也不参与反向传播。”
“这相当于每次训练，都在训练一个不同的网络，最后做预测时，等于把无数个网络的意见集合起来，一个神经元摸了鱼，其他神经元就不敢太依赖它，逼着整个网络学到更健壮的特征。”
“最后一个问题。”
MIT的领队现在已经从质疑变成了纯粹的好奇：“如此庞大的训练，常规的CPU集群跑下来，没有几个月根本不可能，你们是用了什么超算？哪个国家实验室赞助的？”
所有人都以为，漆昊背后一定站着某个庞大的机构。
漆昊直接回答：“其实没有用超算。”
“当时我只是想测试我的想法是否可行，所以就用了两块GTX 580。”
“两块GTX 580？”MIT教授不敢相信自己听到的信息，“打游戏的那种？”
台下顿时响起了一片倒吸凉气的声音。
用显卡？
用打游戏娱乐的显卡，去跑世界上规模最大的图像识别挑战赛？
“我花了一点时间，用CUDA重写了卷积和池化的计算核，并且设计了一套双卡并行架构。”
“因为3GB显存依然装不下整张网络，我们将QInet的神经元分别寄存在两张显卡上，它们只在特定的层，比如第三层卷积和全连接层进行数据通信，而在其他层，两张显卡各自独立计算，互不干扰。”
佩罗宁原本以为对方是靠着什么漏洞或者运气，但现在，漆昊一步步讲解，一切又觉得十分合理。
佩罗宁主导设计的费舍尔向量算法，在图像分类领域几乎打遍天下无敌手，是全行业公认的最优解。
为了更好训练整个模型，他们甚至为此向总部申请了数十万欧元的预算，租用了欧洲最顶级的超算集群，夜以继日地进行着复杂的矩阵计算。
结果现在漆昊的方案，告诉他，他们连研究方向都选错了！
真是难以置信！
作为老牌CV学者的尊严让他不得不最后挣扎一下。
“漆昊先生！不可否认，你们的架构设计非常惊艳，但是，神经网络本身致命的缺陷之一就是平移不变性极差，ImageNet中的目标物可能出现在图片的任何角落，尺寸也千差万别。”
“QInet是如何在如此庞大的参数量下，保证不会因为目标物的位移，旋转或者光照变化，而出现分类崩塌的？”
漆昊解释了：“这其实我们在=训练中改进的。”
“QInet在数据预处理阶段进行了数据增强。”
“面对位移和尺寸变化，我们没有去试图修改网络本身，而是对数据源动手。”
“在训练阶段，我们把原本256x256像素的图片，随机裁剪出224x224的图块，并且进行水平翻转。”
“不仅如此，在测试阶段，我们对于一张待测图片，会同时裁剪出其四个角，中心区域以及它们的水平翻转共10张图块，让QInet分别进行预测，最后将这10个预测结果进行平均，作为最终的输出。”
“不是，这还是计算机学吗？”
“这是数学。”
“举个例子，现在我将裁剪图片出四个角和中心，加上水平翻转，得到10个不同视角的图块 x， x，……， x。”
“在这10个图块里，猫的相对位置全都不一样，左上角那张，猫跑到了右下，右下角那张，猫又跑到了左上。”
漆昊让人把白板抬上来，然后在上面写了起来。
“最终预测=(1/10)·Σ P(y | x)”
“我把这10个视角的预测，求平均。”
“n个近似独立的预测求平均，方差变为原来的 1/n。”
“因为物体位置扰动带来的预测方差，被压低到了原来的十分之一，当然这个值可以更加精确……”
漆昊在上面滔滔不绝讲着，底下的数学人很高兴。
因为刚才讲计算机的东西，他们听不懂。
现在漆昊上起数学课，他们反而听懂了。
“搞了半天，隔壁计算机系天天神神秘秘，吹得天花乱坠的深度学习，本质上就是把我们测度论里的哈尔测度拿去给图片做离散采样啊！”
“就是，这玩意也不难啊！”另一个数学系博士生也兴奋了起来，压抑了半个多小时的优越感在这一刻蹦出来了。
“你看，我都跟你说了吧，万物皆可数学。”
“这是不是蒙特卡洛？你们要说这个，我可就不困了！”
他们在那高兴着，根本不懂一旁的计算机人有多郁闷。