第180章 来自社会主义!
JMLR官网的首页,二十多年来长得都一样。
感觉就像是一个大学生学了几节网页设计课随便设计出来的一样。
有人在论坛上开玩笑说,JMLR的网页设计水平和它的学术水平,构成了机器学习领域最著名的反差。
不过今天,他们的网站首页发生了变化。
最先发现异常的是一位北美在读的机器学习博士。
他原本只是习惯性刷一遍JMLR的最新收录列表,想蹲几篇顶刊新作充实自己的文献综述,刷新页面的瞬间,他下意识以为自己网卡出bug了。
首页最醒目的位置,破天荒地挂出了一篇全新的长文,直接挤掉了原本霸占置顶位的几篇老牌名校团队的重磅综述。
要知道,JMLR向来佛系至极,从来都是按照投稿收录时间顺序静默更新,极少刻意置顶单篇论文,更别说把一篇新作直接抬到首页。
他扫了一眼作者栏,想看看是哪位大佬的新作,结果看到了一个简短的名字。
Hao Qi。
漆昊?!
他看到名字后,再扫了一眼论文的论文,很快就反应了过来。
漆昊居然把那篇优化吉洪诺夫的理论发到了JMLR!
他把这惊人的消息和JMLR链接顺手发到了工作群聊。
消息发到群里的那一刻,原本安安静静的博士生工作群,立刻有人回应了。
“我的上帝啊,这是真的?”
“谢特,JMLR得到了漆的论文?”
“看来JMLR的影响因子要涨了!”
有人本来要跟女朋友视频,看到消息后,直接跟女朋友说了:“对不起宝贝我有更重要的东西要看。”然后忽视了女朋友的询问,顺着链接打开了JMLR的官网。
还有个哥们儿本来困得眼皮打架,看完这条消息之后,立刻跑去灌了半瓶红牛,坐到了电脑面前。
很快访问JMLR的官网的人数越来越多了。
论文加载出来的瞬间,大多数人都没说话,他们都认真地看着漆昊的论文。
此时查看漆昊论文的每一个人,几乎都被吉洪诺夫正则化这套东西折磨过。
这玩意儿的老理论,说白了就是机器学习里对付过拟合的一件祖传法宝,年头比在座所有人加起来的博士学龄都长。
从苏联数学家安德烈·吉洪诺夫上世纪四五十年代开始琢磨不适定问题算起,这套正则化的思想在数学和工程界摸爬滚打了大半个世纪,到了机器学习时代摇身一变,成了岭回归、权重衰减这些东西的理论祖宗。
谁做深度学习不用它?
谁调参不往损失函数里加个L2惩罚项?
可问题就在于大家都在用,但没几个人真正说得清它为什么好使,好使到什么边界为止。
尤其是在小样本,高维稀疏,噪声扰动这三座大山面前,老理论就跟中年男人的发际线一样,说崩就崩,说退就退,退得你毫无还手之力。
你按着教科书上的公式推,推到一半发现前提假设根本不成立,要想找篇综述参考,翻遍全网发现所有人都含糊其辞,最难的部分大家都有意去忽视它。
而现在,漆昊这篇长文,把理论解释得非常清晰。
北美博士因为最先看到漆昊的完整版论文,所以开始给群里没来得及细看的人做导读:“我大概翻了一遍逻辑结构,你们感受一下,漆先补齐了整套理论的前置公理,就是把老理论那些默认成立的东西,全部拎出来一条条论证,该证明的证明,该加约束的加约束。”
“然后针对小样本场景,他引入了一组新的边界约束条件,直接把泛化误差的上界确定好了,高维稀疏那块,他重新定义了正则化项和数据结构之间的耦合关系,推导过程非常严谨,我盯着看了半天愣是没找到一个跳步。”
“噪声扰动就更狠了,他把噪声当成一个动态扰动项塞进整个框架里,证明了理论在带噪环境下依然稳健,还给出了稳健的量化边界。”
“最厉害的是什么你们知道吗,他还配了几十组对比实验,全场景覆盖,从数据集到真实数据,一个不落,而且他没像别人那样只放几张漂亮的曲线图糊弄事,人家连把思路写的清清楚楚,你想复现随时复现。”
北美博士的一段导读发出去,大家对于漆昊这篇完整论文的理解又上了一个新的台阶。
“我把噪声那一节看完了,他处理扰动的方式我第一反应是不认可的,他把噪声建成一个依赖于当前估计的动态项,这东西按理说会反馈放大,越滚越大,但是他在引理5.3里加了一个约束了,让整个系统落进一个收缩映射。”
“不动点。”有人回复。
“对,他绕回不动点了,所以带噪环境下才稳,这一步我要是自己想,这辈子估计都想不到往这儿走。”
“我做实验的,理论那些我看得慢,但是我把他的代码拉下来跑了一组,复现了,误差曲线跟论文图7几乎重叠,差异非常小。”
“他连种子都对齐了?”
“对齐了,每组实验的随机种子、环境版本、依赖全列出来了,我跑之前以为总得调半天,结果一次过。”
“说实话,以后再有人做正则化,绕不开他这篇理论。”
“各位,记住漆理论吧!”
“等下,漆特别在论文里面强调了,这个理论叫做吉洪诺夫-漆理论!”
“啥意思”
“他郑重强调了,这套完整理论的正式命名应该是吉洪诺夫-漆,吉洪诺夫在前,他在后,他说虽然这次的系统性补全与理论闭环由他独立完成,但整套正则化思想的源头、内核与最初的逻辑,源自吉洪诺夫半个多世纪前的开创性工作。”
“漆昊说没有任何人有资格忽视吉洪诺夫的贡献,他必须为吉洪诺夫正名。”
“他图啥啊?”
“他难道没意识到如果这套理论就叫漆理论,那以后全世界的教科书,每一篇引用,每一个上课的PPT,都会印着他一个人的名字?”
“对啊,多少人做梦都想要这个,结果他倒好,主动往前面塞了个吉洪诺夫,等于把自己名字的分量匀出去了一半!”
“楼上的,你们难道没发现,漆昊把论文发在了JMLR这种开源期刊上了吗?他要是真想争这个命名,你们现在还有机会免费看到这篇论文?”
“所以说他根本不在乎什么虚名,只想让这套完善后的正则化理论真正落地,造福整个机器学习领域。”
“漆昊就是天使,这格局也太大了!”
“华国人格局都这么大吗?”
“可能因为他们那边崇尚的是社会主义?”
“不是吧,你这样说显得我们资本主义很邪恶。”
消息逐渐从群内扩散了出去,数百名海内外博士、研究员、高校教授都想第一时间精读全文,复现实验,一睹这套理论的全貌。
很快,海量访问请求疯狂涌入JMLR官方服务器!
JMLR作为机器学习领域顶刊,常年流量稳定,服务器承载的论文阅览、下载、检索请求向来平稳,运维团队早已习惯了低负载运行状态。
可这一刻,服务器的负载曲线近乎垂直拉升,CPU、内存、带宽资源瞬间被占满,页面加载开始出现卡顿。
而此时,得知消息雅戈拉教授也进入了JMLR官网,在等待了一分钟的加载后,他终于看到了漆昊的那篇完整论文。
他之前就验证过漆昊comment的逻辑,这次看到完整论文补齐了论证后,自然很惊喜。
他正要开始仔细研究的时候,他看到了漆昊特意强调整个理论应该被称为吉洪诺夫-漆理论的文字。
身为吉洪诺夫的学生,他比这世界上绝大多数人都清楚,吉洪诺夫当年,为了这套东西,走的路有多艰难。
当时吉洪诺夫在柯尔莫哥洛夫担保下,才逃过了大清洗。
好不容易坐下来搞研究了,又面对现实世界里一大堆要解决的问题,从地球物理勘探到医学成像,从信号反演到工程反问题,本质上全都是不适定的。
当时苏联的科研人没有人能够解决这个问题,吉洪诺夫就是那个硬着头皮往里冲的人。
在他看来,数学就是要拿来用的,只搞纯数没意思。
所以他顶着质疑,提出了正则化的思想,既然不适定问题的解不稳定,那就人为地引入一个附加的约束项,用一个正则化参数去平衡拟合数据和解的光滑性这两个目标,从而在无穷多个不稳定的解里,挑出一个既贴合数据又足够稳定的答案。
这个思想,在今天听起来天经地义,是每个机器学习入门学生都会的常识。
但在当年,这是从无到有,从0到1的开天辟地。
吉洪诺夫不仅要建立整套数学框架,还要一个人扛住外界的压力,用一个又一个真实的应用去证明那些困难的问题,是可以被驯服的。
现在正则化理论虽然已经在应用数学界站稳了脚跟,但离它后来在机器学习时代大放异彩,还有很长一段距离。
吉洪诺夫估计不会想到,他当年在冷板凳上熬出来的那套东西,几十年后会成为支撑起整个人工智能大厦的地基之一,会被全世界千千万万的工程师和研究者每天使用,使用频率多到这些人已经忘了这东西最初是从哪来的。
而这,恰恰是雅戈拉这些年来,心里一直隐隐作痛的地方。
因为在机器学习这个新兴的的领域里,太多人只知道L2正则化、权重衰减、岭回归,却懒得去了解这些东西背后站着的那个名字。
这个理论用得越广,源头反而被冲刷得越模糊,吉洪诺夫的功劳,正在被新时代的洪流悄无声息稀释,覆盖,遗忘。
雅戈拉其实知道时代就是这样,新的领域总是健忘的,总是急着往前跑,顾不上回头看一眼来时的路。
可他没想到,在他快要以为这条路上的人都不会再回头的时候,竟然有一个年轻天才,主动把吉洪诺夫的名字带到了大家的面前!
雅戈拉一遍又一遍看着论文那一整段专门为吉洪诺夫正名的文字,看着这个叫漆昊的年轻人用自己的理论去反过来托举一位已经离世二十多年的老前辈!
雅戈拉在电脑面前坐了很久,直到尤里的电话打来,他才从漆昊的论文中回过神来。
他和尤里交流了对于漆昊论文的看法,两人都是赞不绝口,随后尤里说:“教授,您可能还没注意到最重要的一点。”
“什么?”
“漆昊做到的,还不止于此。”
“他投的是JMLR,这意味着,从今天开始,全世界任何一个人,任何一个学生,任何一个付不起那些期刊订阅费的研究者,都可以免费看到这篇论文,免费学到这套完整的理论。”
“教授,他不仅把吉洪诺夫院士的名字,重新放回了他这套理论的最前面,他还确保了这个理论,能够无门槛地传遍深度学习领域的每一个角落!”