第176章 继承苏联人不良传统!
深度网络化。
可以说斯坦福团队的成果之所以能炸出那么大的动静,根本原因就在于他们号称把这道坎往上抬了几层,哪怕只是几层,那也是整个领域眼下最着急的突破方向。
但漆昊说,斯坦福没有解决问题。
这一点雅戈拉已经验证了,没说错。
可漆昊同时还说,他自己优化后的吉洪诺夫框架,也无法解决深度网络化问题。
这就很有意思了。
雅戈拉把漆昊整条推导逻辑在脑子里重新梳理了一遍。
把求解域搬进带权索伯列夫空间,配上主动式残差迭代,双管齐下把误差压进收敛阈值,这套方案在理论上确实能解决奇异点附近的数值偏移,但漆昊自己点出来了,这只是补齐了正则化框架在求解端的漏洞,深度网络化的问题不在这里。
误差会随层数指数衰减,本质上是因为每一层的梯度信息在传递过程中都在做乘法,而这个乘法链条一旦拉长,稍微偏离单位谱径,结果就会爆炸或者归零。
想从根本上解决这个问题,就不能只在正则化上做文章,还需要配合拿出新的技术来解决问题。
难道漆昊真的找到了解决的方法?
雅戈拉现在恨不得立马飞到华国去找漆昊,求他把写好的论文发出来。
正在胡思乱想的时候,尤里走了进来。
“教授,您看到漆昊在斯坦福那篇论文下面的comment了吗?”
雅戈拉说:“我下午已经验证过了。”
尤里没想到对方动作那么快:“您已经验证完了?”
雅戈拉把桌上那一叠草稿纸往前推了推:“初步验证完了,核心推导没有问题,动态约束算子的构造是自洽的,充分条件的证明也站得住,你要看吗?”
尤里走过来,翻了几页,一脸惊喜:“有了这份验证,那我们可以省下很多时间了。”
“我们打算组织一批人正式做验证,给漆昊做一个背书。”
“您也知道,现在西方那边的几个大团队肯定也在盯着这件事,有些人不是纯数专业出身,很有可能无法完全看懂漆昊的推导。”
雅戈拉点点头:“我听说漆昊的论文多次引用苏联的文献,他的思考逻辑也很有苏式的风格,现在看到这篇comment,我更加确信这种说法是对的,说实话,他比现在很多俄国的年轻人还要更尊重苏联的学者。”
“我们帮他做背书,是应该的。”
“初步验证我这里完成了,接下来可以用实例来跑,找几个经典的不适定问题,把漆昊的框架套进去,数值实验的结果摆出来,比什么都有说服力。”
尤里精神一振,说:“教授,那您觉得,我们在做验证的同时,是不是可以顺手找一些相关领域的论文复核一下?”
“毕竟现在吉洪诺夫框架的理论边界已经被重新拟定了,很多建立在原有框架之上的推论,可能需要重新审视一下。”
“最好是欧美的。”雅戈拉补充说。
尤里心领神会:“那就从相关领域引用量前两百的开始吧,正好,样本够大,说服力也足。”
雅戈拉十分贴心地补了一句:“论文质量参差不齐,你们仔细看,别误伤自己人。”
相比莫斯科这边的顺利进展,太平洋对岸的情况就要热闹得多了。
斯坦福克里斯多夫教授的办公室,此刻气氛颇为微妙。
白板上写满了公式,八九个博士生围坐在一起,每个人的面前都摊着漆昊那条comment的打印稿,每个人的表情都一言难尽。
罗伯特看着手中的打印稿,忍不住问道:“等一下,这里的上角标,他到底是在标阶数还是在标迭代步数?”
“我研究了二十分钟,结论是都有可能。”
罗伯特:……
“他的上角标是双重含义?”
“或者,漆昊认为读者应该通过上下文自行判断。”
这是苏联数学传统的一种独特风格,记号复用。
在苏联的教材和论文体系里,同一个符号在不同段落承担不同任务是完全正常的事。
苏联学派主打分析,偏微分,力学,概率论不分家,柯尔莫哥洛夫、朗道一脉常年数学物理混用写作。
频繁跨学科行文,为了书写简洁,不愿意为物理、分析、几何等各准备一套独立字母表,所以主动选择复用符号。
还有一个原因嘛,就是跟当时法国布尔巴基学派有关系。
这个学派的核心宗旨以结构主义与公理化为核心,将整个数学体系拆解为代数、拓扑、序三大基础母结构,所有数学分支都依托这套统一框架衍生、排布。
在他们的学术准则里,数学的第一要义要求绝对严谨,还有符号唯一。
就是绝不允许同一个字母,同一个标记,在不同语境下有两种及以上的含义。
而苏联数学学派,就觉得布尔巴基事多。
阿诺德老爷子就说过:“法国人执着拆分f(函数)与f(x)(函数值),他们不一样,日常随手就写y=y(x)完事。”
漆昊毕竟一直在和苏联文献、专著打交道,他日常使用符号的习惯,早就受到了苏联学派的影响,之前他的论文都面向于搞纯数理论研究的人,大家根据上下文能明白漆昊想表达的意思。
但现在不一样了,阅读这篇comment的人大多数都是计算数学领域的学者,或者有些还是纯计算机领域的学者,面对漆昊这一篇有着苏联学派影子的数学推导,自然头大了起来。
克里斯多夫站在白板前,正在和漆昊的记号体系做搏斗,最让他抓狂的其实不是复用问题。
他看到显然可得这几个字一下火气就冒了上来。
他在白板上复现其中的五步,花了有一个小时。
“这哪里显然了?”
克里斯多夫把打印稿摔在桌上:“如果这对他来说是显然的,那他到底是个什么物种?”
“真不知道这些数学家继承谁的不良传统了,一个个都要写显然可得。”
布兰登叹了口气:“其他人我不知道,但漆昊很有可能是从苏联数学家那里继承的,我听说他特别喜欢看苏联文献。”
“好端端的,他为什么要学苏联数学家的,美国数学家不够他学吗?”
克里斯多夫不理解,也不尊重。
克里斯多夫背着手,看着白板上自己补全的五个推导步骤,沉默了一会儿,说:“伊桑,第七页的那个动态约束算子,你搞清楚定义了吗?“
伊桑低头翻页:“算子的构造方式我基本理解了,但漆昊在引入这个算子之前用的那个记号,他在括号里写的东西和上面那个是同一个东西吗?”
克里斯多夫走过去看了一眼,没说话。
他也不确定。
看来漆昊把能省的地方全省了,该死的数学家!
难道就不能稍微细化两步,照顾下阅读这篇comment的人嘛!
关系到自己团队的论文,克里斯多夫最后只能说:“继续,第七页搞不定,后面也无法看懂,先把算子的定义确认清楚,实在不行,去数院找人。”
伊桑等人只能低头继续啃。
他们连comment都没有研究完,自然不知道这一场由漆昊引起的风波才刚刚开始。
京城,燕大。
在进会议室之前,专门负责统筹高校科研成果转化、校企商务谈判、知识产权合作等燕大产学研合作办公室的沈主任找到了漆昊。
他看见漆昊还在看有关于英伟达的资料后,说:“漆昊,你不用紧张,这方面我们基本都熟悉,你到时候负责和黄总聊技术方面的内容就行,剩下的都交给我们。”
“时间差不多了,我们现在去会议室吧。”
漆昊没着急,硬是把资料看完后,才跟着沈主任等人去了会议室。
这次谈判,除了漆昊和沈主任之外,燕大还派了两名研究院的知识产权法务专员,他们负责专门审核合作协议中的版权专利,科研成果归属,保密条款等法律内容。
一进会议室,双方打过招呼后,沈主任就把最新一版的条款摆在桌上,看向对面:“关于底层Spec技术规范和ISA指令集架构的信息交换条款,贵方的最新立场是?”
英伟达法务负责人直接开口:“这一条款,我们确实无法接受,CUDA编译器的底层技术规范和GPU硬件控制指令集是英伟达的核心资产,涉及数十年的架构积累,按照现有的合规框架,这类信息的对外开放需要走独立的审查程序,短期内不具备可行性。”
他停顿了一下:“但考虑到漆昊先生在QInet上的贡献,以及双方未来合作的深度,我们黄总愿意在股权激励上做出相应的调整,将原有的0.2%RSU提高到0.35%,这是我们目前能给出的最大幅度的让步。”
0.35%。
这已经是超出沈主任预期的结果了,沈主任起初设定的目标是0.3%,现在多出来的那零点零五个百分点,换算下来是实实在在的资金,不是小数点后面无关紧要的尾数。
见好就收,这是正常的谈判直觉。
他低声向漆昊说:“漆昊,我觉得这个值差不多行了,算上之前谈好的条件,你稳赚。”
漆昊没点头。
他思考了下才说:“黄总,我知道您提出0.35%已经拿出了诚意,但我有另一个想法想聊一聊。”
黄总对漆昊一直以来都很欣赏,现在听到对方有其他想法,他也好奇究竟是什么。
漆昊回想来会议室之前看的资料,说:“英伟达是无晶圆厂商,GPU核心晶圆由台积电代工,这个架构短期内不会变,但芯片封测不是晶圆制造,周边配套硬件,PCB板卡,散热组件,电源模组,这些不涉及先进制程,国内的产能完全能吃得下。”
老黄没接话,他隐隐约约猜到漆昊想要干什么了。
“我看过英伟达的供应链布局。”
“目前封测环节大部分在台市,板卡组装分散在几个区域,产能利用率不算高,交付周期也不算短,华国大陆这边,长三角和珠三角的配套能力是成熟的,人力成本比欧美低,物流半径比台市更贴近最终市场。”
“如果英伟达愿意把芯片封测、周边硬件配套这部分产业链逐步迁移到大陆,对双方来说都是有利的。”
沈主任在旁边听得心跳加速。
他知道漆昊要干什么了。
漆昊这不是在谈自己的利益,他在给整个国内半导体产业链找活路,难怪漆昊之前在看资料,原来是为了这个?
QInet出来之后,国内半导体行业确实有一波动静,有些企业摩拳擦掌,想趁着深度学习这波风浪,往芯片这条线上挤一挤。
但问题在于,整个产业链的外部动力不足,没有足够体量的订单来迫使国内半导体产业链在技术和人才培养上下功夫。
技术研发和人才培养都是要钱的,订单都没有,那些企业自然不愿意在前期投入太多。
所以口号喊过之后,先前还积极的几家企业又回归常态了。
如果这个时候能把英伟达的供应链部分环节拉进来,哪怕只是封测和配套,那也是一个巨大的牵引力,足够把一批企业带起来。
老黄没有立刻回应。
沉默持续了大概五秒。
然后他开口了:“漆昊,我想问你一个问题。”
“你所说的这一切,其实都建立在深度学习领域有发展的前景之上。”
“但你为什么会如此笃定深度学习领域一定会有发展?”
“据我所知,目前相关训练已经到了一个瓶颈,谷歌那边的网络模型训练下来只有二十二层,整个学界都在找突破口,但没人敢打包票说这个瓶颈什么时候能破。”
“我和你合作,看重的是你身上的潜力,是QInet背后体现出来的那种对问题本质的洞察力,但说实话,目前我能给出的条件,已经是基于这份潜力的最大化估值了。”
“你现在让我把供应链迁移到大陆,这不是一个小动作,这是战略级的调整,需要投入的资源、时间、政治成本,都不是一个0.35%的RSU能覆盖的。”
“如果深度学习的瓶颈要到五年,十年后才能突破,那么我答应你把供应链迁移到大陆的投入,多久才能回本?”
沈主任想要说话,漆昊阻止了他。
“黄总,您估计还没看到我新发的一篇comment。”
老黄愣了一下。
“如果看了,你就不会觉得那个瓶颈还会卡很久了。”
漆昊其实一点都没有炫耀的意思,他只是把事实说出来。
沈主任在旁边差点没绷住。
我的天才哦,你难道又搞什么大事了?
漆昊没管别人什么反应,他接着说:“我会给黄总一个月的考虑时间,供应链迁移是大事,我理解决策需要流程,但这个窗口不会一直开着。”
“至于那个comment,黄总可以找人看看,如果看完之后觉得我说的瓶颈突破是在吹牛,那么合作作废。”
他说完,站起身,冲老黄点了点头,然后转身往门口走。
沈主任带着人赶紧跟上。
老黄坐在那里,看着漆昊的背影消失在门外,半天没动。
他旁边的商务经理小声问:“老板,我们……”
“查。”
“立刻去查漆昊最近发了什么comment。”
助理掏出平板电脑,手指在屏幕上飞快滑动,很快就找到了。
“黄总,是在arxiv上,针对斯坦福团队那篇关于深度网络正则化的论文。”
助理把平板递过去。
老黄接过来,低头看。
老黄的数学功底不差,至少能跟得上这个层次的推导。
他看到了漆昊对吉洪诺夫正则化框架的重构,看到了那个动态约束算子,看到了残差迭代技术的框架设计。
他大概能够理解漆昊优化的重要性,所以漆昊是想要他看到这个吗?
看来,不久的将来,网络模型的训练层数能够突破二十二层了。
不愧是漆昊,能够解决这个问题。
但新的问题来了,这之后会不会产生新的问题呢?
老黄本想继续看下其他学者的评论,没想到,他看到了漆昊comment的最后一话。
“上述优化后的吉洪诺夫理论依然无法解决深度网络化问题,所以需要引入新的技术,完整理论和实验验证,后续将在新论文中公开。”
老黄盯着这行字,眉头慢慢皱了起来。
漆昊这句话是什么意思?
难道他的新技术能够带来不受层数束缚,稳定收敛的深度网络训练范式?
老黄呼吸急促了起来。
训练更深的网络,意味着更复杂的模型,更强的表达能力,更广阔的应用场景,而这一切,都会转化为对算力的需求对GPU的需求!
英伟达现在押注深度学习,但说实话,老黄有时候也会焦虑,也会怀疑自我。
目前遭遇的瓶颈如果五年,十年都破不了,那深度学习这条路能走多远,是要打个问号的。
整个行业现在更像是在一个高原上徘徊,大家都知道前面可能有更高的山,但没人敢保证一定爬得上去。
如果漆昊能把这座山的路给修出来……
老黄努力让自己保持冷静,抬起头,说:“供应链迁移到大陆的可行性分析,让战略部做一份详细的报告,两周之内给我。”