第77章 我给的灵感？
漆昊想起了之前他指出Sigmoid函数在反向传播时，每一层梯度都会打折。
当时他说过梯度没有消失，只是在衰减，这是激活函数选取带来的结构性缺陷，所以必须更换激活函数。
现在，陈工等人听从了自己的建议，可为什么换了之后，梯度不仅没救回来，反而疯狂抽风，不是直接卡死，就是爆出NaN导致程序崩溃？
漆昊想要从面前的数据中找出一点线索。
轻量化网络、波动性的点云原始输入、以及……机载芯片。
等一下，这地方不对啊。
“陈工，我能再看看相关的代码吗？”
“稍等。“陈工开始操作，在屏幕上调出了训练端基于NumPy写的网络初始化和数据预处理脚本。
漆昊看了一会儿，指着屏幕某处说：“陈工，你看这行输入，原始点云的数据范围在 0.5米到 50米之间，你们没有做 Zscore或者MinMax归一化，直接以原始 float值喂了进去。”
“然后，你们的参数初始化，用的是刚提出来的 Xavier初始化对吧？”
“我看你给的文献中，有这么一篇。”
陈工有些得意：“那当然，这是学术界最前沿的初始化方法，论文里证明了它能保证输入和输出的方差一致。”
漆昊轻叹了口气，完了，他的想法是对的。
“陈工，Xavier初始化是有严格前提的，它是专门给Sigmoid或者Tanh这种对称激活函数设计的，推导的假设是，激活函数关于原点对称……
“每一层网络的输出方差，都会直接缩水一半，如果是10层网络，传到最后一层，方差也没剩下多少，这跟梯度消失有什么区别？”
“那NaN又是怎么爆出来的？”
“机载芯片算力差，你们直接喂了原始点云，点云原始数值大，输入方差可能高达上千，再加上 Xavie使用场景不合适，问题就暴露了出来。”
陈工疑惑地问道：“这是你刚才想出来的？”
“是的，这也多亏陈工刚才的讲解，才让我找到了灵感。”
陈工顿时一脸懵圈。
我给的灵感？
我自个儿想了几天，脑袋都快想秃了也没整明白，我什么时候给你灵感了？
陈工仔细想了下，漆昊这一手基于方差传播的数学推导看上去没什么问题，但作为典型的工科博士，他们显然不可能只凭嘴上说说就彻底信服，毕竟，在工程落地领域，再完美的数学公式也必须经历实际代码的检验。
陈工没轻易说好或者不好，只是斟酌道：“漆昊同学，你这个Relu初始化方差修正的思路现在听起来没问题，但是，神经网络在多层级迭代中的实际表现很复杂，我们得把你这一套写进初始化脚本里，重新跑一遍几万组的点云训练数据，看看收敛曲线才能下结论。”
“没错，实践是检验真理的唯一标准。”漆昊爽快回答。
“大概需要多久能出测试结果？”
“咱们组里这几台工作站虽然配了显卡，但由于数据集庞大，加上要跑满完整的epoch观察稳定性，怎么着也得等个七八天吧。”陈工估算了一下时间。
“时间有点长，这快要除夕了，我建议你先回家，有什么进展我们随时沟通。”
漆昊心想确实不可能在这守着他们，于是说：“那我先回家，我家就在本地，坐公交车也就一个多小时，非常方便，等你们跑出训练结果了，随时给我打电话或者发QQ消息，我马上过来。”
陈工见他不仅学术能力强，而且工作态度积极主动，比一般研究生都认真，顿时大为感动：“没问题，大过年的还让你跟着操心，真是不好意思，你先回家休息，只要有结果了，我第一时间联系你！”
告别了他们，漆昊背上包，径直走向了数院大楼。
老王在QQ上给他发了消息，让他有空过去一趟。
推开办公室的门，王教授一见到漆昊，板着的脸上顿时多了笑容：“你快来坐！”
等他坐下，老王从抽屉里取出一叠合同协议和一个信封，推到漆昊面前。
“这是你攻克一维Laurent像猜想的奖金。”
漆昊看着桌子上的东西，说出了自己的担忧：“王老师，这笔奖金数额这么大，交税的问题……”
“我就知道你小子要问，这一块学校早就帮你想好了。”
“三家企业奖励的一百四十万，税费由他们完成全额代扣代缴，所以这方面你就不用担心了。”
“而由学校发放的一百万，财务预估后发现税费非常高，所以学校在想办法上报申请专项表彰，走特殊申报渠道。”
“这样可以减免税费。”
漆昊不知道这里面的门道，听得很认真，他完全没想到学校会为他考虑到这个地步，如果学校不走特殊申报渠道，漆昊其实也没办法。
想到这里，漆昊立刻说：“谢谢王老师和学校帮我张罗这些，否则我都摸不着头脑。”
王老师眼里满是对漆昊的赏识，说：“后勤琐事，本就该我们替你扛下来，好了，上面签个字，三张支票就是你的了。”
漆昊从老王手里接过钢笔，在三份协议上郑重签下了自己的名字。
“你拿着支票，到中行天府分行去找分行经理，那是我们的开户行，已经预约了，你直接去，到时候会有人专门协助你。”
漆昊道了谢，回宿舍将省图借阅卡和之前借的三本厚重的书塞进背包，省图和中行天府分行很近，他打算顺路去一趟省立图书馆，把手里的书给还了，顺便淘几本新的。
来到中行，漆昊等了没多久，分行经理就快步走了过来，满脸堆笑地将漆昊迎进了专门的VIP贵宾接待室，由于学校早就把一切做好了，所以过了十多分钟，漆昊的手机便陆续发出了提示音。
【……已入账1，000，000.00元……】
【……已入账200，000.00元……】
【……已入账200，000.00元……】
一百四十万！
没想到他在大学待了一学期就拿到了那么钱，还有一百万不久后应该也能到账了。
真学霸，就是值钱啊！