第三百六十一章 钓鱼佬吃上饭了
章闻铎说道：“这个问题我也想到了，传统的方法肯定是等一个batch（批次）的训练都跑完，新参数更新回模型，再跑下一个batch，但那是一般的模型，长程任务不够多，也不够长。像我做的这个实验，用这种传统算法，平均下来计算卡利用率只有百分之二十多。”
百分之二十多，赵文渊在心里复述了一下，现在汤圆的后训练任务，平均利用率大概是百分之四十多，两者相差一倍。
章闻铎左右看了看，没在赵文渊的桌子上找到纸笔，干脆把自己的设备申请表翻过来，从裤兜里掏出一只圆珠笔，在上面写了起来。
“院长你看，这个是我想出来的新架构。”
他在纸的中心画了一个圆，两侧各有两排小人，一排写着actor（行动者），一排写着learner（学习者）。中间的圆则是经验池。
在传统的学习方法中，行动者全部行动完之后，会得到一批结果，学习者把这些结果更新到原本的模型中，行动者再基于新版本的模型进行行动。
就这样模型、行动者、学习者、模型、行动者、学习者反复执行，一直到最后的结果达到相对最优，没有进步的空间，就算是完成了训练。
而在章闻铎的新架构里，行动者和学习者并不互相等待，行动者一直在行动，行动完之后把结果放到经验池，学习者则在经验池有足够的数据之后就把经验更新回模型。
“你是说，放弃同步策略，改用异步策略？”
章闻铎讲完之后，赵文渊已经懂了。
所谓同步，就是你走一步，等你走完，我再走一步，大家不会同时走。好处是数据永远同步，坏处是慢。
而异步就是我走了告诉你一声，你也可以走，等你走完再告诉我一声，但你走的同时我还在走。好处是快，坏处是数据会乱。
在传统的编程领域，同步和异步各有好处。
但是在机器学习领域异步的应用远远不如同步的应用，因为大多数时候，准确率要比速度重要的多。
谁也不想飞快地训练出一个傻瓜模型，那没有任何意义。
赵文渊心里想了一下，说道：“还是刚才的老问题，新一轮的行动已经开始了，用的却是老的模型，这中间造成的偏差怎么办？”
章闻铎说道：“在我的这个实验里，每个行动结果的重要性不是完全相同的，大部分结果其实没那么重要，真正重要的几个结果，我已经提前标出来了，只要在训练的过程中，这几个关键步骤被更新，其他的步骤就算被跳过，对最终结果的影响也不太大。”
“效果怎么样？”赵文渊问道，他的声音已经不自觉提高了几分。
“运气好的时候能跑到百分之八十多。”章闻铎说道，“但运气不好，长程任务把所有的actor都占了，大家一起陷入等待，这个策略就失效了，所以我才来申请多几张卡。”
赵文渊愣了一下。
八十多？
如果计算卡的平均利用率能从百分之四十提到百分之八十，那训练时间至少能缩短百分之三十。
至少！
“章博士，你说的准确率不会受影响，大概会影响多少？更新的关键步骤怎么标注？”赵文渊急切地问道。
“额，我——”章闻铎被赵文渊的状态吓了一跳。
我不是来申请卡的吗？怎么突然问这么细？实验数据都在我电脑里啊。
赵文渊也意识到这些细节估计章闻铎一下子讲不清楚，他站起身，说道：“走，章博士，去你那看看实验数据，还有训练框架的代码。”
章闻铎也愣愣的站起来，还有点儿搞不清状况。
“那，院长，我那六十四张卡——”
“要是真有你说的那么好，六十四张卡我肯定给你挤出来，我一会给你电子批，现在先去你工位。”
赵文渊风风火火地走了出去。
章闻铎回头看了看，把桌子上那张背面画着水池和小人儿的申请表拿了起来，也跟着赵文渊出门了。
两人来到章闻铎的工位上，章闻铎先把之前的实验数据调出来。
为了证明这个异步框架能跑，章闻铎用相同的数据在同步框架和异步框架里都进行了训练，然后对比了准确率的差异。
在不标注关键步骤的时候，模型准确率下降了百分之三到五，训练曲线也更抖，收敛慢了不少。
在标注关键步骤的时候，准确率的损失几乎可以忽略不计，和同步训练相差不到百分之一，曲线也基本平稳。
而用时方面，异步训练所花费的时间只有同步训练的不到一半。
看完了训练数据之后，赵文渊兴奋地拍了一下章闻铎的肩膀。
钓鱼佬能吃上饭了！
章闻铎又吓了一跳。
他能感觉出赵文渊对这个成果应该很满意，但是他不太知道为什么。
我的世界模型都还没开始训练呢，这个异步框架只是训练过程中的一个副产品，你对着一个副产品这么激动干什么。
是不是没见过世面？
赵文渊看章闻铎一副不在乎的样子，估计他完全意识不到这个框架的价值，于是问道：“你知道现在各个大模型公司卷来卷去，卷资本、卷人才、卷算力、卷数据，但是他们永远卷不出来的是什么吗？”
章闻铎茫然地摇了摇头。
“是时间，训练需要计算，计算就需要时间。”赵文渊说道，“你这套异步训练框架，准确率损失这么一点，却把时间直接缩短了一半。别人训练一次的时间，你能训练两次！这有多大价值你知道吗？”
赵文渊笑着又拍了一下章闻铎的肩膀。
“你要是有兴趣，把这个思路写个论文，你放心，引用少不了的。但是现在嘛——”赵文渊说道，“你先把手里的活儿停一停，跟我一起把这套框架写完，我们用到汤圆上。”
“院长，那我现在的项目怎么办啊？”章闻铎问道。
在他心里，显然是世界模型的项目更重要一些。
“你帮我把汤圆的训练搞好了，我批一百——不，二百五十六张l100给你，你的项目做起来比现在快十倍。”
章闻铎没再说话，点了点头。
他站在原地，慢慢消化着赵文渊所说的话。
我原来写出来了这么了不得的东西吗？值二百五十六张卡？
赵文渊没管年轻的章博士对自己的科研成果有什么感想，他现在庆幸的是，用了这个新框架，汤圆1.0的训练应该能赶在五月底之前完成了。
果然，没有韩总在，我就能自己解决问题了。
得跟他汇报一下。
怎么说才能显得云淡风轻又逼味十足呢？
赵文渊回到自己的办公室之后，坐在椅子上仔细想了想，反复斟酌了措辞之后，给韩路一发了一条信息。
“韩总，研究院团队开发了一个新的训练框架，可以把训练速度提升到过去的两倍。预计可以在五月底顺利完成汤圆1.0的训练任务。”
过了一会儿，赵文渊收到了韩路一的消息。
“不错。”
“【猫咪点赞】”
赵文渊感觉自己的一套逼装到了空处，他看着回信，眨了眨眼。
韩总——
什么时候开始用这套表情包了？