第二百九十二章 十七个集群，十七倍算力
听到江松然这话，张彪一愣。
张彪在张家口的机房待了几个月，和海城这边联系最多的就是江松然，其次才是韩路一。
说实话，他一开始和江松然合作是有点儿自卑的。
江松然是美国回来的博士，干的都是高科技的活，有时候嘴里说出来的名词，张彪别说听说过，甚至都听不懂。
而张彪本人呢，虽然在他的领域里，他相信自己不输任何人。
可是一说到硬件、服务器、布线这些，他脑子就犯困。
所以他除了白天的工作之外，每天晚上还会花几个小时的时间和汤圆聊天——学习，学白天遇到的新名词，是什么，干什么用的，学完再写在随身的小本上，时不时拿出来翻看。
这个学习的劲头，甚至比当年在部队考军校还要努力。
神奇的是，随着张彪的学习，他和江松然交流时能听懂的词越来越多了，提出的问题也越来越在关键点上。
如果说谁最能感受到张彪的变化的话，除了江松然，可能只有视界了。
在韩路一眼中，两个月没见，张彪的属性又发生了翻天覆地的变化。
【张彪｜32岁】
【格斗s｜技术c｜协作a｜稳定s】
【特技：机房管理｜近身格斗｜武器使用】
【词条：百战｜坚韧】
别看技术只是c，这也是经过视界认可的，硅明前任ceo薛兆恒的管理可是d，张彪的评价还更高一些。
几人很快进入工作状态，张彪把手里的图纸摊开，用手在上面指着讲解道：“目前八千一百九十二张l100已经全部到场，机柜安装完成九成五，剩下的主要是最后两排的线缆和供电核验。”
“运维团队这边现在分了四个组。”
“第一组负责上架，第二组负责供电和液冷，第三组负责网络和线缆，第四组负责资产编号和故障记录。每一台机器进场之后，扫资产码，再核对槽位，再接电，再接网络，最后统一打标签。”
“每个机柜里哪几张卡，接到哪台交换机，哪条线缆编号多少，都在这张表上。”
如果是电子化的表格记录会更好一些。
但是对于张彪能把现场管理到这种程度，几人都很满意，没人挑表格不是电子版这种毛病。
一般人可能对近万张显卡、几十排机柜没有概念。
光摆放这些机柜的房间就得有三个篮球场那么大。
更何况机柜的安装不是放在那就结束了，供电、液冷、网络、调度，任何一个环节都不能出差错。
真正安装完的机房是个非常拥挤的立体空间，顶上有冷气管道，柜间密密麻麻的走线全在地板下面。
虽然数据中心的工人团队本就熟悉这套流程，但张彪作为唯一的甲方代表，能把这么大的场面管得这么顺，确实不容易。
实际上，江松然本来以为自己过来的一大半时间要花费在指挥机柜的安装上。
没想到他到的时候，安装已经快结束了。
“彪哥，最近几个月学了不少东西啊。”韩路一说了一句，面板上看到的变化虽然直观，但是现实中看到张彪把这些细节管理地井井有条，更有真实感。
张彪脸上表情没什么大的变化，只是点了点头。
但韩路一还是注意到他的嘴角微微动了动。
几人走进机房大楼，隔着玻璃门，可以看见里面摆的整整齐齐的机柜。
韩路一欣慰地点了点头，源智自己的计算资源已经初具规模了。
下午三点十七分，最后一批机柜完成接线。
张彪在对讲机里确认完最后一个点位之后，转身对韩路一说：“韩总，可以开始第一轮通电测试。”
江松然上前接过了指挥权。
在场的人里只有他指挥过这样的大场面。
“供电组收到。”
“液冷组收到。”
“网络组收到。”
“监控平台准备完成。”
“开始上电。”
随着一声声指令下达，一排排指示灯从远处亮起。
绿色的光像潮水一样，从第一排机柜一直蔓延到最后一排。
低沉的风声和水泵声渐渐变大，像一头沉睡的巨兽正在醒来。
江松然站在监控屏前，盯着上面的数字。
供电正常。
温度正常。
液冷流速正常。
单卡自检正常。
第一轮测试很顺利。
张彪松了一口气，旁边几个运维组的人也忍不住交换了一下眼神。
但是江松然知道，真正的挑战才刚开始。
之前的五百卡是跑在同一个集群里，现在的八千一百九十二张卡可以分成了十六个集群，每个的上限都在五百一十二张卡。
这次布线能不能把新的十六个集群都提到跟老集群一样的效率，甚至，还能不能扩大成更大的集群？
以前没有这么多卡，没法试，这次可以试试了。
江松然在机房的控制终端前坐下，开始进行压力测试。
他没一上来就跑五一二卡，而是先从八卡开始。
一般八张显卡会放在一张服务器上，也叫一个节点，这八张卡之间的通信叫做节点内通信，速度更快。
每个机柜会有八台服务器。
五一二卡就是八个机柜。
从节点内通信到节点间通信，再到机柜间通信，每一步都是一个难度升级。
随着测试进入到五一二卡，监控屏幕上的曲线已经不是平滑上涨了，可以见到斜率变缓的趋势。
看了一会监控，江松然更改设置，把两个五一二卡的集群并在了一起。
新任务下发。
这一次，监控屏的曲线发生了明显的变动，延迟迅速上升。
监控屏上出现了一片红色。
“失败了啊——”江松然苦笑了一声。
这其实是预料之中的事情。
大型显卡集群需要从硬件到软件到通信协议各个层级的优化才能实现。
源智的l100集群现在用的是东拼西凑来的各种开源技术，还没来得及进行任何优化。
能达到五一二卡的集群规模已经是谢天谢地了，想要在什么改动都不做的情况下去冲千卡，只能是坠机收尾了。
韩路一收回视界，满眼的红光从视野中消失。
视界定位的结论是：注意力层之后的归约通信，几个任务分片同时撞上了同一批物理链路，触发了跨排链路堵塞。
他正准备开口，江松然先说话了。
“通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说道，“你们看，每次拥塞都在注意力层之后，几个分片同时在跑归约运算，一起发到跨排链路上了，所以每个尖峰都在注意力层后面。”
赵文渊抱着手站在旁边，开口了：“是因为通信协议？”
“是啊，是因为通信协议。”江松然确认道。
然后江松然转向韩路一，语气遗憾：“韩总，现在用的通信模式在五百卡已经是上限了。”
江松然和赵文渊得出了与韩路一一样的结论。
区别是，韩路一是开挂看出来的，视界直接帮他定位到了数据阻塞的地方，也给出了原因。
而江松然和赵文渊却是凭借他们多年的实战经验和技术理解得出的结论。
果然，顶级技术专家的含金量在这里就体现出来了。
人才虽然贵，但贵有贵的道理。
韩路一暗自点头。
视界再厉害，他也只是一个人，他不可能自己攻克所有的技术难关。
团队里有了赵文渊、江松然，以及新加入的薛兆恒这些各个方面的人才，才是源智走得更远的底气。
韩路一的脸上没有失望的表情，反过来安慰两人：“没事，能增加十六个五百卡集群，对我们来说已经是个巨大的进步了，路要一步一步走，饭要一口一口吃。”
“我们现在最迫在眉睫的任务是解决推理算力的问题，推理请求对显存和卡间通信的需求都没有那么大，现在我们有之前十七倍的算力，汤圆的潜力终于可以被释放出来了。”
这话江松然当然也知道。
超大集群主要是训练的需求，推理不需要。
如果按照正常公司的流程，现在要么是采购英伟达的硬件，使用现成的解决方案。
要么就是还远远没有到需要自研超大集群通信的进度。
源智能走到今天这一步，发展过程就像是坐上了火箭。
原本在江松然看来，光解决算子适配的问题就得花几年时间，经过这几天的离奇经历之后，他把这个预期调整成了几个月。
所以，几个月之后，超大集群就得建起来。
所以，一个原本他以为短期内都不会遇到的问题突然变得棘手了起来。
源智现在撞上了一堵墙。
这是一堵到现在为止，只有英伟达跨过去了的墙——
显卡间通信效率。
韩路一看着监控屏幕上满屏的红色警告，笑了一下：“我们会找到办法的。”
江松然看了看完全没有担心神色的赵文渊，又看了看韩路一。
不知道为什么，他心中也生出一股自信来，不仅是对源智科技团队的自信，也是对韩路一的自信。
之前认为解决不了的问题都解决了，难道现在会在这里被卡住吗？
不会的。
江松然没再说话，转身回到了控制终端前，把刚才的测试日志导出来，为下一步技术突破做准备。