第二百六十八章 得一可安天下
“不可能。”薛兆恒脱口而出。
l100是他设计的，各项数据他了如指掌。
汤圆闭源模型，他没见过，也没用过。
但是能做到榜单第一，至少不会比开源的那些模型小。
传言说openai的最新模型gpt-v有万亿级的参数，汤圆能至少也是千亿的量级。
而l100，隔壁的实验室里就有一个l100的小集群在跑着，里面最多只流畅运行过7b（七十亿参数）大小的开源模型，连21b（两百一十亿参数）放上去都卡得不行。
这离能运行汤圆这个级别的闭源模型还差着两个量级的参数量。
现在你说汤圆跑在l100的集群上？
那通信效率怎么解决的？l100的算子库，他手底下的软件团队攻坚了一年多，才覆盖了不到百分之五的使用场景，剩下的怎么补齐？
一瞬间，薛兆恒想了很多，然后他沉下脸来，缓缓开口道：
“韩总，我不知道你说这话是什么意思。”
办公室里只有韩路一和薛兆恒两个人，他抬头看了下门口，接着说：“如果你是想用这套口径出去骗人，说硅明已经突破了英伟达的生态封锁，再借着你源智的名头，把硅明包装出来，那恕我不能配合你。”
韩路一知道薛兆恒对他有戒备，但是对他做出这个猜测还是始料未及。
难道就没有一种可能，算子适配的工程量是挺大，但是你硅明的团队写不出来的，我带着源码的团队已经写完了？
这个可能性显然从头到尾没出现在薛兆恒的脑子里。
谁信，他都不会信。
无论是陆正平，还是周涵，他们都是外行人。听说国产适配之后，只是认为韩路一做了一个技术突破，中国这些年各种各样的技术突破可不在少数。
但是薛兆恒太清楚写这些算子适配和通讯协议所需要的工程量了。
你说花了四五年的时间打磨，终于出了成果，那还可信一点。
可是l100从量产到现在也就一年，那五百张卡交付给源智才两个多月。
两个多月的时间，写个毛线啊？
韩路一本来打算把“源智已经完成了l100的推理适配，汤圆就运行在l100集群上”这件事当做收服薛兆恒和硅明技术团队的筹码。
但是他却没想到，薛兆恒完全不相信。
没办法，韩路一掏出手机，当着薛兆恒打开了云垠数据中心汤圆推理集群的后台面板，直接给他看后台。
他把手机放在桌子中间，转了一下，让它正对着薛兆恒。
“薛总，这是实时数据，你看一下。”
薛兆恒身体前倾，在后台面板上扫了一眼，然后伸出手滑动了一下。
上面是集群负载的各种数据，实时调用量、平均延迟、显存利用率、吞吐、错误率和任务分布等等。
薛兆恒的眼睛盯着其中的几个关键指标，一边看一边和他脑子里的数据进行对比。
很快，他就得出了结论。
假的。
l100的效率没有这么高。
“既然是这样，韩总，那我们没有谈的必要了。”
这次薛兆恒说话的语气已经没有了开始的客气，甚至压抑着怒气。
他已经认定了韩路一是个要借着硅明招摇撞骗的野心家，已经盘算着要怎么破坏这次交易了——虽然说实话，作为一个小股东，他能做的不多。
但他宁愿硅明破产，也不能眼睁睁看着硅明成为别人骗钱的工具。
证明自己没造假是一件很难的事情，因为一旦别人怀疑你造假，任何证据在他们看来都有可能是伪造的。
韩路一已经经历过很多次这种事了，但他没料到的是，这个薛兆恒这么固执，面板摆在面前了也不信。
他也不在意薛兆恒话里的冒犯，提出了最后一个方法。
“薛总，硅明有现成的测试环境吗？”
薛兆恒听了这话，明显一愣。
现在还不放弃吗？
“有。”
“什么规模？”
“隔壁的机房里有一个小集群，三十二张，是我们做内部验证的。”
韩路一点了点头，说：“三十二张够了，薛总，不介意带我去机房看看吧？”
薛兆恒知道韩路一还是要坚持刚才那套说辞。
他没有拒绝的理由，而且，到这个时候，他心底也有了一丝松动。
l100，真有这么厉害？
两人站起来，一起出了办公室。
……
硅明的机房就在隔壁，严格来说，那也算不上是标准意义上的机房。
只是办公楼里一个房间改造的。
既没有冷暖风通道，也没有湿度控制，更没有静电屏蔽。
几台服务器机柜就那么立在房间的中间，风扇发出嗡嗡的响声。
机房里没人。
这个时间，团队都下班了，薛兆恒是为了见韩路一特意等在这的。
但是他有机房和服务器集群的全部权限。
“韩总，您打算怎么验证？”薛兆恒问。
“你自己也说了，l100集群想要运行千亿级的大模型至少要解决两个难题。”
“是的，通信效率，和算子库。”薛兆恒点点头。
虽然从大类上说只有两个，可这里面的技术挑战可太多了。
就拿算子库来说，英伟达的生态是一点儿一点儿磨出来的水磨功夫，不只是算子全，他们还一直在调优。同一个运算给模型，在英伟达的显卡上用cuda，就是快；换了别的生态，就快不起来。
l100要想做到同样的事情，得软件硬件架构等多个团队的工程师通力合作，找到最高效率的参数。
可以说，cuda生态的根基就在这里。
“这两个难题，我们解决了。”韩路一说这话的时候显得轻描淡写，熟悉他的人肯定知道他是故意的。
薛兆恒对韩路一的风格还不熟悉，但是他也觉得自己被嘲讽了。
你知道自己在说什么吗？
韩路一没理会薛兆恒的反应，从兜里拿出一个u盘。
这u盘是他刚才在外面找刘彧要的，里面是空的，说话的功夫他已经把源智私有代码库里的适配文件用视界写了进去。
薛兆恒还以为这是韩路一提前准备好的。
“这是源智的团队重写的运行时和算子适配，你可以试着用一下，再去部署一个开源模型。”
听了这句话，薛兆恒脸上露出将信将疑的表情：“你是说，源智抛开硅明提供的软件层，完全重写了？还能达到运行接近cuda的水平？”
韩路一没说话，把手里的u盘又往前递了递。
薛兆恒接了过来，插进了机房里连着服务器集群的一台电脑。
整个机房里的服务器都是内部局域网，他倒不太担心u盘里是病毒。
但他实在不太相信源智有能力做到韩路一刚才说的那些事。
那不真成中国英伟达了吗？
u盘里是几个编译后的文件，文件命名很规范，恰好可以替换掉现在l100的软件栈中算子库和运行时的部分。
甚至都不需要韩路一指导，薛兆恒就知道该把文件复制到哪，然后重新启动了服务器。
重启的过程中，这些新存入硬盘的二进制文件就会被加载到内存中，被服务器集群使用。
控制台的终端开始滚动日志。
l100 backend detected.（检测到l100后台）
runtime initialized.（运行时已初始化）
kernel fusion enabled.（算子融合已启用）
memory planner initialized.（显存规划已初始化）
multi-card scheduler ready.（多卡调度准备就绪）
服务加载完成。
21b模型开始进入运行状态。
薛兆恒的呼吸微微有些急促。
他没有去手动输入问题，看模型的回复。
模型回复什么，是做模型的人该考虑的问题。
他只需要考虑硬件的性能和利用效率。
服务器里有硅明平时用来测试的脚本，可以大量生成模型输入，对模型的承载能力进行压测。
薛兆恒没有犹豫，开始运行测试脚本。
监控上的数值开始发生变化。
最先跳动的是显存利用率。
之前跑开源小模型，硅明自己的算子库连显存都分配不好，七成的显存白白空在那里。
现在这个数字远远超过了30%。
75%……82%……88%……
最后差不多稳定在了95%的位置。
压测脚本在没有检测到回灌压力之前，还在加大并发。
现在实时的吞吐量数字已经达到了二十五万词元/秒。
薛兆恒知道，同样的测试，上一次跑的时候卡在两万就上不去了。
在算力芯片上，真正能衡量软件水平的是一个关键指标，叫模型算力利用率（model flop utilization， mfu）。但是这个指标没有直接显示在面板上，因为要计算它需要使用芯片算力的极限值。
如果理论上芯片能跑1000 tflops，你的模型实际只用到了200 tflops，那mfu就是20%。
跑21b模型，每生成一个词元需要2 x 21b，即大概42 gflops。
二十五万词元每秒对应 250000 x 42 gflops = 10500 tflops。
l100的理论算力是600 tflops，32卡集群就是 32 x 600 = 19200 tflops。
10500 / 19200 = 54.7%
54.7%？
薛兆恒心算完之后，总觉得自己算错了位数。
他在电脑上打开计算器，又重新算了一遍。
真的是54.7%。
要知道，英伟达最先进的h200显卡，mfu的极限水平也只在60%左右。
薛兆恒这个时候心跳快得就像他二十多年前和老婆结婚的那个晚上。
他一直以为l100的思路不对，硅明走到今天的这个地步，是因为芯片设计失败了。
但是这一刻，他意识到，他缺的只是一套软件。
有了这套软件，硅明就真成了中国的英伟达了。
薛兆恒缓缓起身，回头看向了韩路一，只见韩路一脸上正带着若有若无的笑容看着他。
“薛总，我没骗你吧？”韩路一说道。
薛兆恒依然能听到自己胸口剧烈的心跳声。
这是这么多年，他离自己的梦想最近的一刻。
算力国产化，真的在他手中实现了。
又深呼吸了几次，薛兆恒才开口道：“韩总，对不起。”
韩路一还没来得及说话，薛兆恒又接着说：“我为我刚才的傲慢向您道歉，这套软件的价值比l100大，比硅明大，我竟然以为您是个骗子。”
韩路一上前一步，拍了拍薛兆恒的肩膀，笑着说：“薛总言重了，你这样严谨的作风正是芯片研发中最需要的，我还指望你将来能带队做出更好的芯片呢。”
“况且，软件和硬件缺一不可，说不上哪个价值更大。没有l100，软件层也只是空中楼阁罢了。”韩路一给薛兆恒递了个台阶下。
但薛兆恒心里清楚，这个适配软件层不是两家合作攻坚出来的，而是源智的团队全靠逆向自己做出来的，能做出硅明的，自然也能做出别家显卡的。
真正稀缺的根本就不是显卡，而是这种快速完成软件层适配的能力。
硅明被选中，是他的幸运。
就这几百兆的适配层，u盘传输进来只要几秒钟，可是有了这几百兆的文件，硅明二十亿的估值怕是要翻一百倍以上。
要知道，全中国都在找一个突破英伟达体系的国产化替代方案。
而中国ai芯片市场的规模在3年前就达到了三千亿。
即使只拿下其中的百分之十，也是三百亿的营收，完全可以支撑起一家几千亿市值的公司。
薛兆恒虽然不是个成功的商人，但是毕竟在芯片行业做了这么多年，对这些数字了如指掌。
但是他没有对源智提供的文件动歪心思，反而在内心对韩路一的信任充满感激，要知道，他完全有可能偷偷留下备份，反手就把这件事告诉投资人。
但是薛兆恒知道，源智团队的技术能力，价值远高于这几百兆的文件。
让硅明和源智合作，才有可能继续探索国产算力的极限。
当然，薛兆恒不知道的是，韩路一之所以这么放心的把u盘交给他，是因为机房里的一切电子设备都在视界的监控之下，即使他真的想偷偷备份一份适配文件，也会在第一时间发现并删除。
还好，他没机会发现这个魔法一般的防御机制了。
薛兆恒把适配文件删除，集群重启之后，和韩路一一前一后走出了机房。
时间已经是晚上八点了。
“韩总，时间有点儿晚了，您今天又舟车劳顿，我就不留您吃饭了。”薛兆恒说这话的时候脸上带着不好意思的干笑，“您好好休息，明天看完库存，我再请您吃鹏城的特色。”
说起来，薛兆恒这个创业公司的ceo，过得可比韩路一寒酸多了，不仅没有秘书、助理，连司机也没有。
他这么着急要见韩路一，本来就有失礼数了，又拖到这么晚，想安排个宴请，身边连个人都没有，只好尴尬地送未来老板离开。
好在韩路一也不在意这些。
在他看来，工作优先，能把薛兆恒拉进队伍，将来死心塌地地搞研发，这几个小时就没有白花。
硅明的交易成功之后，至少汤圆短期之内的推理算力是解决了。
薛兆恒一直送着韩路一上了车，车门关上之前，韩路一再次看了一眼薛兆恒的属性面板。
【薛兆恒】
【研发（芯片）ss｜管理d｜稳定ss】
【特技：芯片研发｜供应链管理】
【词条：从无到有｜凤雏】
“韩总，回酒店？”刘彧坐在副驾驶上，回头问了一句。
韩路一回头看向陆明洲：“明洲，你来了两天了，吃过什么好吃的馆子没？咱们先去把晚饭吃了。”
说完，韩路一看向窗外。
卧龙凤雏，得一可安天下。
现在两人都在我手，英伟达，你又将如何应对呢？