第四百零六章 温度、K和P
韩路一一大早就收到了马小飞的信息。
马小飞：义父！金主爸爸！救救我吧！
韩路一回了个问号。
马小飞直接把视频打过来了。
视频接通，他的那张长满青春痘的长脸出现在画面里，满脸都是苦涩。
“我实在是写不出来了啊！”马小飞哭丧着脸说。
“写不出来就太监吧。”韩路一给他指了条明路，“你什么时候开始写小说的？”
“什么小说？我是说脚本写不出来了啊。你没看我都三天没更新视频了吗？”马小飞被韩路一说的一头雾水。
韩路一猛的拍了一下脑门。
他最近都在忙算力的事，早把马小飞那边几百万的小生意抛到脑后了。
看视频更是完全没有时间了。
“你要是没灵感，要不你问问汤圆，问我也没用啊。”韩路一说道。
哪知道马小飞一脸严肃的说：“老韩，我不是没灵感，我是没知识！”
韩路一看着一脸自豪的马小飞，不知道他在自豪什么。
马小飞终于说明了来意，他是来要资源的：“上次你来做的那个《小飞聊AI》是我现在所有的系列里播放量最高的，也是催更最多的，但是除了你，我实在是没有AI圈的人脉了。你再来给我录一期呗。”
韩路一面露无奈：“马哥，小马哥，你也不能按着我一个人薅啊。”
“不然你把你们公司的计算机科学家介绍给我也行，你们搞AI的公司，总不至于只有你一个人懂AI吧？”
马小飞尽量把眼睛睁大，做出楚楚可怜的样子：“求你了，义父！这个系列当初还是你提议做的呢，你当时不是答应我要给我提供人脉资源吗？”
韩路一想了想，我当时答应过吗？
可能真的答应过。
然后他想了一圈周围的人，赵文渊倒是可以，但是他人在京城呢。
现在研究院的人都在京城呢。
难道让马小飞连线采访？
——倒也不是不行，但是韩路一转念一想，又想起一个人来。
“等我帮你问问啊。”韩路一说道，“工作日人家要上班肯定不行，周末行不行？我看能不能把人给你约出来。”
“行啊！”马小飞大气地说，“我现在就给一波放假，让他把周末的时间留出来。”
韩路一从字里行间听着感觉马小飞的这个新媒体公司好像管理不是很正规。
不过他在心里默念了几句：我是世界上最好的投资人，只给钱，不干预管理……
强行把吐槽马小飞管理风格的想法压下去了。
可能新媒体就是这样的风格吧。
把马小飞的电话挂断，韩路一马上又拨了下一个电话。
很快，对面就接起来了。
“韩总，这啥风儿给你吹我这儿嘎达了？”一个热情的声音响了起来。
韩路一听见这声音就喜庆，忍不住笑了出来。
“大海兄，我有个不情之请。我有个朋友是做自媒体的，最近做一个访谈类节目，想采访一些AI方向的专家，不知道你有没有空来聊聊？”
“就是那个《小飞聊AI》？”刘大海问道。
这下轮到韩路一惊讶了。
“怎么连你也知道这个？”
刘大海哈哈大笑：“韩总，您上的访谈，咱们全中国搞人工智能的，有一个算一个，哪有没看过的？这节目让我去当第二期嘉宾，我可太荣幸了，排在您后面，那我也算是中国AI第二人了不是？这样，您把马小飞的联系方式发给我，我和他商量时间，您看成不？”
然后他又补了一句：“不过，接受采访这个事，我得和郑总打个报告，有关公司的事情是不能说的。”
韩路一自然答应。
他也是鼎盛出来的，怎么会不知道这个规矩呢。
事是谈妥了，但是韩路一挂断电话之后的第一反应是：
完了，老赵不会吃醋吧？
……
记住更新地址不迷路：?еq?х?.оｒg、DeQiXs.Org、dEqIxS.oRg、DEQixS.ORG、、DeqIxS.orG、dEQiXs.OrG、DEqIXs.oRg、DeqixS.ORG、dEqIXS.oRg、?eq?xs.?rg、??q?x?.orɡ、??q?x?.??g、?eq???.?rɡ、??q?xs.??ɡ、??q?x?orɡ、?eq???.?rg、??q?xs.??ɡ或者必应搜索：德其小说网
周六，刘大海跟着导航开车来到了马小飞给的地址。
一路上越开越荒凉。
最后停的楼偏的和他回东北老家了似的。
刘大海都不知道海城还有这么荒的地方。
看起来地址没错，他还特意给马小飞打了个电话确认。
不一会，马小飞就带着摄影刘一波下来接他了。
至此，马小飞的工作室，终于迎来了韩路一之后的第一个嘉宾。
先是简单的自我介绍，刘大海热情的和刘一波打招呼：“你好你好，还是个本家。”
刘一波有点儿不敢握手都。
俩人一个是独立工作室的小摄影，一个是鼎盛的首席科学家，差距太大。
也就是马小飞混不吝的性格不在意这个。
进到工作室的拍摄区，马小飞和刘一波一起把灯光架好，然后问刘大海：“大海老师，咱们可以开始了吗？”
刘大海愣了愣：“马总，咱们不用化化妆？”
这不是刘大海第一次面对镜头了，节目录制现场他也去过，虽说几个人都是男的，但是一般妆造的环节还是有的吧？
马小飞一笑：“大海老师，咱们这个是知识类节目，不是颜值主播，就不整那些了，全靠大海老师的学识来吸引观众。”
“额，好吧。”
刘大海心想，早知道稍微穿正式点，没想到没有妆造环节。
主要刘大海上次看韩路一的那个访谈视频里，韩路一容光焕发侃侃而谈的样子，让人印象深刻。
现在想想，人家可能不是靠化妆。
很快，拍摄开始。
马小飞对着中间的镜头开始说道：“大家好，欢迎来到《小飞聊AI》第二期，这一期节目我们请来了著名的人工智能专家，刘大海博士。刘大海博士曾经在OpenAI等海外知名公司任职，现在担任鼎盛人工智能研究院的首席科学家——”
刘大海坐在原地对着镜头点了点头，露出光滑的头顶。
“今天请大海老师来呢，我也想趁机问一下我之前一直不懂的问题。”马小飞说道，“因为我也是学计算机出身的，我们当时学习的时候呢，这个电脑里的东西，你输入一个A，它就会输出一个B，虽然里面的逻辑可能复杂，但是如果输入相同，输出就应该相同这一点是不会变的。”
马小飞用手指向半空中。
“但是怎么到了AI的时代，这个规律就变了呢？怎么每次同样一句话问进去，我拿到的答案不一样呢？”马小飞问道。
刘大海看了看马小飞的手：“马总，你这是整啥呢？”
刘一波一捂眼。
幸好不是直播。
“大海老师，您叫我小飞就行。”马小飞看了看自己手，“后期不是还得加特效吗？我这是给后期留位置。”
刘大海恍然大悟：“不好意思，第一次没经验，咱们要不重新录？”
“不用不用，大海老师，这个后期剪掉就行，您直接回答我的问题就可以了。”
刘大海点点头，开始解释：“小飞，你这个问题其实问得特别好，大语言模型的本质其实就是一个概率生成器，它本质上只负责一件事，就是预测下一个词元。”
“咱们现在模拟一下哈。”刘大海说，“我说一个词，你就跟着说一个词，想表达什么意思你不用管，只要最后这句话通顺就行。”
“今天。”刘大海说了一个词，然后停了下来。
“天气。”马小飞接上。
“真。”
今天天天气真？马小飞快速想了一下：“好！”
一句话连起来就是“今天天气真好”。
刘大海点点头：“你看，咱们刚才就完成了一次大模型的推理，我说完今天，你其实说什么都可以，你可以说‘今天天气’，也可以说‘今天明天’，然后等我说完‘真’之后，你的选择又都变了。”
刘大海伸出手，一个手指一个手指点：“可以是好，可以是热，也可以是冷。”
“从我们刚才的那点儿上下文里，只靠‘今天天气真’几个字，可能统计出来下一个词是‘好’的概率有40%，‘热’是30%，‘冷’是20%，其他乱七八糟的加起来也有10%。”
“既然这样。”马小飞疑惑的问，“那就选概率最高的不就行了？”
“如果我每次输入‘今天天气真’之后都出现一个‘好’字，那还是AI吗？”刘大海问道，“或者说，那还有用吗？”
马小飞皱着眉头。
听着是没什么用了。
“那刚才那个例子，模型的分布比例是40，30，20还好，多试几次，几个选项都有可能出现，但要是那种统计出来是80，10，8这种分布呢？是不是就只会出现概率最高的那个了？”马小飞问道。
刘大海惊讶的看了看马小飞：“小飞，你很有天赋啊，咱们机器学习里专门就有一个工具是来解决这个问题的！”
他模仿着马小飞刚才的样子，朝着半空中伸出手。
“所有的模型设置里，都会有一个参数，叫Temperature，也就是中文的温度。”
然后他对马小飞说了一句：“这块后期加特效哈。”
马小飞笑了笑。
不愧是博士，学的真快。
“那这个温度怎么解决呢？”马小飞问道。
“简单的说，这是一个可以把概率分布拉平的操作。”刘大海说道，“假设你的数据概率分布就是很极端，前四高的选项分别对应的概率是90，3，3，3。那你可能无论怎么选，选到的都是90的那个。但是通过把温度调高，我们可以把总体的概率变成30，22，22，22，调整之后几个选项之间的排序不变，但是分布更均匀了，你选到小选项的概率也变大了。”
“我们这样做的根本原因，是因为我们知道统计规律高的结果并不一定是最好的，所以我们通过人为操作概率的方式，让结果出现更多的变量。”
马小飞一脸“我听懂了”的表情，说道：“大海老师，我以前也在各种界面上看到过这个温度的选项，一直不明白是干什么的，你这一说我就明白了。所以，温度越低，模型就越冷静，输出也就越固定；温度越高，模型就越激情，输出也就越随机。”
“我总结的没错吧？”
刘大海面露犹豫。
总结的是没错，但是激情什么的，这用词对吗？
“那除了温度之外，模型里还有什么常用的参数呢？”
“还是两个和温度经常出现的参数，一个是Top K，一个是Top P。”刘大海说道，“咱们先说Top K吧。”
“你知道，现在的大模型是很大的，几万亿个参数，一个输入的对应输出可能有几万个可能性，如果我们把他们都算一遍，又慢又浪费资源，为了避免浪费，我们就选择只把前K个放到候选池里，其他的就不放了。”
马小飞点了点头。
这个倒是简单明白。
“那Top P呢？”
刘大海也许是好久没给人讲课了，也越谈越兴起。
“这个P在这里是概率的意思，Probability。咱们先说它解决什么问题，你比如说，我输入一句‘中国的首都是’，你说答案是什么？”
“是京城啊。”马小飞秒答。
“对，这属于事实性答案，是不允许错的，但是在模型里还是有别的选项有很小的概率的，比如‘金陵’，比如‘长安’，在预料里也存在，按照我们刚才的说法，这些选项也可能被输出。”
刘大海说道：“可是我们不想让他被输出，我们只想要最确定的那些答案，所以我们可以设定一个P=0.95，这样只要我们收集到的选项概率超过了0.95，就不会继续收集了。刚才的答案里，‘京城’的原始概率可能高达0.99，答案集里自然不会再出现其他的选项了。”
这个对马小飞来说就有点儿烧脑了。
不过他还是尝试总结了一下。
不懂不是坏事，不懂就要问。
毕竟他能听懂，观众才能听懂嘛。
“所以，Top K是看个数，Top P是看总概率，那这两个数选出来的选项数量不一样的时候听哪个？”马小飞问道。
“哪个小就听哪个。”刘大海回答道，“我们做这些事情都是为了给答案剪枝嘛，不符合任何一个条件都被剪掉了。”
听到这，马小飞松了一口气。
真是一场酣畅淋漓的教学啊。
他看了看手里准备的问题，继续问道：“大海老师，非常感谢你刚才深入浅出的解答，我这还有最后一个问题。”
“你问。”刘大海微笑着说。
“咱们刚才讲到了，一个模型每次输出都不一样，是因为这些参数的设定，让每次推理都有一定的随机性。”马小飞有低头看了一下，然后抬起头，“那有没有一种情况，一个模型会突然降智呢？”
刘大海的笑容一下僵在了脸上。
“马总，你这个问题可不兴问啊。”