第四百一十六章 这才是新时代的API
韩路一把电话接了起来。
“韩总,恭喜啊!”郑晓波爽朗的笑声传了过来。
“郑总,喜从何来啊?竟然值得郑总百忙之中特意给我打电话?”韩路一问道。
“韩总,汤圆API开放这么大的事,整个行业都在讨论,我自然是为这个事情来的。”郑晓波说道,“我听说起源之前一直在为算力的事情困扰,现在API能开放出来,想必是这个瓶颈已经解决了吧?”
“承蒙郑总关心,确实有一些进展。”韩路一回答道。
郑晓波说的都是些废话。
起源缺算力这件事,在全行业都不是秘密。
而且因为实体清单的限制,起源是完全买不到英伟达的显卡,韩路一也不打算买,所以才另辟蹊径,把资源全投在算力国产化上。
这个方向究竟要多久才能出成果,之前没人能打包票,直到起源突然冒出来,借着官方的名义组织起了国产算力联盟,大家才反应过来:
还真给他们做出来了。
现在算力联盟里既有鼎盛的全资子公司,也有鼎盛参与投资的公司,起源在推国产算力联盟就是为了解决算力不足的问题,这个事大家都心知肚明,郑晓波更没理由不知道。
甚至连起源手里到底有多少卡,多少算力,都能从业内人士那拼凑出来。
所以他打电话来肯定不是担心算力的。
“郑总还有什么别的提点?”韩路一问道。
郑晓波又哈哈大笑了几声:“韩总真是敏锐,我确实是无事不登三宝殿,这次是有个不情之请。”
“郑总请讲。”
“汤圆的市场反响这么热烈,韩总就算手里有多余的算力,应该也快到顶了吧?”郑晓波的声音严肃起来,“不知道韩总考不考虑把模型部署到鼎盛云上来,由我们来卖?你有模型,我有算力,你有市场,我有客户基础,这是合则两利的事情。”
韩路一冷冷一笑。
“郑总的算盘打得不错,只是和贵司合作,我心里不是很有底。上次的事情,如果不是吕总亲自出面,恐怕不会结束得那么简单吧?”
这鼎盛还真是好了伤疤忘了疼,上次汤圆0.9在鼎盛云上跑的训练,标注数据被他们偷去训练坤元,这才过去没两个月,还想故技重施?
谁能保证你们不会再偷一次?
把模型部署在别人的计算卡上,显存里的东西一目了然,模型的参数和权重基本上是全开放的。
为什么Nexus AI敢把自己的模型放在谷歌云上?为什么OpenAI把自己的模型都部署在微软的Azure云上?就是因为他们之间不只是合作伙伴,还有直接的投资关系。
不然的话,他们也怕参数被偷。
为了解决这种问题英伟达还特意推出了显存加密计算的技术,保证显存里的内容不会被外人读取。
但是说到底,如果你把模型放到别人的硬件上跑,不论怎么加密都没用,就算真能保证参数,被蒸馏也是不可避免的。
以鼎盛和起源之间的关系,这根本就不可能。
郑晓波解释道:“韩总,我们两家之前的误会纯粹是公司里的个人行为,涉事人员都已经被辞退处理了。请你相信,鼎盛云是把客户的隐私放在第一位考虑的,云业务几千亿的市场,现在AI的市场有没有这么大?鼎盛不会为了一个新兴的机会置自己的商誉为不顾的。”
韩路一根本不信。
问题不在于管理上允不允许,问题在于物理上可不可行。
今天你说是个人行为下次偷完了还是个人行为,开除两个人了事呗?
“郑总,这个问题不用聊了,汤圆模型是不会部署到鼎盛云上去的。”
郑晓波又劝道:“韩总,吕总之前和我透露过,如果韩总有意的话,鼎盛可以向起源定向增发,我们两家换股,不知道韩总意下如何?”
韩路一心里一惊。
他们大概是听说了自己和澄江科技之间谈的条件,竟然想了这么一出。
不过不管是按照什么估值来换股,鼎盛肯定是想进董事会的,起源上市的筹备工作已经开始,韩路一不想放他们进来。
“帮我谢谢吕总的好意,但是我们暂时不会考虑这个选项。”韩路一又拒绝道。
“韩总,看来你对鼎盛还有芥蒂,希望不要影响了我们的合作。我注意到,汤圆0.9的模型接口没有开放,在汤圆Chat和御风里也不能指定模型,不知道起源这边是不是已经完全放弃了?能不能把汤圆0.9放到鼎盛云上来?”
郑晓波连续被拒绝两次,好像完全不在意,又提出了第三个选项。
韩路一马上就意识到,这才是他真正的目的。
前面两个提议,韩路一接受了自然好,被拒绝了他也不在意,因为他就是想要一种连续被拒绝两次的状态。
这要等到他第三次再提出一个相当合理的选项的时候,韩路一再想拒绝,心里难免会不好意思。
郑晓波说的没错,在汤圆1.0正式发布之后,汤圆0.9基本上就全面下架了。
至于原因嘛,是因为0.9跟1.0用的其实是同一个预训练的底子,只是后训练使用的标注数据不同,两者的大小差不多,对算力的消耗也差不多,1.0的结果又全面优于0.9,所以没有任何理由还把0.9部署上来。
韩路一暗自考虑,郑晓波想把0.9要过去卖,确实不是不能谈。
刘大海领导研发的坤元2.0用的是和汤圆一样的思路,更干净的数据集加上更复杂的标注数据,各项能力已经提升了不少,和汤圆0.9的差距不算太大,无论他们是直接偷参数还是自己偷偷蒸馏,其实对汤圆1.0都不会有什么影响。
而这一部分用的是鼎盛的算力,起源授权出去,赚个授权费,或者按比例分成,同时还能扩大汤圆的用户基数,总体上来说绝对是利大于弊。
这第三个提议,确实值得韩路一好好考虑。
“郑总,厉害啊。”韩路一感慨了一句,没说是哪里厉害,“汤圆0.9是上一代模型,郑总也感兴趣?”
郑晓波笑着说:“在韩总面前,我哪说得上厉害,鼎盛是综合公司,不只做AI研发,各个事业部我们都要综合考虑。鼎盛云上的企业客户很多都希望我们能上线汤圆模型,我们这也是为客户考虑啊。”
韩路一莫名觉得这话有点儿耳熟。
他突然想起来,自己当年去找天枢云兜售BugKiller的时候不是也是这么说的吗?
不是我们非得来,实在是客户都要求我们上架,我们才来寻求合作的,一切为了客户嘛。
韩路一顿感啼笑皆非。
果然,做起生意来,这世界上的借口都差不多。
“具体的合作条款,郑总是怎么想的?”韩路一问道。
“一口价10个亿,鼎盛买汤圆0.9的授权,怎么样?”
韩路一笑了。
“郑总,这种合作没有一口价的道理。”
“那韩总打算怎么合作呢?”
“郑总既然这么有诚意,那就派人过来谈谈吧。”
“韩总是爽快人。”
郑晓波电话一挂,就把脸上的笑容收了起来。
这个韩路一,成长得太快了,郑晓波已经不能像以前那样对待他了。
郑晓波不敢再轻视他不是因为吕云重视,而是因为起源集团已经成为了人工智能行业不可忽视的一股力量。
他想了想,把秘书叫了进来:“让王浩来一趟,跟他说是和起源下一步合作的事情,让他做做准备。”
“好的,郑总。”
……
时间往回拨两个小时。
鹏城。
九点多的时候,林一舟睁开眼,看着卧室的天花板。
他已经搬离了龙岗的出租屋,而是去南山区新租了一个两室一厅。
其中一间还当卧室用,另外一间则当成了工作室。
这近一个月的时间,林一舟过得如梦似幻。
自从汤圆协议被越来越多的大模型和AI助手接入,购买元宵邮箱的人越来越多。
不到一个月的时间,他已经赚了十万块钱。
十万块!
他做后端开发的时候,就算那个跳槽去的二线中厂,也只能给到税前四十万的年薪,每个月到手才两万多。
现在的收入是那时候的四倍。
而且这是月度订阅,不是买断,也就是说,每个月都是十万,如果付费用户继续增多,后面还会涨。
这就是当风口上的猪的感觉?
可太爽了!
最近购买元宵邮箱的用户越来越多,而且很多用户都来自海外。
显然,相比于国内把很多业务都放在微信里,国外的用户更偏向于重度使用邮箱。
甚至还有很多企业来问协作功能,想要企业采购。
做过SaaS业务的林一舟一下就反应过来,这是真正稳定的收入来源,因为和个人用户不一样,企业采购的流程复杂,一旦批准之后也就不太容易轻易中断了。
但问题是他们的一个主要需求是,不只是让元宵邮箱当一个被AI助手调用的工具,而是希望元宵邮箱能作为一个入口,同时还有那些AI的功能,比如自然语言筛选邮件啊、操作邮件等等。
林一舟当然也想继续抓住这波风口。
但是想要给自己的这个小软件加上AI功能,就必须得在后台调用API了。
这可是真真正正的在开发AI智能体了。
想要制作一个让AI助手能调用的工具,只需要适配汤圆协议就可以了,也就是说让自己的功能能被AI使用就可以了,其实完全不需要什么AI能力。
但是要开发智能体却需要对AI有所了解。
虽然服务的人里有不少国外的用户,但是作为开发者的林一舟人在国内,就只能使用国内模型厂商提供的API了,林一舟已经试过几个不同的选项,最后的结果都不尽如人意。
就拿一个最基本的筛选邮件的功能来说,其实林一舟需要的功能很简单。
如果用户用中文或者英文说:“帮我找出上周的邮件。”
林一舟需要把这个输入连同他写好的系统提示词一起发给AI模型的API。
作为一个传统的后端开发,系统提示词他自然没有什么经验,只能一边在网上搜索别人分享的模板一边自己摸索效果。
第一版是这么写的:
【你是一个邮箱助手,用户使用语言描述他的需求,把这个需求转化为以下命令之一,返回固定格式的JSON文档】
【JSON文档格式为:】后面是一个多层嵌套的JSON格式,然后在元宵邮箱的客户端再写一个解析器(Parser),把这个JSON转化为具体的命令。
【用户输入:】然后在里面填上用户输入的话。
按照道理来说,这个时候API会把客户的需求翻译成一个邮箱软件可以理解的命令,然后软件直接运行就可以了。
但是林一舟惊讶地发现,就这么一个简单的架构,中间的坑竟然这么多。
因为客户有可能说的是:“帮我找出上周需要我回复的邮件。”
这怎么找?
得先把时间范围圈出来,然后把邮件内容发回给API,让它判断是不是需要回复。
但是现在API只会回一种命令,就是系统提示词里规定的那种。
林一舟抓瞎了,系统提示词越写越复杂,接收到回复的处理器也越来越复杂,但是功能上却没有提升多少。
昨天晚上临睡前,又一次尝试失败了,坤元的API返回了一个解析器无法理解的内容,系统报错。
妈的,自己写一个智能体才知道开发智能体又多难啊。
这一个需求卡了林一舟一个多星期了,也没什么进展,不出意外,今天他也要度过在工作室和这个新功能死磕的一天。
从床上爬起来的林一舟在卫生间里一边刷牙一边刷手机,刷到了一个他平时关注的AI博主。
这个博主虽然时不时有点儿干货内容,但是风格实在是浮夸,还喜欢贩卖焦虑,林一舟心不在焉地看着。
“重磅新闻!汤圆1.0模型的API今天正式开放了,如果你还没有听说过汤圆1.0是什么,那你真的OUT了,这就是我们每天使用的汤圆Chat后面的模型。所有关注我的粉丝,我推荐你现在就去注册一个起源开发者平台的账号,真的会改变你的认知……”
博主还在滔滔不绝地输出他的内容,但是林一舟看到这反应过来。
他说什么?
汤圆开API了?
怎么一点儿消息都没有?
林一舟漱了漱口,把嘴里的泡沫都吐出去,然后用手机打开起源官网上关于汤圆模型的内容。
竟然真的开放了!
额度有限,先到先得!
林一舟也顾不得自己还没来得及吃早饭了,从卫生间出来就直奔电脑,先把API的额度买上再说。
林一舟是多年的老开发,这种流程不知道走过多少遍了,很快他就绑好了支付方式,生成了API Key,并且往里充了一千块钱。
他之所以往里充这么多钱,自然是出于对汤圆系列模型一直以来的信任。
就算自己的API开发不顺利,这些额度将来也用得上,不会浪费的。
如果是别的平台,他可不敢这么使劲充值,充进去的钱可不退款,你用不完是你活该。
然后林一舟仔细查看起汤圆1.0 API用法的官方教程来。
里面对如何用汤圆API来开发智能体有详细的讲解,尤其是特别强调了对长程任务该怎么处理。
林一舟看得心头一阵狂跳。
我的这个元宵邮箱里,如果用户需要使用的功能是和邮件内容有关的,那不就是长程任务吗?
果然,汤圆API对智能体相关的长程任务有个新东西:工具调用链。
也就是说,不只是把元宵邮箱需要接收什么告诉汤圆,而是把元宵邮箱能做的所有事情都告诉汤圆,然后由汤圆来决定调用什么功能,后续是不是还要继续和汤圆API交流。
所有需要在客户端实现的复杂逻辑都不用写了,直接交给汤圆去做。
林一舟一边看一边怀疑。
不是不信哈,但是这个写的也有点儿太美好了吧?
不过反正尝试也不复杂,林一舟把之前写的好几十行的系统提示词先注释掉,然后按照官方教程,把元宵邮箱提供的这些功能写成汤圆API接受的工具格式。
其实很好写,格式基本和汤圆协议是一样的。
然后最后只写了一行解析器和一个循环。
准备测试了,林一舟屏住了呼吸——不对,等等,先给循环加一个次数限制,不然模型犯傻一直调用,把我钱花完了怎么办?
林一舟庆幸自己的急智,把这段缺失的逻辑加上了,循环最多执行十次,也就是说最多会对汤圆API发起十次请求。
然后他再次屏住呼吸,在新编译后好的本地开发版输入了那个让他最近无比挫败的命令:“帮我找出上周需要我回复的邮件。”
然后他没等着看结果,而是直接打开开发者模式开始看本地日志。
【发往汤圆API:用户:“帮我找出上周需要我回复的邮件”,工具:……】
【回复:调用工具:按日期筛选邮件,获取邮件内容】
【发往汤圆API:246封邮件内容】
【回复:调用工具:渲染界面,邮件ID*17】
调用两次之后,调用链结束了。
林一舟切回到元宵邮箱的界面,只见他故意生成的两百多封测试邮件里,之前他手动标记出来的、需要回复的那十七封已经被筛选了出来。
此时此刻,林一舟说不出心里是什么感觉。
这也太牛逼了。
这个困扰了他一个多星期的问题,就被这样一个简单的循环给解决了。
之前我测试的那些API都是什么?
这才是新时代的API吧!
林一舟迅速把这个改动提交了,然后在元宵邮箱里输入了一个新的命令:“帮我把所有询问过元宵邮箱AI入口的邮件找出来,统一回复:新功能已经开发完成,预计下周更新。”