管理
算力极度紧缺
金一平 / 2023-11-07 09:02 发布
【国盛通信】openAI开发者大会总结:自定义GPT发布,API升级多模态,成本进一步降低
?自定义GPT:GPT仅需3分钟便能创造一个属于自己的gpt,可以根据上传的内容,专业性的回答相关联内容,可以面向任何人开放,GPT开发者可以像IOS开发者一样,生成各种自定义的GPT,并通过这些GPT赚取利润,openAI未来还将上线GPTs商店,帮助开发者共创价值。
?API升级多模态:现有的GPT-4 API升级为GPT-4 Turbo,包含了全新的6项更新,分别是:上下文窗口提高到128k(相当于300页书籍);更多控制;多模态视觉、DALL-E 3和语音API一起开放;GPT-4微调开放;双倍GPTR-4调用速率限制开放。此外全新Assistants API,包含了检索、代码解释器等新功能。
?成本降低:GPT-4 Turbo输入降价到原来的1/3,为1美分每千token,输出降价到原来的1/2,为3美分每千token,同时不再设置上下文长度区分,统一128k,代码解释器按绘画次数收费,每次三美分,检索则根据容量和天数收费。
[玫瑰]GPT将拥有无限性格,更强的能力&更低的成本,AI商业化再加速!
本次升级后,针对不同场景不同方向,每个人都能调配出属于自己的专业GPT,未来每个人都可以通过自己定义的GPT来赚取利润。API能力的持续升级,也意味着开发者能够创造更强大的工具,结合更低成本,AI商业化再加速。
?正循环开启,重视算力、算力/模型调优、应用等环节。
GPT商业化的加速发展,对整个产业的实现商业模式正循环意义重大,模型能力的提升、应用的大规模落地,对算力将带来持续的需求升级,同时降成本诉求下,产业需求将向单位算力更高的产品切换,相应的调优层面需求也将进一步突显。最后,关注AI应用创新带了的巨大市场。
?算力:英伟达、博通、arista、中际旭创、天孚通信、新易盛、腾景科技、源杰科技、盛科通信、cohr、lite等;算力/模型调优:恒为科技、思特奇、中贝通信、中科金财、东方材料、博瑞数据、中科曙光等。
风险提示:AI发展不及预期;产业竞争加剧。
【中信前瞻】OpenAI开发者大会速览:发布GPT Store与个人助手API,模型成本再次下降
————————
[庆祝]近日,OpenAI召开第一届发者大会OpenAI DevDay上,OpenAI宣布,目前有大概200万开发者,在500强中有92%用了GPT改善工作流,周活有将近1亿用户。并推出自定义版本的ChatGPT,并升级GPT-4 版本至GPT-4 Turbo,会议内容如下:
[庆祝]【发布定制版GPT平台GPT Store】
该平台为低代码编辑平台,用户无需编写代码就可以创建自己的GPT,OpenAI现在提供示例GPT给ChatGPT Plus 和企业版ChatGPT的用户试用,包括AI图像生成App Canva 和AI自动化集成功能Zapier AI Actions。本月晚些时候,将推出GPT商店GPT Store,提供用户编写好的的程序供下载。对于ChatGPT Plus,OpenAI称,已经将它的信息更新到今年4月,用户无需在不同模型之间切换即可访问DALL·E、浏览和做数据分析。用户还可以附加文件,让ChatGPT 搜索 PDF 和其他类型的文档。
【发布Turbo版GPT 4】
GPT4 Turbo版提供128k的上下文窗口,信息更新至今年4月,相比原版GPT-4,Turbo版的收费大幅下降,其输入token的收费价0.01美元,便宜三倍,输出token的价格为0.03美元,便宜两倍。OpenAI同时更新了GPT-3.5,推出Turbo版的默认支持16k上下文窗口GPT-3.5,输入token和输出token收费也分别比原版便宜三倍和两倍,价格分别为0.001 美元和0.002美元。
【发布AI API助手Assistants API】
Assistants API 提供了代码解释器、检索以及函数调用等新功能,可以处理以前开发者必须自己完成的大量繁重工作,从而让开发者能构建高质量的AI应用。GPT-4平台增加了新的多模态功能,包括视觉、图像创建 (DALL·E 3) 和文本转语音 (TTS)。图像创建方面,OpenAI提供不同的格式和质量选项,每生成一张图像起售价为0.04美元。新TTS模型提供六种预设声音可选以及两种模型变体:tts-1 和 tts-1-hd。前者针对实时用例进行优化,后者 针对质量进行优化。每输入1000 个字符起售价0.015美元。
【财通计算机】OpenAI开启横向平台化拓展,加速AI应用生态百花齐放
[太阳]事件:11月7日凌晨,OpenAI举办其首届开发者大会,发布了全新的GPT-4 Turbo、更新版的ChatGPT、GPTs产品,并发布了Assistant API等开发者工具。
✅发布GPT-4 Turbo:
• 支持128k上下文长度:可以在单个提示中容纳相当于 300 多页的文本;
• 更好的控制:新增JSON Mode、更新了function calling功能、调试模型的控制工具;
• 更新知识截止日期:知识更新至2023年4月;
• 新的模态:发布DALLE-3、GPT-3、TTS的API、开源Whisper 3;
• 定制化模型:微调服务扩展至gpt-3.5-16k,开启gpt-4微调的实验性访问项目;
• 更高的速率限制:将所有gpt-4用户的tokens per minute提高一倍;
• 更便宜的价格:gpt-4-turbo整体较gpt-4便宜了2.75x,gpt-3.5-turbo 16k也较此前的4k版本全面降价。
✅ChatGPT产品更新:
• ChatGPT可以自动选择可调用的模块,例如browsing、plugins、dalle;
• 发布更新版本的gpt-3.5-turbo,默认支持16k上下文长度,以及改进的指令跟踪、JSON模型、函数调用。
✅发布GPTs:
• GPTs是针对特定目的进行自定义的ChatGPT版本;
• 现场演示了Zapier、Canva、Code.org的使用案例;
• 介绍了如何用自然语言对话创建GPT;
• 介绍了GPT商店,允许用户公开分享自己创建的GPT、与优秀的创造者分享收入、商店将在本月推出。
✅发布Assistant API(beta):
• Assistants API是OpenAI帮助开发人员在自己的应用程序中构建类似代理的体验的第一步,无需代码即可创建高质量的助手;
• 发布的新工具包括代码解释器(Code Interpreter)、检索(Retrieval)以及函数调用(Function calling)。
近日,国内AI服务器市场最令人关注的一则消息是“阿里云A100服务器业务暂停出租”,不过这一消息并未得到证实,但却引起市场担忧。这也侧面反映了国内算力紧缺的不争事实。
在业内看来,算力资源紧缺的确催生了一门“好生意”,即算力租赁。这一赛道上,不仅有中贝通信、云赛智联、恒为科技等传统IDC服务商参与,更有恒润股份、鸿博股份、莲花健康等跨界玩家下场。
市场预计,随着算力供需矛盾升级,算力租赁或将进入新一轮涨价周期。另一方面,在英伟达芯片管制背景下,不少算力运营方正在寻找算力国产替代机会。在业内看来,构建AI算力市场“第二极”是必经之路,这也有望加速解决“有没有”与“好不好用“的问题。
涨价传导至租赁市场
近日,有消息称,因算力需求旺盛、供给紧张,阿里云官网已经暂停A100服务器出租业务。市场普遍猜测,阿里云目前已经无货可用于对外出租,但这一消息并未得到证实。
国盛证券在一研报中称,随着拿卡难度加大,算力运营方开始已经“抢单”,H800服务器的报价甚至上冲300万/台。而硬件成本上涨已传导至算力租赁报价。
以中贝通信为例,该公司在9月初签订一份算力服务协议显示,其以H800设备为基础搭建算力服务平台,提供960P算力服务,服务费为含税12万元/P/年。而在10月25日,该公司另一份协议显示,其向对方租赁容量为800P算力资源,租赁价格到了2.5万美元/P/年(按照当日汇率折算17.9万元人民币)。
“AI算力需求很旺盛,互联网大厂开始选择能租就不买战略,这与之前互联网大厂自建数据中心形成鲜明反差,这就造成了租赁市场景气度持续上行,”国内一家头部IDC厂商人士告诉记者。
但在他看来,供给失衡还有另一层因素。“因为算力还是偏重资产投资,所以这轮扩张中,传统IDC厂商参与的较少,”他同时表示。
浙商证券在一份研报中举例,GPT-3训练使用了128台英伟达A100服务器(训练34天),对应640P算力,GPT-4模型训练使用了3125台英伟达A100 服务器(训练90-100天),对应15625P算力。从GPT-3至GPT-4模型参数规模增加约10倍,但用于训练的GPU数量增加了近24倍。
因此,在该机构看来,国内15家头部大模型厂商对标GPT-3模型的训练需求,需要1920台A100/A800服务器,对应15360张GPU。而如果考虑国内5家头部大模型厂商对标GPT-4模型的训练需求,则额外需要13705台A100/A800服务器,对应近11万张GPU。
不过,国内获得芯片渠道已经明显受阻。美国商务部工业与安全局(BIS)上周更新了《先进计算芯片和半导体制造设备出口管制规则》,此举旨在限制中国先进制程工艺和AI领域发展,国内主要的A800、H800等产品均受到影响。
可挖掘增量空间有限
国盛证券认为,短期内,算力供需两侧将出现阶段性失衡,部分先发优势的公司已有一定规模的算力储备,在手算力的价值有望因稀缺性提升。市场普遍认为,算力租赁有望迎来一波“涨价潮”。
在二级市场上,10月末到11月初,算力租赁概念本已经恢复冷静,个别股票出现回落甚至一度跌停。但在11月6日,这一概念再度集体拉涨。截至收盘时,中贝通信涨幅接近7%,锐捷网络、优刻得、弘信电子也纷纷涨逾6%。
优刻得预期在11月16日上海机构调研。
承风金平 20231107