有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
78M-78MAP
公交车上最后一排的爱
每走一步楼梯就撞故意顶一下
在哪可以看张津瑜9分
2019姐姐的朋友2
亚1州区2区3区4区产品
同样是B为啥感觉完全不一样
sky-258
快猫记录你记录世界
晚上婆婆叫的厉害
JAPONENSIS18一9
W到你那里滴水流爆水的短文
男朋友咬小兔兔是应该怎么回应
前任4曝体面告别版预告
宝宝家里没人叫大点声
按摩师坐在两腿中间按摩
如何吃到自己的小鸡够不到怎么办
年轻女教师6在线播放
叶渺渺上体育课课被捅了一节作文
水蜜桃1997
国产乱码卡二卡三卡4W
日本乱码卡1卡2卡三卡仙林宗
这个杀手不眨眼
xiaav最新
放里面睡觉是一种怎样的感觉
爱情岛论坛首页推荐
narto henta
cosplay大乱斗
一个人看的视频全免费
丰裕纵满杨玉环2588
感受到它在里面动了吗
云缨拿枪奖励自己视频
硅胶娃娃实战图
亚当的六个女人
一面亲上边一面膜下边文字表达
一面亲上边一面膜
在她流尽了她的乳液之后
小蓝彩虹男GARY2022钙片
自我安抚的步骤图
黑料热点事件-黑料
我和女婿发生了不该发生的
男生插曲女生身全过程
一前一后三个人轮换的英文怎么说
天天啪夜夜干2007
艳娒1一6全集在线高清
美美哒中文日本免费
黑帮老大和我的365天
原神女角色去掉全部衣物
上班的时候突然想要了
色农夫网址导航
阿锵锵锵锵锵锵锵网站
打扑克牌的剧烈运动视频不盖被子
椅子上放一根很光滑的木棍
免费啪视频观试看视频软件
被子里怎么无声自罚
男生女生一起差差打扑克
女生把筷子放屁眼里不能掉图片
5g影库在线年龄确认
湖南某学校秋千门
我C了白丝课代表一整节课
vodafonewifi性
美国白人未成年RAPPER
萌白酱JK白丝喷水视频在线
撑起伽罗的腿疯狂输入的视频网站
上课带着跳D是什么体验
公交车上两人双指探洞天气网
亚洲一线产区二线产区区别在哪儿
领导的东西比老公的大
妇少水多18p
高清MV无字幕视频素材
青梅竹马是消防员 无马
八重神子焯出白水来怎么办
大菠萝福建app导航入口
vide0sdesext姑娘HD
前后攻击1v2
老公才睡完我妈又睡我什么意思呀
直到纯洁的你沦陷未增删谢谢
吃顿饭做四次爱
成 人 色综合
老师把腿抬高我要添你下面
二人扑克剧烈运动视频教程视频
坐在父亲紫色大龙上写作业
美国XXXXXL19学生
人与畜禽CORPORATION
女婿提那要求怎么办
为什么鸡儿总是会无缘无故的硬
老师下面太紧拔不出来怎么矫正呢
羞羞漫画官方登录页面免费漫画弹窗破解版
波多野结衣哪部好看
潮水19岁rapper
CHINAGARY武警体育飞机
一抽一出BGM免费50分
久久自己只精产国品
无限免费观看动漫
洗澡被公强奷60分钟
一天接了8个客人肿了照片
藏经阁官方福利导航
做得你三天起不来
春暖花开炎狼之地
野花视频韩国免费观看
唐三插曲比比东不亦乐乎MBA
国产尺码和欧洲尺码视频
为什么黑人睡过的人没人要
把毛笔放到洞里写字不准掉
妈妈的朋友1在完整有限中字木瓜
B的感觉一样吗
696969大但人文艺术来源
免费网站在线观看人数在哪儿
桃花网视频在线观看
宝宝才三根手指就受不了
亚洲国产精华液网站W
他缓慢而有力的往里挺L
两阳夹一阴后面走势
女儿儿媳陪自己玩的心情说说
公交车最后一排被群C的细节
blued片在线观看高清免费
涨精装满肚子用塞子堵住照片
你们男朋友怎么C你的
我的B就是你的饮水机
老翁真厉害不倒枪
美发室特性服务5G
妈妈的男朋友8 线观 高清
jmcomicios拿走不谢
一面亲上边一面膜下边打扑克视频
麻花传媒MV一二三区别
妈妈的朋友5在线观看线观高清中文
公司办公室强C了我好多次
舒婷1一20全文阅读
丰年轻的继拇中文3应用特色
索多玛的一百二十天
18岁MACBOOKPRO45岁
原神凝光肉身待客抬腿
教授别c我了我在写作业文
凌晨三点看的片日本
用毛笔蘸下面洞里的水写字
xanxus霸史录
人与畜禽CROPROATIO一
儿子以后妈妈的比就是你的了
GY2023小蓝视频
把姬小满C喷了视频最后爆掉了
男男车车的车车视频真人
亚洲乱码无人区卡1卡2卡3
女人为啥进去就老实了
69女POREN女人
怎么一边喘气一边说嗯的声音
黑人荫道BBWBBB大荫道
撩到女生下面流的句子优秀80句
闫凤娇厕所门事件
心动时刻简简单单爱
空姐前规则高清观看韩国
坐公交车日了两个小时文章
雷电将军乳液狂飙VX网址
为什么当兵的晚上很厉害
没带罩子让他C了一节
用电动牙刷自W到高C
曜给镜做剧烈运动的视频
至尊宝用金箍棒桶紫霞
穿成男主的绿茶初恋
男朋友C你的时候怎么说你
国精一二二产品无人区
体育老师C了一整节课
你太大我装不下你
数学课代表的那真紧的作文
班长 求您关掉开关吧
上课跳D突然开到最大视频
伊春园2023入口直达
一面膜上边一面膜下边视频
家里没人可以跟妈妈做
动物胶配方大全高清
抖音奶片已删除的视频
BT天堂网在线WWW最新版官网
97semeimei
雨后的故事 动态图
21CM坐上去感觉是怎么样的
免费30款禁用黄台网站
男人和女人插曲视频
两个人免费视频完整版
在教室里把跳d开到最大
VICTORYDAY老大妈
50岁女人下面还紧吗
姐姐说家里没人我们就亲亲
优质JY灌溉系统游
大尺寸的小黄说说1000字男生
和朋友换娶妻一天
国产一二三四2021精字窝
乌龙派出所221
八重神子去内奖励旅行者
漂亮的保姆完整版免费中文版
麻豆精产一二三产区
任你干在线精品视频网2
台湾佬中文网娱乐网
M HBFAXIA
今天晚上我控制不好速度
宝宝我想吃你胸前的大白兔奶糖
般若关中老人5200
妲己におしおき
亚洲精华国产精华精华液好
整篇都是车的文章校园
高雅人妻被迫沦为玩物电影BD
原神雷电将军被X出液体xman
两个人的免费HD完整版直播
人狗胶配方大全免费
缓慢而有力的往里挺送
海角社区hj4bb
课间小玩具3ph
欧洲最新一卡二卡三卡四卡
在车里被撞了八次高黄
家长让我坐在振动器上写作业
我和好友之间的换Q游戏
BGMBGMBGM老太太毛多多视频1
野花社区日本韩国免费
犯错把筷子放屁眼里不能掉的作文
香蕉丝瓜草莓樱桃草莓榴莲
天堂在线www官网
安迷修被雷狮按震动器
被两个领导夹在中间
堵好了一滴也别流出来作文
被窝里的公息第十三章阅读
FRXXEE中国XXEE医生
错一个题就往阴里装一支笔
一姐rapper潮水太多
宝贝腿开大点我添添公视频网站
校花陈若雪被校长抱到办公室
BGMBGMBGM日本XX
女生说痛了男生越里寨
没带罩子让捏了一节课怎么
doctor strange
冲动的惩罚动漫HD在线播放
浏览器网站免费进入
成品网站w灬源码入口
坐着震动器写作业的感觉作文
邻家有女韩国4
C死了啊哈宝宝的腰好会扭
黑黑的粗粗的长长的是什么
亚洲乱码卡3卡4卡新区
年轻的保姆5线观高清
不知节制地索要了三天三夜视频
51CG.吃瓜特色
VODAFONEWIFI巨大
5G影讯5G探花多人运动最新网站
太子被暗卫C到合不扰腿
老卫淑荣在上船全文阅读
朝俞R车WRITEAS震动器
早上起床抱紧我樱花
奶一被揉和吸就想挺起来怎么回事
最近2018年手机中文字幕
国精产品99永久中国有限公司
密桃成熟时33d国语
蜜中蜜3动漫无修在线观看
40岁阿姨荒野大镖客一
我16岁可以塞几支笔
坐在硬邦邦的rb上面写作业
麻婆豆传媒一区二区三
没有我的允许你一滴也别想尿出来
妈妈用身体做儿子生日礼物
seqingav
接电话时他却突然用力
镜被捅了流口水流白色液体
我的极品岳坶全文阅读
妹妹中考前让我C了一次作文
抽的越厉害声音叫的越大声音
人与畜禽杂交MOUSE农场K9
新兵给老兵吃鸡把照片换了
被C哭是一种什么样的体验知乎
舌と唇と唾液が浓厚
每签一单都要被客户日
97国产精华最好
他的手一直探下去
小男孩把坤坤放在小女孩脚
聂小雨视频3分25是什么内容视频
女朋友的妈妈4完整有翻译
9精产国品一二三产区
同学叫了好几个人来玩我
中国zoom人狗app
老奶奶能叫woman吗
男生讲讲自己第一次细节真实
HD2LINODE国产IPHONE69
练瑜伽时体育老师C了我一节课
狗狗的东西又硬又烫
娇妻笫一次被多P
如何弄到自己喷泉
体育生GARY猛烈GARY
美丽的姑娘日本片
python人马大战
胡桃玩旅行者的小坤坤网站
我想用乌龟蹭你的扇贝是什么意思
母与子2免费观看完整版
西施流眼泪翻白眼咬铁球
输了让同学玩全部位置作文
oldwoman老太中國
迈开腿尝尝你的草莓是什么
刺激妇乱子伦短篇
DH-NVR4116HS-HD
漾出overflow2未增删带翻译
《和搜子居同的日子》
肉超级多的糙汉文古言
八重神子焯出白水来怎么办
男人给女人添P添到高潮吗
言教授要撞坏了笔趣阁相似的小说
maya成人论坛
男生捏我的小兔兔描述
妈妈的朋友4电影中字翻译
早上醒来巨大还在里面
妈妈的朋友6在完整有限中字
97semeimei
被C到走不了路是什么感觉
雷电将军被旅行者淦出水
穿裙子就是好c
深度开发1v3梁医生
14MAY18XXXXXL日本
品色永远免费堂
龙口护士门视频在线观看
二人生孩子全程不盖被子视频
中文字字幕在线乱码视频
跨坐着腰腹吞没
日产无人区一线二线三线乱码蘑菇
处破女处破全过
老人船上弄雨婷第12章
男朋友为什么老是吸我的兔子
野花香在线观看免费高清播放视频
夹枪带棒(1V2)
迈开腿尝尝你的草莓是什么意思
把英语课代表做哭了视频
打扑克打了又疼又叫
国产精东剧天美传媒
人与畜禽corporation怎么读
大团圆结白结的故事
浇灌妈妈肥沃的土地上架感言
把八重神子焯出白水怎么办
我的一次三门齐开
性少妇JEALOUSVUE成熟
王者荣耀黄化视频网站入口
外公总是压妈妈身上怎么回事啊
往子宫里尿一泡会怎么样
bbox撕裂bass俄罗斯仙踪林
够了够了已经满到C了学校作文
父母儿女一起上!
办公室车多肉多的1V2
厨房春潮小说第1章
老师的兔子好软水好多免费
9420高清视频在线观看国语
y1uan大家庭
麻豆传煤入口直接进入免费版下载
哪种BB最好看
老奶奶vpswindows在线播放
许仙终于把小青日服变成了
韩国电影办公室的剧情
老司机带带我高清版
过来趴好自己选玩具震动
美女视频脱空一净二净
XL动漫未增删带翻译
全国反差婊吃瓜黑料热门网曝
98精产国品一二三产区区别
在公交车上撞出了水
聂小雨视频3分25哪里能看
rh男1做0车车的车车视频网页
13岁B里能放几支笔
男朋友老是玩我的小兔子
老师的小兔子好软水好多动漫
undertaleのエロ
全部都在那个地方在线观看免费
XMXMXM18
走一下就往里撞一下
福利500免费导航
漂亮的保姆完整版免费中文版
坐公交车居然弄了2小时视频
精品一卡二卡三卡四卡兔在线
日本ZLJZLJZLJZLJ老师办公室
催熟po1v3by
妈妈跟外公在做什么
小猪草莓丝瓜深夜释放自己
两个人免费视频观看高清直播下载
各种姿势玩小处皱女
花城谢怜车长干哭
女孩子的第一夜图片
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1