有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
林予曦的代表作品MD0044图片
被公司领导C了好几次
拔擦拔擦X8X8华人免费
仙女棒夹在里面的照片
海角国精产品一
早上起床抱紧我樱花
男生说想吃我的扇贝是什么意思
伪装学渣电动猫尾巴PLAY
凹凸女BBWBBWBBWBBW
酒瓶塞住不准掉下来
曝光无码有码视频专区
老师没有带罩子让我练了一节课
洪晓芸夜半思乳时
无翼乌全彩无遮挡漫画大全
日韩一卡2卡3卡4卡新区免费
中国XXXXXL19学生
校长体育老师共玩校花
真人作爱视频免费网站
体育老师C我一节课
无人视频免费观看免费直播
公主车上荫蒂添的好舒服
暴躁老阿姨CSGO技巧
隔壁的女孩中字在线观看 1080P
张津瑜资源在哪
小东西几天没做喷的都是泡沫
大菠萝福建导航APP福引导网站
虫虫漫画在线浏览页面弹窗
黑料社TTTZZZ入口2023
69精产国品一二三产区区别
老师洗澡让我吃她胸的视频
疯狂守寡多年的的肥岳
姬小满的乳液狂飙天堂W98
学长教我做题错一题就放一支笔
我就放里面不动你不用动我动
拔深一点今天老师随你
宝宝好涨水快流出来了微信
书记太厉害了太长了
黑帮大佬和我的365未删减
为什么一加速女孩子就会哭
暴躁老外玩MINECRAFT
春暖花开 性8yn
小娇乳H边走边欢1V1爱豆传媒
伊甸园一路二路三路四路入口位置
他不让我断奶他要接着吃
猫尾WRITEAS
蜜桃成熟时33
xl上司带翻译樱花动漫带翻译
爱情岛论坛永久免费线路
14岁女RAPPER
18C MIC新地址
办公室被公司领导C了很多次
进了老师的扇贝
他用舌头给我添高潮部分韩国男人
能让你流污水的作文
欧洲一卡2卡三卡4卡毛1
把我的香肠塞进你的甜甜圈
精产国品一二三产品区别视频
性VODAFONEWIFIHD
亲吻摸摸蹭蹭抱抱哔哩哔哩
好湿好紧快点再深一点动图
宝宝才两根手指就流了
没带罩子让他玩儿了一节课
国产免费毛卡片
男子故意失联不核检
张津瑜视百度云
成长人雏鸟pro19幼儿版特色
一二三四日本免费
WRITE AS 刑架
我的很大你要忍一下是什么
原神雷电将军把乳液喂给旅行者
2023国精产品一二二线精华液
W无区码一码二码三码
我的XL司第一季免费观看翻译
如何把自己弄到喷泉视频
朋友的母亲6有限中字
五个人一起会坏掉的小说
用...用点力快就好了
男生说把你填满了怎么回答
日本动漫扑克牌动画片mv
把女朋友弄成小喷泉呢
三根一起玩真的不会坏掉吗
潘金莲高清DVD碟片
10tee中国
xiao 776
十九岁韩国HD免费完整版
小泽玛利亚 种子
体育馆地板上c渺渺
V11亚二新区乱码无人区
老司机带带我免费看最新
雪臀肉枪玩遍武林美妇
国精产品一区一区三区有限
张津瑜的9分58秒7段哪里可以看
御手洗さん家の破洞
车内剧烈运动描写片段
电动猫尾巴PLAY
糖心短视频vlog柚子猫
和六十老女人高潮多次
小舞你的小兔子好玩小游戏
宝宝几天没做都湿成这样了作文
突然像尿了一样出了一股水
鲍鱼最新地域网名是什么2022
在线天堂おなあちゃんなにか
扒开大腿就可以吃到扇贝吗
色降ii万里驱魔
去姥姥家进入妈妈身体的说说心情
男人和女人插曲视频
YING荡的雯雯第三部分
2019朝国免费理论
男友说迈开腿尝尝你的草莓包子摊
班长哭着说不能再深了
免费网站你知道我的意思的
野兽的夜晚第四季忘不掉的前任
rh男1做0车车的车车视频网页
东北CHINESE体育生露脸
宝宝1V3高干学长
可以把火腿肠放里面睡觉吗
我朋友的年轻搜子2在线播放
老湿机免费一分钟体检60秒区
宝宝放松一下进去就不疼了
自W到高C的25种方法视频教程
犯错把冰块放屁眼里不能掉的作文
偷看各类wc女厕嘘嘘
国产一品二品三品的区别在哪
打开扇贝就可以吃火腿肠
做错一道题学长就顶我一下
双男主车图无遮挡长图微博
海角.COMHJ3DCE
趴在办公室被老板们C
剧烈运动摇床运动视频
厨房春潮唐小米
亚洲精华国产精华液有什么福利
404黄台下载大全
けんじゃたいむ八重神子
吧有你春暖花开
男生越到最后越来越快
顶开妈妈的生命之门 无弹窗
斗罗大陆158集免费完整版
渺渺当着全班人在体育课上
一层一层的剥开我的衣服啊
等不及在车里做一次
亚洲精品国产精华液有哪些牌子
办公室的交易高清BD
爱福利视频广场福利视频
适合自W看的文段
无颜之月1-5下载
妈妈的朋友3中字巴巴鱼汤饭
雷电将军乳液狂飙VX网址
市长大粗了我受不了了
日本最大但人文艺术欣赏
老师你的兔子好软水好多详情介绍
换个方式做吧未增删樱花
东北女人下面痒直叫
家里没人半夜就和妈妈搞
无人区一码二码三码四码区别在哪
WRITE AS 产卵
果冻传媒2021精品亚瑟
梁医生 再往下一点
小洞饿了想吃大香肠有限公司
老外和中国女人毛片免费视频
女生主动让男生看自己的坤坤
日本农村大姐rapper
在床上拔萝卜又疼又叫什么
他趴在两腿中间舔我私密有事
张津瑜吕总1080P
新红楼梦艳情版
他那里早已支起了帐篷
梁医生不可以(限)季亭亭
军婚不知节制地索要小说
好满射太多了装不下了软件
跟儿媳一起玩的说说
玛雅maya 18永久
穿了内衣却有一半乳晕没遮住
中欧乱码卡一卡二卡三
国内精品乱码卡一卡2卡三卡新区
岳喜欢张开下面让我看
缓慢而坚定的前进慢慢来吧
忘忧草在线影院www日本
波多野结衣作品封面
免费啪视频观试看视频软件
刺客伍六七第二季免费观看
燕夫人寺庙求子方丈给办了
女儿初长成爸爸来尝鲜食品的文案
老公晚上是怎么玩你的
精东影视传媒文化管理公司
野花视频大全免费观看3
诱人的小峓子6字巴巴鱼汤饭
免费3圾片在线观看
狠狠射日日干综合
胡桃流眼泪翻白眼流口水的表情
日本人文艺术欣赏PPT图片下载
他的白月光HVH
女BBBB槡BBBB槡BBBB
一前一后三个人轮换的英文
天美传媒果冻传媒国产电影
亚洲VS欧洲VS美洲人口
家里没人我哥做了我
97精产国品一二三产区区别电影
老师的手指在里面转动的写作业呢
酒店服务生满天星法版免费观看
国产精品女主播主要上线
三公主baby girl
开车视频有声音疼痛软件免费下载
嬢王virgin
一边伸舌头一边快速喘气图片
免费打扑克牌的网站
八重神子COS入夜狂飙游戏
文轩WRITEAS震动器
从镜子里看我怎么C你的阅读视频
粗壮在内径中横冲直撞的原因
在无限游戏里花式挨CH
看了让人起反应的文章
八重神子COS入夜狂飙游戏
トイレの花子さんVS屈強退魔師
野花免费观看日本电视剧
女士的小内搭没遮阴怎么办呢
写得很细的开车秒湿
穿裙子就是好c
一边亲着一面膜下奶韩剧
触手tentaculata无尽
强干奥迪4S店女销售
男女在一起翻雨覆雨的比喻意义
澳门无人区码一码二码三码区别
朋友的母亲3在完整有限中字第
爱情鸟论坛免费观看大全在线观看
深夜办公室哔哩哔哩
在海棠看小说犯法吗
八重神子乳液狂飙动
北北北砂王者荣耀完整系列
老赵抱着媛媛在厨房作爱视频
是不是想让我弄你了
一个人被3个人同时C了描述
四虎最新地域网名2021免费苹果东营
夜里十大禁用软件APP
老师拜托授课到天亮吧
一个人在线观看WWW哔哩哔哩
八重神子脱小内打扑克图片
欧洲高清videosexond
接电话插的说不出话
丝瓜 草莓 秋葵 榴莲
把英语老师按在地上抄了一节课
军舰上女兵免费高清原声满天星
年轻的母亲2在线线观中文免费观看
妈妈刚开始拒绝后来配合孩子
jmcomicios拿走不谢
八重神子被焯出白水网站
5g天天5g天天奭多人运动入口
国模贝贝高清炮轰图
小莹客厅激情46章至50章视频
老夫子精区一品精区.百度百科
娇妻两根一起进3p视频
日本rapper潮水RaPPe
国产亚洲一卡2卡3卡4卡新区
叔父的大还是爸爸的大轶事
寂寞夜晚观看视频
19岁RAPPER潮水偷轨仙踪林
新手自W到高C教程视频
二十四种b型图
淦自己的100种方法图片
女人是男人的未来1分59分有厚的
韩国三圾片目录大全
穿越到随处做X的世界
宝宝把腿抬起来靠墙上怎么回事
邻居2中文字幕版免费
腿再开一点就可以吃到扇贝了
用嘴巴吃鸡有什么好处和坏处呢
黑人大荫道BBWBBB高潮潮喷
中国新疆XXXXXL19免费看
世子很凶插花弄玉
甘雨哭着让刻晴停下来
金花瓶梅花6线上观看
把班主任C了一节课
三千美男爱上我
日文中字乱码一二三区别在哪里
2012sbs演艺大赏中字
今日蚂蚁庄园正确答案
漂亮的保姆中字
斗罗大陆3大乱斗交大配TXT
善良的嫂子的朋友5中字巴巴鱼汤饭惹人
淑芬两腿间又痒痒的用药方法
人类是如何交匹配的
日产乱码一二三区别18
校园春色武侠古典系列
宝宝我放进去就不疼了
日本无人区1码2码区别
什么叫倒插莲花
hym661水蜜桃
麻豆产精品一二三产区区
黑人荫道BBWBBB大荫道
成品网站W灬源APP免费百度
2828手机福利院
戴着电动玩具逛超市
温行之和温远洗手台做
爆裂さすらい在线播放
亚洲一线产区二线产区的区别
c了瑜伽老师嗷嗷叫一节课视频
高雅人妻被迫沦为玩物电影BD
93W乳液78W78W永久
约附近学生100元3小时
王者荣耀曜把西施顶哭
王者公孙离爽到流泪
这几天没C你了是不是SB痒了
公孙离去内P图图片
两个人一前一后中间
把英语老师按在黑板C
用你的舌头搅拌我的舌头是什么歌
一二三四高清日本播放
线上游戏的老婆不可能是女生?
成都1片P高清完整版HD免费
婚后与父母的交换
娇妻被朋友玩得呻吟在线电影
免费正能量网站链接
老板在车里要了七回
上课捡到一个遥控器按了一下
男朋友吃我的小兔子图片
怪物VODAFONEWIFI巨大
超速绯闻女主角
youjizz在线电影
揉捏 高(h)
数学课代表的B真紧
控制gc玩到哭的感受
亚洲精华国产精华精华液好
欧美无人区码卡1卡2卡免费
大腿中间一张嘴顺口溜
蜜芽忘忧草768.mon.二区老狼大豆行情网
年轻的小峓子1完整版在线播放
能让下面滴水到爆的说说
小学六年级差差差很痛带声音
一线产区与二线产区的定义
床上运动拔萝卜
快猫记录世界记录你
半夜看到父母在剧烈运动知乎
往子宫里尿一泡会怎么样
书桌下的快速顶撞
原神雷神黄本本
父母儿女互换干对家庭成员的影响
《药效》1V2H
处处吻全程拉丝舌头
四虎最新地域网名2021免费
拉婆婆下水和大黑狗
姜汁撞奶POH
18款禁用软件APP花季传媒
我的兔子好软水好多免费的网站
迈开腿尝尝你的草莓意思
男生说要吸你的小兔子啥意思
BBW.妇女被内射
95w乳液78wyw永久
chunnuanhuakaixingba
JEALOUSVUE孕妇熟50MAOF
原神甘雨被x哭还不断流东西
32厘米的粗长硬受不了了
雷电将军乳液狂飙vx免费进入
班主任的大兔子好软水视频
张津瑜 主持人
张津瑜 最新视频
啊我们换个地方做...又加了
粉色视频APP在线无限看免费丝瓜晶体公司藏
姬小满乳液狂飙奖励自己
快猫5.25最新破解版.APK
美红与王站长列车篇
成品禁用短视频app下载
黑人30厘米全部进去了乌木
718吃瓜网张津瑜
BGMBGMBGM胖老太太俄罗斯
淑芬两腿间又痒又疼的原因
日本人是人吗 不是
我得到了妈妈的桃花源
日产一二三四五六区
引导儿子上自己的办法
果冻传媒广告网站入口
荒野大镖客暴躁老太太怎么救
孩子没有睡老公就侧面做
家用摄像头被盗拍400部
人蛇大战之蛇精3
一口一口把奶油从胸口吃掉免费
学霸将遥控器开到最大
久久一区二区三区精华液使用方法
坐下来自己慢慢摇的感受视频
精品卡一卡二新区入口
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1