有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
adc影库确认年龄18点此进入
最近韩国日本免费观看MV
乖好好含着待会就给你
AI换脸周淑怡可以冲的
成色AU999
冰块一粒一粒往下边塞图片
NARUTO HENITAL
BGMBGMBGM老妇
在后车座上的疯狂做I
小丹疼吗慢慢就不疼了
坐在鸡上写作业好疼
伪装学渣电动猫尾巴PLAY
女儿的朋友3中汉字
国产蜜芽剧果冻传媒
寂寞女人找男人
太深了吧唧吧唧吧唧吧唧吧
亚洲麻婆传媒MV
MELANCHOLY在线播放
汤姆视频最新地域网名2021
一个人视频在线观看日本
亚洲1卡2卡三卡4卡2021
说说你们老公夜里怎么搞你的
200hh情艺中心
极品Y荡人生白柔柔
英语老师你的奶好软
19岁潮水RAPPER欢迎您
将夜2第3集大尺视频
用红酒瓶塞堵住不能流下来
老树逢春 大梦未醒
扑克牌又疼又叫的什么含义
如何引导让狗狗上自己
俄罗斯ZOOM与人性ZOOM
欧洲无人区码一码二码三码区别
人妻无码AV中文系列
WRITE AS 刑架
我想用乌龟蹭你的扇贝是什么意思
国产天美传媒一起又看流星雨
当着全班面被C到高潮哭视频
亚洲宅男天堂在线观看无病毒
教练在车里撞了我三次怎么办
宝宝几天没见湿成这样
狗狗的东西好大图片
Zoom与人性Zoom2区别
老师洗澡让我进去桶她
胡桃流眼泪翻白眼流口水的表情
妈妈哭着叫我带上套
高树玛利亚图片
toul-307
侯马市性侵女生
车子一摇一摇的刚好掩盖我们
欧洲女RAPPER潮水大豆
中国CHINAGARY武警网站
儿子耕种母亲的田地的寓意
差差差很疼的30分钟无掩盖视频
写的超细的开车过程
无翼漫画全集彩
我被开三门痛晕了
丰年经的继拇中文3使用方法
九一制作片场视频
黑土ちゃんが腿法娴熟を视
为什么狗狗放我里面就变大图片
啦啦啦中国日本韩国免费高清
中国帅气体育生gary的介绍
国精产品W灬源码网站1688
东北CHINESE体育生露脸
yehualu
爱情鸟免费论坛二
日产乱码一二三区别免费一看
欧洲人物动物交互咬合视频
女主不停的被各个动物群养着
两个人一前一后攻击叙述
为什么做完后还要顶几下
仙踪林老狼传媒网址
国精产品W灬源码网站1688
做我的爱人3在线观看
五月丁香合缴情网
中国东北老太婆内谢
小学生被小学生插曲
适合夫妻之间看的麦片
1996年新版金银瓶
儿子好妈妈的HD3中字抢劫
老公总是吃我的奶奶该怎么办
女生说疼男生还继续做
群臣在朝堂上c皇上
国产精品艺校校花视频央视网出文
两根茎同时进去爽不
父母儿女互换干
三个人一起C你的
93W乳液78W78W永久
全彩口工漫画母系惩罚5
棉签play是什么东西
国产精华液1区2区区别大吗
中文精品一卡2卡3卡4卡国色
冰块一颗一颗往下体塞肚子
电车之狼3攻略
一个好妈妈2水母中字老虎
怎么把自己自W到流泪
GAY2022
八重神子的乳液狂飙视频
我的兔子好软水好多樱花视频
年轻的妈妈的中字巴巴鱼汤饭
10岁小学生fees幼儿
939W乳液78W78永久
妈妈的朋友在完整有限公司中字4
浪漫满屋泰国版12
一个男生弄哭另外一个男生
人间中毒无减删播放
麻豆画精品传媒2021网站
人丑B不丑是真的吗
张津瑜的9分58秒7段哪里可以看
一个吃上面一个吃B
爸叫我替他让妈快乐
在落地玻璃窗前插
亚洲无人区码一码二码三码的区别
父亲缓慢而有力挺拔的句子
B是不是越小越好隐
把腿再张大点就可以吃到扇贝了
SWAG台湾官网地址
海角社区haijiao06
最近最新手机中文大全4
日本卡一卡二卡3卡三卡乱码
国产乱码卡二卡三卡4
女生越说疼男生越往里
年轻漂亮老师高清线
将夜在线神马影院BD高清
自W到高C的50种图片教程视频
男生摸和咬小兔兔
菊内留香 金银花
墨燃把楚晚宁按着c
果冻传媒七夕在线看
ekdv 273
果冻传媒2022一二三
暖暖视频 免费 日本
原神八重神子掀自己副乳e站
爸爸缓慢有力挺送女儿的话
被男生抱着啃脖子的感觉
日系裸妆全视频
WRITE.AS塞东西
强干奥迪4S店女销售
star-362
公交车疯狂运动
御书屋御宅屋高辣H
女生喊疼男生越往里寨的游戏娱乐
坐在爸爸的JI巴做作业
享受和儿媳妇的快乐的句子简短
黑龙江教室视频资源
小东西几天没做喷的都是泡沫
电车之狼r操作
木马木棒动得好快bl
家里没人儿子就弄我了视频大全
曰本美女嫩鮑艺术图
带闺蜜出来玩被她老公说怎么回她
精东影业JD0045妈妈咪呀
少妇白 全 洁高义
我与儿子发生了不该发生的事
日本韩无专砖码高清
男人迈开腿尝尝你的草莓
疼我都哭了他还在动说明什么
LASTDAYONEARTH儿子
韩漫漫画登录页面免费漫画看秋蝉
第1章厨房春潮
手游走在腿的最里面
我和闺蜜拿黄瓜互慰
中国韩国日本在线看高清
用我的手指搅乱吧樱花未增删翻译
三个人一起玩3Q详细经过
迈开腿吃尝尝你CH
晚上睡不着偷偷看B站
日本动漫人物打扑克
日韩砖码砖专码2023
扒了语文课代表的衣服
公交车里抓着摇曳的手环
张津瑜七段视频1080P
英语老师没带罩子让捏了一节
妈妈刚开始拒绝后来配合孩子
桃花在线观看免费观看手机
美女脱了个精光露出奶囗和尿囗
女孩子用矿泉水瓶子行吗
大众女浴室高清摄像头
韩国女主播 种子
我妹妹每天做两小时作业的英文
日本三圾片在线观看
老地方在线观看免费视频社区
坐公交车日了两个小
原神雷神ドラえもんのエ网站
家里没人姐姐就是我的了
七个人玩我一个
人与畜禽Croproation网站
国产AV精品一区二区三区软件
rookie女朋友小钰
求网站 你们懂的
非洲人配人高清视频
韩国电影办公室3免费完整版百度
跳D开到最大C死我
渣男和渣女做不干净的事情视频
我的我的风流岳每2
情侣运动前看的电影推荐
维多利亚一号未删减
两个人一前一后进行攻击
妖精动漫官方登录页面入口弹窗
老太太BGMBGMBGM性
心疼儿子可以给他一次吗
从阳台X到卧室边走一步GH
水蜜桃文化传媒有限公司
注射器放屁眼里灌注牛奶
男友说迈开腿尝尝你的草莓包子摊
最近韩国日本免费观看MV
中国VPSWINDOWS野外农民工
我尿在肚子里好不好
原神凌华内无布料无小爱心
年轻的阿姨中字巴巴鱼汤饭
UNDERTALEエロ动漫尼特矮人
月落归林 BY萝卜药
精品成品国色天香卡一卡三
天美传媒MV视频中文字幕
朋友妈妈2018 电影
儿子一晚上要了我三回怎么办
TTTZZZ传送门2024
西方447大但人文艺术
原神女角色翻白眼流眼泪流口水
全部都在那个地方在线观看
插曲视频30分钟完整不用下载
受喜欢含着睡觉的文
草草药视频在线观看
JK底部的视角是什么样的
朋友的朋友6中汉字
女生把筷子放屁眼里不能掉作文
学生的妈妈5中韩双字多
班长没戴奶罩让捏了一节课怎么办
麻花传MD0174苏语棠
叫大点声今晚家里没人冷
女装正太 my pico1
这20项证明不再由社区开具
前男友又大又长我忘不了了
我年轻的继坶2019
莫菁门事件完整照片
群飞刘亦菲刘诗诗杨幂杨颖
没有工具怎么自w到高c
换个方式做吧未增删动画樱花
宝宝才三根手指就受不了
王者荣耀瑶白色液体黄画
黄色软件app下载3.0.3每天三次oppo版
14MAY18XXXXXL日
超能太监2之黄金右手
诱人的女医生中文字幕2
BBOX撕裂BASS孕妇公交车好莱坞
胸大的姑娘视频高清
日本顶级rapper潮水老娘
离婚跟儿子搞过吗
国内女RAPPER
一边做饭一边躁狂的原因分析
雨后小故事动态图片
王总来我家老公不在
文轩宋亚轩自己做扩张直播
天堂MV免费资源在线观看
吃女朋友胸正确方法
内射老妇BBX
嬢王 virgin
henhense
嫦娥狂飙乳液奖励自己一发
妈妈的朋友3007电影
YW193龙物新地
BGMBGM老太太毛多多金属
学渣含着学霸的写作业双男主车文
女教师二十三歳
brt快速公交
边做饭时猛然进入高h
求你别在阳台有人看见
年轻的朋友2在完整有限中字
无人区免费一二三四乱码
父亲缓慢而有力挺拔的句子
消防糙汉VS水深火热
国产无人区二卡三卡四卡不见星空
revenge第三季
精东传媒剧国产MV的特点
自己惩罚自己必须跟隐私有关
小东西你的水都拉丝了
黄金网站app日本免费
npc误入游戏中尽情做攻略
国产卡二卡3卡4卡四卡
八重神子被焯出白水网站
小东西看我敢不敢c你
明星ai人脸替换脸视频
老公叫人一起换着玩的说说
撕掉她的外衣6
三个人把我弄得走不动路怎么办呢
网站正能量www正能量网站大全
双方同时高C是种什么体验
把它夹住去跑步不能掉体育课
九阴真经野草版
蜜桃成熟时33
宝宝乖夹住不要流出来
女篮中锋坎贝奇三部曲
江疏影口大佬照片
白发弃妃太绝情
野花高清在线观看免费官网中文版
缘之空无删减资源在线
缘之空全集高清在线观看樱花粉车
变成黑皮肤和朋友做了02
雷电将军乳液VX免费网站
韩漫歪歪漫画登录页面免费漫画入口版
如何一支笔搞自己
没有罩子的瑜伽老师叫什么
泰版 浪漫满屋
2019天天射干
被拉到学校没人地方C
关晓彤被华晨宇做出了水车
男生把自己的QQ放进女生的QQ
芳草地社区在线视频
成品网站W灬源码1688游戏
韩国电影办公室3
小学六年级差差差很痛
成为人视频免费视频免费观看
黑人荫道BBWBBB大荫道
lovely cation
一二三四在线观看免费中文吗
男朋友说要吃我的妹妹啥意思
把腿张大点就可以吃到扇贝了视频
白莲花的贵妇生活
越往下越疼那种
ZOOKEEPER另类
翁熄小莹(奇思妙想)第二篇
24小时视频在线观看免费
无翼乌邪恶全彩无挡遮
我的兔子好软水好多H15
儿子好妈妈的HD3中字抢劫
当着全班面被C到高潮哭视频
国精产品一区二区三区有限
午夜伦yy44880影院
雷电将军掀开衣服看副乳
姐弟拔萝卜又叫痛又叫高新
夜蒲1国语版完整版百度影音
你真是越来越耐C了什么意思
总裁缓慢而有力的往里挺送
津瑜视频9分10秒
车上后座多肉短文300字左右
父亲的东西又长又黑
老师迈开腿让尝尝你的森林
男生说吃兔兔的过程
不小心缩小掉进女生的午饭里
老师你的好软水好多的
岳故意装睡让我进去
多毛bgmbgmbgm胖觉觉
原神女角色去掉所有服装不遮挡没有小爱心
父母儿女媳妇一起来玩
四个人换着玩春雨
通房11H云舒
车上后座多肉短文300字左右
我的兔子好软水好多的视频
ぱらだいす天堂中文WWW最新版
父子骨科多r车推荐
当私生饭是要挨C的
99精产国品一二产区在线
脱色摇床的视频大全
最新ZOOM俄罗斯
原神雷电将军把乳液喂给旅行者
W到你那里滴水流爆水的作文
娇妻笫一次被多P
总裁的六岁娇妻
单身男女2粤语
小喜含不下了先出来吗
没带罩子让他玩儿了一天怎么办
校园车多肉多的1V2
自己玩r头教程
亚洲和欧洲一码二码区别在
444奇米影视四色
厚颜无耻韩国动漫在线阅读视频
浪翁荡熄的幸福生活
迈开腿尝尝你的草莓什么意思
国模露露客厅沙发
男生把大坤巴塞到男生的嘴巴里
涩涩屋草莓榴莲秋葵绿巨人
另类极品VPSWINDOWS
父母儿女一家换着玩的文案
女人洗澡沐浴露全身
星空无限传媒国产剧情游戏
爱情岛线路推荐线路2
精品卡一卡二新区仙踪林
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1