有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
边做边爱3完整版
小SB真是欠C
侍卫把贵女怼树干PO
亚洲无人区码一码二码三码区别
啊轻点灬公大JI巴又大又
善良的年轻的馊子3中文在线播放
师奶杀手迅雷下载
一男一女在房间里打扑克是什么梗
办公室的秘密赵雪晴第11章
我和黑帮老大的我365天第二部
嗯啊快停下我是你老师啊H
迈开腿让我看看你里面
精产国品一产区
人与畜禽Croproation网站
我女朋友的母亲1完整视频有翻译
星空无限传媒免费看电视剧
生活大爆炸12
爸爸刚走爷爷就来了
两个奶被揉得又硬又翘怎么办啊
王者荣耀云缨咬着铁球流口水
日本农村大姐rapper
早上起床抱紧我第1集
黑人30厘米全部进去了乌木
怎样把自己C到哭
老旺的大肉蟒进进出出BD高清版
深度开发1V3全是肉
在英语课上插英语课代表
日本一品和二品区别
一个人夜里偷偷看b站怎么办
公司办公桌C了我好几次
喷泉H1V3HL
黑人双人RAPPER剧情介绍
顶的她说不出话来
女孩子用矿泉水瓶子行吗
什么样的B型好玩
啦啦啦 中文 中国 免费 高清在线
公交车上一个接一个c
乱码1234区2021
老师您的兔子好软水好多樱花国漫
公司办公室强C了我好多次
二指挖洞的手势技巧
小学生C小学生
又疼又叫打扑克视频声音
俄罗斯18give100
火车后车座的疯狂的做
精JAVAPARSER乱偷
一天到晚上用了好几个小雨伞
坐公交车居然被弄了2个小时视频
最刺激的乱惀小说合集
地下偶像18未增删带翻译动画车
939w乳液78w实时更新
张柏芝殖器12图
xanxus霸史录
处破女轻点疼丨8分钟
随处可做X世界学校游戏
宝贝放轻松我会温柔一点的说说
在车里被撞了八次高c视频
污到你那里滴水的视频
玖玖资源站最稳定365
JIIZJIIZ亚洲女人水多
他的炙热在我那不肯退出
男朋友压着我说想进去
穿越到随处做X的游戏世界
初中女生喊疼男生越往里寨游
男生拿冰块和棉签是什么意思
939W78W78W乳液安全
LINODEIPHONE欧美拉屎放屁
他的手抓住了我的小兔子动图
捧小伙人帅吊大GAY
陌陌小华佗劲爆视频
喷泉辛浮H1V3H
双指探洞疼哭了
强壮的公么征服我1一60
开心四房色播网
全美超模大赛第十二季
只要一顶嘴就会被主人扇巴掌作文
双人床上做剧烈运动
yuanshayangli
做暧暧视频大全1000部
最近最好的2019中文日本字幕
高N车多肉多办公室
男生最无法抵抗的姿势
四个人玩我一个人是什么感觉
晚上睡不着偷偷看B站2022
联谊中的游戏动漫无删减
爆乳JUFD492汗だく肉感
潘甜甜3段视频免费看
俄罗斯大18但人文艺术
成都教育局回应初中取消晚自习
甜性涩爱高清完整版
再用点力今晚随你弄
恋夜影院uc全部落频列表支持安卓
男主跟自己养的蛇在一起了
帅气体育生GARY网站MV网站
野花韩国高清免费神马百度
穿戴式跳D放在里面逛超市作文
日韩一线二线三线四线五线
男朋友都是怎么做你的
张津瑜处理通告
试过黑人之后再也回不去了
XL上司带翻译
最近免费中文字幕大全高清10
八重神子流白色乳液
绿巨人二维码推广
每天把你做到起不来
免费剧烈运动扑克视频软件
春暖花开发布器
不知火舞三个男儿动画
不知火舞海滩h
在床上拔萝卜又疼又叫什么病症
3分25秒痞幼
吴梦梦到粉丝家里洗澡在线
YP193.COC永不失联免费
日产无人区一线二线三线乱码蘑菇
儿子一晚上要了我五回怎么办呀
人与畜禽共性关系
说说老公夜里顶你的
欧洲最大但人文艺术114
凌晨三点看日本片好吗
乖我们在水里试一试
边做边爱3完整版
中文字幕本无吗
被好兄弟上是一种怎样的体验
斗转星移合成图
青梅竹马是消防员 无马
女朋友的妈妈2023中语翻译
无人区一码二码三码四码区别在哪
5g影讯5g探花多人运动
国内女RAPPER大全
开始慢慢迎迎合
午夜dj视频在线直播
花蝴蝶免费直播
2023男男钙GGY钙
学霸把校霸往死里做双男主车
八重神子掀开自己副乳的图片
宝宝把腿开大点儿就不疼了正常吗
在停车场里震车会被发现吗
激荡瑜伽1V2
宝宝我就在外面蹭一下爱情花季
吃女朋友的扇贝是什么感觉
麻花传媒MV一二三区别
军舰上的女兵免费高清原声满天星
日韩卡1卡2 卡三卡免费
一面亲上边一面膜下边文字的含义
最近2018中文最全一页
把跳D放在里面跑步不能掉作文
国精产品w灬源码1h855.c
小蓝彩虹男gary2022
正确进入30个方法图片大全
原神甘雨安慰部下C插画
迈开腿尝尝你的小草莓什么意思
那我就做到你叫
krohne流量计
女教师的特殊按摩2
成熟交bgmbgmbgm欧
ssni409
日本在B站直播
中国CHINAGARY武警网站
欧洲VODAFONEWI喷浆
女子高生の腰つき
上边一面亲下边一面膜的程序
伦理中文字幕 - V3.2.8
汤芳最出位下部
语文老师说哭着说不能再睡了
人伦亲情父母儿女
小东西看我是怎么C你
蘑菇传媒国产MV剧情
妈妈开始拒绝最后服从的句子
刻晴被盗宝团捅的叫个不
岳女共夫张淑芬
舒服吗说我厉不厉害表情包
宝贝你的奶头好紧好大
免费看大片的APP
如何骑枕头上下移动图片
无尽的3dXX视频
麻花豆剧国产MV在视频播出
比我老公的大了一圈
免费夜间做还运动视频扑克软件
太慢了能不能快一点
中国超大但人文艺术视频
亚洲尺码跟欧洲尺码的区别
66亚洲一卡2卡3卡四卡新区
爸妈儿女换着来玩的说说心情
对象一直咬我的奶奶不嫌脏吗
网红打扑克牌网站
他们一路从厨房做到了卧室
在公交车上弄到高C月
我们三个人搞一个人啥感觉
TPU色母和PA6色母的区别
久亚洲一线产区二线产区三线产区
上体育课课被捅了一节课
万花楼楼凤论坛
无人区一码二码三码是什么
漂亮妈妈日本韩国
香港三圾片大全
宝宝把腿分大点就可以吃到扇贝了
共享双胞胎齐娜齐琳
奶头被夹得又翘又硬怎么办
让我蹭一蹭宝宝
爱情岛永久免费线路二视频
一个妈妈的女儿4中文字幕
30cm坐上去感觉是怎么样的
xl上司带翻译中樱花
蜜桃成熟时5D
他一次比一次撞的很
顶开妈妈的生命之门13
惠民卡盟没非梦专业
18款夜间禁用软件入口2023
和搜子同屋的日子3
宜春院美国免费十次啦
宜家回应商场原版视频
夜间正能量视频www正能量网站
刘耀文在宋亚轩塞震动
好看的肉质高的有R
acome玫瑰
宝贝儿流了那么多还说不
亚洲一线产区二线产区分布
妈妈说带套可以给我先说
上官婉儿大战三百硬汉是哪一集
数学课代表趴下让我桶RH网站
女友的妈妈9中语字追剧电视剧
147人休艺术 大胆
进入了母亲的生命之门
课代表没带罩子给我抄了一节
对象咬自己小兔兔的感受
情侣的一百种插秧法
优质JING液收集器
哈尔滨70岁丰满老熟女
缠着腰不让他退出
洗浴双响炮是什么意思
旗袍全开襟做双人运动人民网
五行书院在线观看完整版
中国VODAFONEWIFI粗暴12
香蕉丝瓜草莓樱桃草莓榴莲
打扑克视频又叫又疼原声
济宁郑媛媛ed2k
动漫人物将机机插曲漫画图片视频
美景之屋妈妈的朋友在线观看
JEALOUSVUE进不去
亚欧乱码卡一卡二卡新区
无翼之漫画漫画焰灵姬
日韩一卡2卡三卡4卡分区乱码
pretty rhythm第三季
着迷 阿司匹林
GARY18一19帅气男孩
夜蒲1国语版完整版百度影音
俄罗斯XBXBXB兽交
99精品和95优品
刘耀文往宋亚轩塞TD
公孙离去所有衣服床上
yy4680私人影院
TOUGHTESTED硬汉系列
原神八重神子被注射不明白色液体
每天都是被C着醒的
宝贝腿在放大点就能吃到扇贝了
澳门无人区码一码二码三码区别
二指探洞好像要喷了一样的水
在把腿张大点我就可以吃到扇贝了
濡湿的车站未增删带翻译樱花翻译
宝宝的水喷得到处都是小作文
夜里不知节制军婚
夜间刺激打扑克哔哩哔哩
胸大的姑娘免费高清观看视频
可以随便看内部位的rpg手游
当陆沉往你里面放了东西小玩具
BURBERRY大片
坐在硬邦邦的上面写作业
中国真实处破女WWW出血
h高辣公憩1v1
魔鬼部队完整版的播放
坐公交车最后一排轮
冰葡萄一颗一颗往下体塞
快速抽的时候发出声音
健身私教弄了好几次PO
国产精品久久高潮呻吟AV.精品
欧式春画图片大全欣赏简单
黄色软件app下载3.0.3每天三次oppo版
处破女轻点疼丨8分钟
404黄台软件平台
一二三四在线播放免费观看中文版视频
如何一支笔搞自己
媲美欣刘老师56部密码
嗯嗯宝宝叫点使劲难受吗 疼
双胞胎姐妹齐上阵许多说许多
日产精品1区至六区有限公司
blackpinkmv4k高清黑白配
精产国品一二三区别9978
夹好去上学不能掉出来的作文
久久精品一卡二卡三卡四卡
为什么女生一被上就老实呢
江疏影2分28秒链接
舞林大会棒棒糖
国模私处丨150P
渺渺在沙滩上让男人涂防晒霜
迈开腿让我看看小草莓
我女朋友的母亲5整视频有翻译
腿抬起来靠墙上就不疼了视频
乳液狂飙vx网站
麻豆WWW传媒入口
69无人区码二码三码七码
卡一卡二新区无人区
娇妻玩4P被三个男人伺候电影
我被继夫添我阳道舒服口诉
黑料不打烊TTTZZZ首页
仙女棒坐着使用示意图
聂小雨视频3分25是什么内容
春暖花开炎狼之地
甜性涩爱 百度百科
国精产品1688在线
小龙女只感觉那只巨大的火龙枪1
这个杀手不眨眼
50款夜间禁用软件app免费
张津瑜9分10秒头撞玻璃视频
火影忍者禁图h
他像我这样弄你了吗
一边喘气一边叫做摸小兔兔
小雪的13又嫩又紧又多水带图
老卫淑荣在上船全文阅读
迈开腿让我尝尝你的扇贝安装
一直喝水不让尿捂着的作文
舌头一路向下探索找到花朵
妈妈的男朋友8 线观 高清
敌伦小芳的第一次
公孙离といちゃつきたい的欢迎会
黄沙视频在线观看www免费直播
接电话故意做加快速度
溢出OVERFLOW2未增删带翻译
两个大兔子抖来抖去的图片
上课夹了一节课的跳d视频
美国K8S经典
八重神子掀开自己副乳的图片
果冻传媒在线播放 免费观看
王者公孙离爽到流泪流口水照片
用...用点力快要到了
黑料不打烊导航首页SEO
在公交车上被撞出了水
你是我的荣耀全集泄露
暴躁老阿姨csgo
soe-992
中文在线4月4日快速反弹
秘书的兔子好软水好
舌头探洞感觉要喷了水怎么回事
书记太厉害了太长了
丰年轻的继拇中文3应用特色
DASD-759
黑帮老大和我的365日绝了
亲爱的老师4韩剧中文字幕
为什么黑人睡过的人没人要
浪翁荡熄的幸福生活
俩人一上一下做运动的表情包
无颜之月是啥啊
小东西几天没做水这么多
三个人一起C感觉
学生免费一卡二卡三卡9
果冻传媒免费观看4399
老公亲我的小花园爱我吗怎么回答
新金瓶悔1一5集免费
香草视频app黄板
坐在老师的鸡叭上写作业
快好喷水视频连续登上热搜
play视频在线华人
吃瓜群众一区二区
父母儿女媳妇一起来的寓意
儿子你比你爸爸的大多了
胸的手感怎么样
换个方式做吧未增删动画樱
2019年理论片电线
同校生2中文版
当着全班人的面做
等不及了先做一次
77dizhi
迈开腿里草莓男人往里怼
十8禁用b站app免费
九阴真经野草版
ok电影在线观看
人与动物ppt免费模板
美国日本一区二区三区
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1