有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
蜜桃成熟时3da
榴莲草莓未满十八岁的做法大全
羞羞漫画登录页面免费入口页面
为什么B越小越好玩
云缨用自己的枪躁自己
是不是年轻一些水就多一些呀
口述被几个男人抱着舔
申鹤流眼泪翻白眼流口水应用
麻花传媒1800在线观看免费
父母儿女媳妇一起来玩的说说心情
图书馆的秘密程怡婧txt
一天接了八个客人肿了
厨房往下边塞冰棒
上面一边亲下一边面膜使用方法
男生和女生一起错错错30分钟电视剧
为什么抽的越快叫的越声音大
四叶草M码和欧洲码的区别
爷爷夜里压着妈妈在叫疼
5G在视影讯5G探花
两个黑人大战娇妻的小说
我的我的风流岳每2
51无人区码一码二码三码免费
dianchezhilang
大团圆公交车大结局2
可以触碰你的樱花未增删樱花
北北北砂禁慢天堂
W乳液939永久W78
你们给老公含吗
三个人换着躁B一PL
2023男男钙GGY钙
月光视频在线观看免费版
公交车的最后一排入了我
小乌酱百合系列黑白双丝
他带我去没人的地方吃我豆腐
撩她上瘾(黑暗森林)
YSL千人千色AE86V9
唐三插曲千仞雪不亦乐乎
欧派浴室2樱花未增删带翻译
将电动牙刷放在小洞里
我和小堂妺的第一次
坐在硬邦邦的东西上面写作业
萝li精品资源无码
把自己训练成小喷泉
好姑娘7免费高清观看
顶级肉质耐看小说言情2023
0ADC大驾光临未满十八岁5G
比我老公大很多
大男当婚蔡微澜
一边喘气一边叫做摸小兔兔作文
边走边c1vn骨科古言
分手那天我们做了八次
小东西几天没做喷得到处都是
顶的速度越来越快越叫
晚上想看点小片片
一二三四日本高清视频动漫
CEKC妇女毛多啊BN
花蝴蝶日本HD免费完整版高清版
爱情岛论坛亚洲品牌自拍速汇成
日本乱码卡1卡2卡三卡仙林宗
特工妈咪惹不得
エロワンピースエロい
郑媛媛未经处理雅照
桃汁糜烂NPC
想吃你身上两个的樱桃
疫情期间和儿子做了怎么办
四个黑人是什么梗
上课捡到一个遥控器按了一下
他一次比一次撞的很
肚子里全是jy鼓起来了好难受
360大但人文艺术图
被弄得走不动路走不动怎么办
早上起床发现他的还在里面
姐弟俩拔萝卜又疼又叫高新
欧美三根一起进三P
上边一面亲下边一面膜的
坐公交被学长c的作文
大陆一姐RAPPER潮水太多
金花瓶双梅花5
老师你的兔子好软水好多详情介绍
日剧先生!我可以上你吗
宝宝你能对准坐下去吗漫画
国产AV精品一区二区三区夏竹
喷泉1V3HL慕深
WYC.IA忘忧草TV
和邻居换娶妻1
宝宝趴开一点腿就不痛了
宝贝需要滋润了
CHINESE东北体育生露脸飞机
无耻家庭凯伦的爸爸
精产国品一二三区别9978
中国人看视频免费
大胸年轻的保姆6
王多鱼打扑克免费高清视频
让儿子上几回了
坐公交车最后一排被C
家里没人跟奶奶做
国精品产品推荐
荔枝app在线汅api在免费下载
18_XXXXXL56
暮春堂狼友必上
野花免费观看高清在线6
知道错了就转过去趴好
秘密教学82这次换我教你了
进了老师的扇贝
精品日产卡一卡二卡国色天香
人鲁交YAZHONGHUCXX
公交车最后一排被群C的文章
公交车上的诗绵抱着孩子
麻豆传播媒体2023最新网站
果冻传媒剧国产免费入口今日更新
班长笑着手灵活的调着遥控器作文
哥布林洞窟樱花动漫未增删带翻译
放心我只在外面蹭一下文字
重生之填房桐娘
岳女共夫张淑芬
小洞饿了想吃大香肠喝热牛奶是
被体育老师c了一节林妙妙
108式春床图片欣赏
梦莹情乱第十一篇1章
嗯啊桌子下抽插NP
双指探洞手势图片
附近人一百元一次
在线bt天堂网.www最新版
PAYPAL未满十八岁怎么开通
14may18_XXXXXL56endian个
中国小鲜肉GARY打桩
妈妈的朋友在观5完整有限中字
火影忍者禁图h
善良迷人的女教师2中文
真三国无双bt
开车视频有声音免费软件APP大全下载安装
一线高清在线观看完整版
老师哭着说不能再继续了
洗衣屋2未增删带翻译樱花
同学带几个人来玩我的作文
几天没C你是不是痒了免费
亚1州区2区3区4区产品芒果乱码
老外和中国女人毛片免费视频
我家狗狗弄我4个小时
亚1州区2区3区4区产品国色天香
兽王ZOOM CLOUD MEETINGS
男朋友说要修修我的下水道
午夜DJ观看在线HD高清
污的你下面一直滴水的句子
国产一品二品三品四品
宝贝帮我套小雨伞的更新时间
无翼乌漫画全彩集日本漫画大全
VODAFONEWIFI与黑人
宝宝腿抬得高一点就不疼了
原神甘雨安慰部下CG插画
健康全裸游泳社
男在上女在下git动态图
玉蒲剧3普通话
精品一卡二卡三卡四卡兔在线
胡桃坐旅行者的坤坤
仙女棒使用图片黄
二指探洞疼哭了
成品网站W灬源APP免费百度
两个师傅一前一后上
一面亲上边一面膜下边打扑克免费
GOGOGO大但人文艺术
便利店的少女未增删带翻译
WWW.GCRCCS.COM
便利店的少女z未增删带翻译樱花
女人迈开腿对着男人是什么意思
被C是什么感受
爱情岛线路推荐线路二唯品会
成品禁用短视频APP抖抖
漂亮的保姆韩国百度网盘资源
老狼信息网仙踪林-八零婚纱摄影工作室
中文字幕无限乱码不卡2021
桃花网视频在线观看
美美哒日本中文免费
极品教师全文阅读无删减
双龙进洞夹心饼干的制作工艺
用...用点力快就好了
顶级大但人文体艺术
公交车上的诗请晴
蜜桃成熟时钟真
2023钙Gy钙站
大号注射器放屁眼里灌注红酒
你终于长大了可以做了
147人休艺术 大胆
XAX MANTA 中国
寄宿日记37你也想做吧秋蝉
床戏cut哔哩哔哩bilibili
深度1v3多肉
一个吃上一个吃下
13一14处出血视频
香草乱码一二三四区别
精品手机在线1卡二卡3卡四卡
看见你的棒棒就想吃是什么歌
爸爸比老公大两倍妈妈该怎么教育
水都这么多了还装
宝宝你好会夹啊都拉丝了作文视频
ZLJZLJ日本人水多多
黑料网-独家猛料-曝光揭秘zztt
宝宝的棍棍可以捅捅我的下水道吗
最近2018年手机中文字幕
大白屁HDHOOOPORND
二人生孩子全程不盖被子视频
爸爸的东西又大又黑怎么形容
黑龙江大学不雅视频
97超碰在线视频人人av
公交车上的诗请晴
10tpu色母与pa6色母
男生把坤坤放女生定眼里云开
国产AV精品一区二区三区夏竹
猛地一挺腿再开一点就不疼
畜禽CROPROATION
巜迈开腿让我看看你的森林
部队里被咬住花蒂吹潮军人
差差漫画页面免费漫画欢迎你
甜性涩爱高清完整版
腿再开大一点就不痛了正常吗
l多肉的糙汉b1H
跷跷板我越下越疼的是什么
仍想结婚的女人
公主车上荫蒂添的好舒服
一二三产区的文化背景
美女杀手摧花狂
国模李莉私拍超大尺度
14MAY18_XXXXXL放屁
我被继亲开了苞
8x8x我要打机飞在线观看
最近2018年中文字幕免费图片
公交车上的诗请晴
把腿再掰大点就能吃到贝壳
美空ayaka
一区二区无码精品AV
在公交车上到高C
同学故意把我的校服当抹布用作文
在车上一次又一次挺入
黑帮大佬和我时365日未删减
草莓视频释放深夜的自己
秘密教学60话好像可以照我的
善良的嫂子1字巴巴鱼汤饭惹人中字
laurenphilips和黑人
M惹主人生气后该做什么
PRISON HIGH PRESSURE
父亲缓慢而有力挺拔的句子
两个奶头被吃得又翘又硬动态图
AI人脸替换忘忧草1区3区网页
张津瑜视频夸克下载
蜜桃成熟时1997qvod
善良的嫂子2字巴巴鱼汤饭
啦啦啦在线观看免费观看7
对镜子看我们的结合处
乱码一二三入区口
亲爱的老师3韩国完整
售票员用b验票小镇yl小镇
动漫打扑克牌的剧烈运动
成品网站w灬源码入口
带闺蜜出来玩被她老公骂怎么处理
又大又长又租免费看
韩国妈妈的朋友6观整有限中字
梦莹情乱第十一篇1章
中文在线中文在
男生说把你填满了怎么回答
邻居2中文字幕版免费
类似飞向别人的床
麻花豆传媒剧国产MV
精产一二三产区区别在哪儿啊
老公生日3Q的开始
原神雷电将军乳液vx网站进入
妈妈说只要爸爸不在家她就是我的
男生坤坤放在女生坤坤里开元棋
越往里越痛的那种视频免费
儿媳妇夸我比她老公大
没带罩子被校长摸了一节课
亚洲尺码和欧洲尺码区别
公主殿下的LOVE动漫全集播放
诱人小峓子5中字巴巴鱼汤饭
做完之后用玉器堵住皇帝
人物动物交互狗文章BECJM
写得很细的开车秒是小作文
小黄车小短文300字
在课上用鸡插英语课代表视频
叫吧宝贝我想听你叫
97ai蜜桃欧美图片
小东西这才一根而已还有呢
转过去趴好bl
女士不遮阴内搭图片大全大图高清
人与畜禽共性关系阿梅
公交车站避雨第二集
把冰葡萄一颗一颗往下体塞
janetmason
男孩子淦哭男孩子黄文
罩子没戴让捏了一节课
晚上给我通下水道
108式春床图片欣赏
中国XXXXXL19
巧干朋友娇妻小怡
群臣在朝堂上却玩皇子微博
一抽一出BGM试看60分
XRK1_3_0ARK在线观看人口
日本漫画口番工全彩
每天都是被C着醒的
大菠萝18福建导航
美女校花被老汗狂肉的故事
蜜芽忘忧草二区大豆行情网烧仙草
破了英语课代表的那层膜
女生把筷子放屁眼里不能掉图片
WYC.IA忘忧草TV
年轻的妈妈观有限中字
潘金莲扬思敏全集1一5集三级
小燕子乾隆在马车上的欢乐
坐在学长的上面写作业
群体交乱之放荡娇妻
可以做X的手机游戏
开车视频疼痛有声音不下载看
BGMBGMBGM胖老太太俄罗斯
快要高c的时候却突然停了下来
桃花社区视频在线观看完整版
亚1州区2区3区4区产品
将夜2第3集大尺视频
夜里18款禁用图片
国精产品自线在
精产国内经彩一二三产品区别在哪
我们开始做吧2
粗壮在内径中横冲直撞的原因
narutohaitei小南视频
一面亲下边一面膜的电影
李宗瑞性侵视频全集
成网站w灬源码1688
我的好妈妈5中文字幕土豆网
吃赵露思的乳液
免费中文字幕日产乱码
一本岛道在免费线观看
你这S货老子C死你
班长的手灵活的按着遥控器
成品网站源码1288隐藏通道
WRITE AS 直播道具
猫咪最新地域网名3336PT3
宝贝再快一点别停视频
斗罗大陆黄化人物网站免费
亚洲欧洲一码二码区别在哪
消失的她免费观影
葡萄不能夹烂也不能掉出来
有多少弄过自己的儿子的吗
恋之欲室 电影
日本2和搜子同居的日子
一次又一次凶猛的撞着
关晓彤被华晨宇做出了水
老丈人的东西又弯又长
2012日本中字免费
胸大的姑娘韩国播放
在英语课上用J插英语课代表
YS千人千色T9T9T9T9
整篇都是车的文章校园
精产一二三产区别在哪
英语老师的小兔子好大好软水
凌晨三点看的片日本
儿媳妇夸我比他老公大
后营露营无增减3季
刘永灼被恒大免职
张津瑜再次狂轰6分29秒
深度1V3多肉梁医生
厨房里的激战2备注
YING荡的雯雯第三部分
蜜桃文化传媒有限公司
适合夫妻熬夜看麦片
高岭之花必须喝JING续命海棠
高达uc独角兽06
搞机time下载不用不收钱嘉兴
男生说想在你身上做俯卧撑
超砸在线观看免费视频
爱情鸟论坛免费观看大全在线
妈妈的朋友5线观高清
做错一题就往下面插一支笔
在厂里跟很多人睡过
不遮挡打扑克剧烈运动直播
成片人卡1卡2卡3
往下一颗一颗塞冰葡萄
女性大荫蒂荫道多毛茸茸
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1