有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
当头棒喝打一生肖
涨精装满肚子上学体育课
一人吃上面一人吃下
儿子你比你爸爸的大多了
汤姆叔叔最新地域网名2021
被压在玻璃窗边C
做过爱的两个人会忘记彼此吗
王者荣耀黄化网站免费
数学课代表的那真紧视频
婉莹满足了十几个农民工视频
两个男生是怎么做的
MD豆传媒一二三区进站口
伪装学渣电动猫尾巴PLAY
胸大的姑娘视频播放动漫
24小时视频在线观看免费观看
漂亮的丰年经的继拇3免费看
你的比我老公大太多了
妈妈的朋友13在完整视频带翻译
40部AI明星造梦赵丽颖
5G天天奭多人运动最新 免费
女人自卫慰图片
妈妈的朋友5线观高清
NARUTO HENITAL
厨房里的激战2PH
5G年龄确认我已满18免费
北北北砂王者荣耀禁满天堂
欧美无人区码卡二三卡
冷廷遇简夏在车上做
白雪公主成版人版H
始料未及的软1v2H
美国白人未成年rapper豆瓣
王总别在卫生间好吗
二人扑克剧烈运动打扑克视频
百合做运动视频教程
糖心精产国品免费老版
公交车上的诗请10
男的坤放入女的小视频
洗澡三十分钟被公强玩
猫咪地域网名入口639CFIOS
ZOOM与人性ZOOM情
narto henta
天天啪夜夜干2007
晚夜免费禁用十大亏亏
外国四个黑人RAPPER组合
森林里的熊先生正在冬眠无打码
一直喝水不让尿捂着的作文
宝宝才三根手指就受不了
同样是B为啥感觉完全不一样
自W到高C的25种图
老狼一区忘忧草欢迎您大豆
捅了班主任一节课视频
裙子底部的视野
50款夜间禁用软件app免费
他缓慢而有力的在车里撞着视频
雨后的故事视频
精产国品一二三产品区别在线
小娇乳H边走边欢1V1爱豆传媒
百合做免费运动视频教程网站
塞一天冰块不可以掉下来
Jessica Jaymes女猎人
白BBBBBB嫩BBBBBB
污到你那里滴水不止的说说文章
孩子玩着玩着就进去了怎么回事儿
御宝天师无弹窗
亲亲抱抱蹭蹭的刺激原声哔哩哔
另类极品VPSWINDOWS
小东西长大了可以做了视频
搞机time恶心10分钟不要钱
天美传媒原创MV
妈妈说只要爸爸不在家就可以睡觉
墨宗师和踏仙君同时干楚晚宁
国产DB624色谱柱36521
我的漂亮女房东完整版
日产无人区一线二线三线观
雷电将军被旅行者淦到哭
3D姐弟关系第三集动漫
含羞草MYHANXIUCAO
日本漫画口番工全彩之时间停止
绿巨人二维码推广
女生戴一天仙女棒上学的感受
家庭教师剧场版
淑芬两腿中间痒的厉害
我想要看胸片曝光照片实体
国产精品久久高潮呻吟AV.精品
又疼又叫哔哩哔哩
你好我的对面男友
WRITE AS 讲台上
人与善人与善在线观看
一边亲一面膜下的剧情简介
天美麻花豆产区
免费B站推广网站有哪些
亲亲抱抱举柔柔的视频
2019理论片电线
梁医生再往下一点吃肉
三个媳妇一锅烩大团圆婚礼
一旦试了黑人后你就不想回头
吃棒棒糖是什么意思
斗罗大陆2大乱斗交大TXT漫画
日日啪无需播放器
一次又一次的索取
WRITEAS道具
老卫在船上弄雨婷
把语文课代表干到走不动路
私人IMAX家庭影院
宝宝你好会夹呀都拉丝了作文
宝贝你的奶头好紧好大
acfun俱乐部
用指尖扰乱我吧打烊后第二季
白丝双马尾被疯狂输出
比我老公的大了一圈
宿主的任务是收集jy活命小说
孕妇RAPPER潮水偷轨
小东西几天没做喷的都是视频
14may18XXXXXL女
麻花传媒剧在线MV免费观看
鞠婧祎被吻照片
你就可尽的弄我们娘俩
两个男用舌头到我的蕊花
你进来了吗我要开始叫了表情包
动漫人物将机机插曲漫画网站
国精产品一品二品国在线
蜜桃成熟时1997国语百度影音
疫情期间和儿子做了怎么办
美女100%露出胸
太大了坐不下去太痛快
男女差差差30分视频
女生让男生诵自己的游戏
将夜2第3集大尺视频
向涟苍士献上纯
男生车车好快的车车黄
极道之妻们neo
浏览器正能量网站
女子半夜莲花开是不是刚做过
刻晴被盗宝团C的不能自理视频
男神插曲女生完整视频播放
爷爷总是在妈妈身上
被同桌扒开腿用震蛋器折磨
乱辈通奷XXXXXHD猛交
老公睡了我妈我同意了
47147大但人文艺术欣赏
校园列车上的小黄说说1000字
白人大战34厘米黑人BD
红猫大本营点击进
女生给男生看自己的秘密是为什么
日本牙医赤子板栗免费
99精品无人区乱码在线观看
异世之无良邪尊
春潮烂漫海棠红下载
拔擦拔擦永久华人免费
在街上他突然按了遥控器
火影忍者女性角色去内成品
上海富家女杨丽玲
打扑克激烈运动竟然不盖被子
课代表没带罩子给我抄了一节
它变大了你感觉到了吗同学
公孙离去所有衣服床上
WRITE AS 多人PLAY
坐在上面怎么晃教程动画图片
刘耀文往宋亚轩塞TD
别急妈今晚就是你的
老师两个大兔子抖来抖去视频
三圾片有哪些好看
同桌罚我夹震蛋器憋尿
撩到女生下面滴水的句子小说
晚上睡不着看点免费
LINODE日本IPHONEDVD学校
成都4片p视频
女家教 林佩佩
内衣柜办公室未增减
黄桃罐头里有什么对人体有益的成分
中国XXXXXLMEDJYF视频网站
18 19macbook airHDo
将夜2第3集大尺寸49秒
品性堂免费论坛
今晚咱们试试阳台
国产一产二产三精华液
适合女生深夜看的污一点的说说
中国乱码一二三区别免费
VODAFONEWIFI粗暴
打扑克一边痛一边叫一声正常吗
放冰葡萄在里面做
学长不行这是地铁
fulao2官方网
一个人看的免费播放完整版
晚上玩自己的100种方法
顶级RAPPER潮水日本
如何将自己隐私玩到哭
Naruto Konan Hentai小南
精彩无人区一码二码三码四码
最近中文字幕MV免费高清视频7
写错一道题就让学长干一下的视频
明星造梦49区
粉色视频观看高清声音
可以把火腿肠放里面睡觉吗
看我是怎么C的你叫出来了
3是不是欠C很久了H
原神雷电将军的俘虏生活
非洲人与性动交CCOO
日本三线和韩国三线的市场定位
我和几个亲戚都做了爱
吃鸡rap小姐姐
一浅二深三大叫什么
半夜好用的网站
国精产品一区一区三区M
浪货你那里又湿又紧 H
老狼二区忘忧草大豆行情
男生女生一起差差差的app下载大全熊猫
年轻的嫂子3韩版带中译
清明小长假来了蚂蚁庄园
女人好大好涨水好多
身体秘密 感官世界
校霸犯错被学霸罚带钢笔去上课
捧小伙人帅吊大GAY
公交车上的诗请猛烈的输出阅读
性姿势48个动图
中文字幕无线在线视频
色达天藏砍尸过程
粉色视频高清免费版观看
14MAY18_XXXXXL56ENDIANKINO
阿拉善8人大战视频
都市激情校园春色
大尺寸的小黄说说1000字
s把m骂湿的句子怎么理解
抓着班主任的两只大兔子视频
张津瑜和吕知樾带图片和聊天记录
品色堂永久免费论坛
国精产品一二三区传媒公司
夹住去上学不可以掉下来作文
被两个男人绑着玩
坏老人与媳妇天的春天
离婚跟儿子搞过吗
原神八重神子被注射不明白色液体
5G天天刷天天奭
善良的小峓子5中字巴巴鱼汤饭较
CCYY备用地址
英语今天晚上让你桶个够的软件
公交车撞到最里面去了
娇妻在我面前被多p
善良的小峓子5中字巴巴鱼汤饭
洪晓芸夜半思乳时
无遮挡郑媛媛不照雅
把极品白丝老师啪到腿软
少妇WWWB搡BBB搡BBB
大地日本韩国电影免费看
《上司部长出轨漂亮人妻》
你的太大了装不下了
37大但人文艺术图片
十五款夜间禁用APP免费IOS
接电话时他却突然用力
新版金银瓶1一5电影
大尺寸的小黄说字多肉
小学生如何自己安慰自己新手
体育老师c了渺渺一节课作文
JAKEANDRICH.手冲
女大学生怪奇俱乐部
XMXMXM18
从背后抓住两座山峰视频
25岁的女高中生
国产精华液一线二线三线区别在哪
云缨巡街北北北砂禁温漫天堂网址
甘雨ちゃんが人気の原因
能让你流污水的作文
插曲视频30分钟
好朋友的母亲5完整有限中字
用毛笔蘸下面洞里的水写字作文
早上起床前要抱紧我风车动漫
王尹平竹子走秀照片
老公亲我的小花园爱我吗怎么回答
棉花塞住下面不能尿还要喝水
和教练在车里撞了我三次怎么办
免费中国帅气体育生GARY
迈开腿让我吃你小草莓
被爱豆们翻来覆去1V7
灯草花尚 陈玉莲
星空传媒乱码一二三区
张津瑜处理通告
搞机TIME恶心10分钟直接打开网页不要钱
97国产精华最好的产品价格
怎么弄到自己喷泉
二指探洞应该怎么抠
井川里予的黑料视频
售票员用b验票小镇yl小镇
精品一卡2卡三卡4卡三卡免费
老师你的兔子好软水好多的作文
伽罗太华翻白眼流口水流眼泪
亚洲一码二码区别在哪儿啊
久亚洲一线产区二线产区三线区
LOVESTORY动漫无删减
国产精华精华液一二三区别
青梅不经C1V2
在她身上运动了一晚上详细
欧派浴室樱花2未增删带翻译樱花
楚晚宁张腿放棋子
糖心短视频VLOG柚子猫视频
无限在线观看完整版免费直播
双乳被一左一右的吸着
坐在紫到发黑的木棒上写作业
第一次处破美女完整版
一直按小豆豆为啥浑身发麻
宝贝儿感受到它在爱你吗
内衣柜办公室未增减
日本ZLJZLJZLJ
女性半夜莲花开放的治疗方法
97夜夜澡人人爽人人模人人喊
多人WRITEAS
污到你下面流污水的说说
王建李珊张伟陈婷互换
国色天香精品一卡二卡三卡四卡
书记太厉害了太长了
色吧有你春暖花开
国内精品乱码卡一卡2卡
亚洲一线产区二线产区分布
ZO2O女人另类Z020男男
女儿今夜以身相报父亲怎么办呢
色翁荡息肉欲系列小说
WRITEAS刘耀文插宋亚轩
在办公室里揉弄小雪好爽
亚洲国产一卡2卡3卡4卡5公司
引导儿子上自己
欧美精产国品一二三产品
玉渊谭天究竟是什么人
没有工具怎么自w到高c
痞子戏子厨子下载
在火车和后妈妈谁在一起是什么书
Zoom cloud meetings
麻豆传煤网站怎么下载
在公交车上弄到高C了公交车最后
两个男孩子开车长图文
孤独又灿烂的神 鬼怪
2014年1月里番合集
欧洲一卡二卡三卡视频
俄罗斯大转盘多人运动
放课后の校庭を走る君がいた
化学实验室学霸做哭学渣
中国老奶奶vpswindowsHD
坤不小心碰到女同学了怎么办
新婚警花被别人开了苞
老奶奶vpswindows
迈开腿尝尝你的草莓汁的作文
和同学一天弄了好几次小作文细节
搞机TIME恶心直接打开的不用下载嘉兴
橘梨纱コスプレ连続激イキ
男朋友为什么老是爱吸小兔子
6080电影理论在线软件优势
英语老师你的奶好软
输了被罚让别人玩一个月隐私
他不让我断奶他要接着吃知乎
免费夜里18款禁用软粉色
新金艳花瓶1-5集
第一会所s001论坛
宝宝坐下来自己慢慢摇网站
免费体验区试看120秒
一个人被3个人同时C了
老狼卡二卡三卡四卡二
二指探洞感觉要飞了
朋友的母亲9在观完整有限中字木
PANSY中老年妈妈
啦啦啦 中文 中国 免费 高清在线
亚州国产AV精品一区二区三区
情侣的30种插秧法图片
迈开腿看我是怎么C你的动图
japonensisJAVAHD大豆行情
最近中文字幕无吗
单亲妈妈4中文在线
在车里被撞了八次高c视频
美国又大又长又租
美国人XXXXXL19
夹枪带棒1v2舒明明黎远
国产成人果冻星空传媒
三个搞你一个好不好
仙踪林老狼入口欢迎您2023
最美情侣免费观看视频芒果TV
谁把黄光裕弄进去的
亚洲无人区码卡二卡三卡
国外幼儿精品区
男生女生差差差差差很疼视频免费
BMGBMGBMG好多水
一人一狗卡了六个小时视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1