有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
精品日产一卡2卡三卡4卡三
痞子戏子厨子下载
PS一二级调色大片
糖心VLOG肉丝库水柚子猫
绝望教室动漫免费全集
糖心短视频vlog柚子猫
女儿初长成爸爸来尝鲜食品的祝福
抽烂WRITE AS
CSGO暴躁小阿姨
打开扇贝就可以吃火腿肠
麻花豆传媒剧国产免费MV豆丁网
隔壁机长大叔是饿狼
国产乱码卡1卡二卡3卡四卡
荧被焯出白水图片
女生让男生随便诵自己的名字诵
宝宝下面湿透了还嘴硬怎么回事
刘耀文在水里做哭宋亚轩
在办公室里揉弄小雪好爽
成绩差成为全班发泄用的玩具
大胸年轻的搜子
吃到自己的鸡嘴巴简单办法
大尺寸的小黄说说1000字
wallpaper原神18入
中国人を嫌う日本人
CHINA体育生GARY飞机
深入交流1V3
动漫人物做差差差看视频
三级电线在2019
缠着腰不让他退出
美女脱一净二静视频
日产乱码一二三区别18
大将军1V2LH檀洙角色分析
不遮阴的小内搭
鹡鸰女神第1季
永久adc视频年龄确认
迈开腿让学长尝尝你的草莓是什么
国产精华最好的产品人V中文
他C过你这里嘛
五月天激情小说
把英语课代表做哭了视频
新版猫咪永久地域网名
青梅竹马是消防员2未增删动漫剧
进入母亲的生命之门
老师太粗不行坐不下去痛
在大街上打开遥控器开关
年轻的母亲4兔费线
只有棉签怎么自罚
女婿次次有力杆杆到底笔趣阁
开车视频疼痛有声音免费软件APP教育网
妈妈的朋友12完整视频有翻译
欧亚一卡二卡日本一卡二卡
永久adc视频年龄确认
错一道题就插一支笔怎么办
癫马女郎之一夜情
奥利给吃粑粑原视频
畜禽CROPROATION
第一次处破女14分钟
jmcomicios拿走不谢
蜜桃成熟时33d在线观影
班主任说快来插我啊的视频软件
宝贝是不是到最里面去了
日本windowsphone
家里没人儿子就弄我了什么意思
妈妈的朋友8完整视频有翻译木瓜
黑人30厘米全部进去了乌木
女生的小雏菊到底长什么样
中国XXXXXL 18
9uu.cm有你有我
从厨房一路顶撞到卧室好吗
小丹疼吗慢慢就不疼了
双人床上互动图片
都这么多水了还不要吗
孤注一掷王传君免费观看
宝贝好紧好爽再搔一点试视频
詹妮弗的肉体下载
厨房边做饭边做运动的叫什么
你里面太温暖了
四房播色最新版
人与畜禽共性关系美国
一边喘气一边说嗯的词
链-两个女人的诱惑 电影
日本在B站直播
电车之狼r特典
公与妇仑乱HD
全美超模大赛第十二季
BabyCAT98女rapper
男孩花1元买到金戒指
公主往下边塞玉器是哪本书
含羞草独麻婆豆腐传媒
打扑克直播下载软件免费
这几天没C你了是不是
和孩子一起睡觉没控制住
战恋雪txt下载
岳的毛又黑又厚
在女生身上滑滑梯是什么意思
歪歪漫画登录页面免费漫画破网页
2021日产乱码网站直播
一人吃上面一人吃下
小东西才一根手指就喊疼了
济宁郑媛媛 ed2k
小东西把它夹住去跑步不能掉
最近的2019中文字幕国语5
破了新数学老师的处
妇乱子伦小说全文阅读
荧被丘丘人繁衍后代剧情解析
亚洲无人区一码二码三码区别
各种APP引导网站
嫩草研究所入口一二三四
一卡二卡三卡四卡视频
男男车车好快的车车真人免费网站
汤姆影院TOM转入接口
不再是朋友的夜晚第1集
张柏芝门照艳原图
家里没人跟妈妈做了怎么办
刻晴被盗宝团注射药物
亚1州区2区3区4区产品
免费B站视频推广网站2023
换个方式做吧未增删樱
ed2k 韩国女主播
做错了事就往下面塞一个冰球
双男主有车车的视频w
女篮中锋坎贝奇三部曲
皮肤上有白块关键词
性宝福丝瓜草莓芭乐小猪鸭脖
xiaav论坛因你精彩
别怕放松我这是在爱你
宝宝下面湿透了还嘴硬怎么回事
世子很凶插花弄玉前进后出
心动时刻 简简单单
湖南高中秋千门事件
啦啦啦WWW免费高清
榴莲app下载网站进入色板
奶糖与烈酒BY封远廷
换个方式做吧未增删动画樱花
另一类ZoomVCR
啊宝宝的腰好会扭再叫大点啊哈
国产传媒果冻传媒天美
宝宝好会夹啊拉丝了
腿分大点就不疼了
男朋友把我腿打开了
最美情侣高清免费视频播放大全
学长一边撞我一边写作业
他的手探到我的衣服在做什么
故意让儿子看见自己
年级老师的滋味4
儿子妈妈已经是你的人了
免费啪视频观试看视频感受
三年片大全在线观看免费观看大全
欠C的玩意SB就是用来C的HI
Q14MAY18_XXXXXL56ENDIAN
斗罗大陆女生去掉所有服装网站
百合做运动视频教程
啪嗒砰怎么召唤
伊人成人生综合网图片
野花免费观看高清视频6
老婆说她想尝试多人怎么回复
老公叫人一起换着玩的说说图片
亚洲1卡2卡三卡4卡2021
一边伸舌头一边快速喘气表情
精品国品一二三产品区别在线观看
顶级大但人文艺术欣赏
帅气体育生GARY网站小蓝
中国XXXXXL19免费视频
梁医生不可以(限)季亭亭
撑 趴 润滑 痛苦 求饶 BL
国内AI明星造梦网址是多少
老阿姨在CSGO中的经典比赛
和邻居换娶妻1
小仙女把JIOJIO放在坤巴上
WRITE AS 人鱼繁殖期
人与畜禽的关系
撑起伽罗的腿疯狂输出是什么意思
和老爸睡觉没控制住
日日啪无需播放器
日文中字乱码一二三区别
麻豆画精品传媒2021免费
洗衣屋樱花未增删带翻译英文
激荡瑜伽1V2PO
51精产国品一二三产区区
走一步撞一下连在一起
涩涩屋绿巨人草莓榴莲秋葵
开襟旗袍做运动狂飙乳液
亲亲抱抱举柔柔的视频叫的声音
baoyutv最新网名2021
分手那天我们做了十三次
在车里被撞了八次高c视频
男生都是怎么C你的
冷廷遇简夏飞机上做246章
母亲とが话していま中文
在线bt天堂网.www最新版
大团圆结亲情会目录
完整版白妇少洁高义阅读
精灵の森へようこそ2
我控制不住我想要你
高冷男受用钢笔玩自己GH视频
narto henta
网址在线观看你懂我意思吧
24小时日本韩国视频
电车之狼r怎么玩
大家最刺激的一次是在哪里
胸好软水好多双指探洞
啦啦爱免费观看视频
荫道BBWBBB高潮潮喷
女生说痛男生越扎的软件大全
50款夜间禁用软件免费APP
日产无人区二线三线乱码
敌伦小芳的第一次
黑料社吃瓜爆料砍黑料社
在床上打扑克全程不盖被子吗
两阳夹一阴涨停双响炮的意思
行尸走肉洛莉做过几次
刺激打扑克摇床又疼又叫
摇床和喘气声音音频一样正常吗
雨后的故事视频
他的手一直探下去
新堕落东京之奴隶
被打得不敢坐凳子WRITEAS
一龙二美妇观音坐莲
云缨巡街救公孙离网站入口漫画
学长的手指在里面转动的写作业呢
亚洲乱码在线卡一卡二卡新区
电车之狼r 攻略
日本一本到道免费
在车上就要了你
乳液狂飙开襟网站MIMEI
教练把车开到没人的地方
FREE性俄罗斯14 18
男男车车好快的车车cp
WRITEAS掰腿
老公总是吃我的奶奶但我很反感
斗罗大陆3大乱斗交大配
日本顶级rapper潮水老娘
のおっぱい身体检测小小的身体
么公的粗大挺进了我的密道
链-两个女人的诱惑 电影
趴在办公室被老板们C
俺也去老色官网
是不是每一个b都一样感觉
你男朋友是怎么上你的
可疑的美容院 迅雷
男生会舍得让喜欢的人口吗
一抽一出BGM流水视频
我的极品是前任
中国帅气体育生gary的介绍
炎の孕ませも身体测2
双乳被一左一右吃着的感觉
异世之无良邪尊
星空传媒XK8012妻子
娘王 virgin
最近中文字幕2019国语4
鲍鱼最新地域网名2021
老师洗澡让我吃她胸视频
男生主动吃我腿中间那个东西
美国xaxwaswasfilm
用玉器养大的公主么么
彩虹男GARY视频2023入口
上自己妈妈是一种什么体验
大型丁香成人社区
上课跳D突然开到最大视频
元歌和西施拔萝卜拔出血拼音
japonensisJAVAHD大豆行情
三个老汉一起弄我小说
三十分钟让你桶个够
学生的妈妈2中韩双字多鱼1下
坐在学长的棒子上写作业作文视频
早上起床抱紧我未增删樱花
女婿的东西太好了
日本欧洲美国中国韩国产
狗狗太快了我有点接受不了
EUTOPIA无删减版网盘
老婆出轨时接听老公电话
18岁末成禁止观看
麻花豆传媒剧国产MV出差
萌白酱17分钟视频
看了让人起反应的文章
めんたいさんでぃふぇんすっ甘雨
蜜芽忘忧草二区大豆行情网烧仙草
旅游途中夫妻换着玩的说说心情
江疏影2分28在线
随时随地都能干的小镇I
三个徒弟C一个师傅
可播放的steve hopper
相对湿度po阿司匹林催熟
作业写着写着就插了起来
孩子想x我同意了
鞠婧祎被吻照片
为什么女生一被上就老实呢
大香区煮伊区2020小辣椒
《夜关门:欲望之花》
小蓝彩虹男GARY1096
女生只穿一根线还小的三个点
善良的小峓子5中字巴巴鱼汤饭较
国内精品卡1卡2卡区别
希儿的乳液狂飙天堂W98
大尺寸的小黄说字多肉有哪些
口工漫画全彩无遮漫画
看镜子里的你流了多少水
迈开腿让我看看你的里面
讲讲和对象第一次的细节知乎
全美超模大赛第十五季
浓毛BWBWBWBWBW日本
成都4片p免费完整版
一面亲上边一面摸下边打扑克
男人一开荤就收不住是什么意思
追黄神器免费版
丝瓜 草莓 秋葵 榴莲
舌と唇と唾液が浓厚
2014年2月里番
体育课被老师C了一节课作文
台湾仙踪林XZL
太子被暗卫C到合不拢腿N男男
女人和公豬交交30
二人扑克剧烈运动视频教程
原神雷神去掉小内图片
抖音奶片故意走漏15秒图片评论
糖心VLOG小桃内射频网站
老阿姨在CSGO中的经典比赛
品色堂永远免费的论坛
国色天香卡2卡三卡4
跨坐着腰腹吞没
小东西我们两个C你视频
梦莹与翁公在厨房
男生和女生一起差差30分钟很痛一百条信息
数学老师叫我吃她的小兔兔
迪丽热巴哭着说不能再深了
事物的秘密截取水中一段
白俄罗斯RAPPER潮水
学霸C小混混到哭
仙女棒坐姿图片大全大图
被大叔C哭是一种怎样的体验
丫头牦户一张一合
鸣人九尾暴走需要女人治疗
电车之狼r去马赛克补丁
一前一后三个人轮换的英文
用我的棒棒疏通下你的水道
女生为什么迈开腿给男生看
日本精品一线二线三线区别
郑媛媛未经处理雅照
国模全体超大尺度私拍
没有工具怎么玩自己
校花婉莹被农民工玩
三叶草亚洲尺码和欧洲尺码区别
小泽玛利亚种子
宝宝的骚水喷的到处都是
韩国风俗媚娘全套图
戴自动蝴蝶去上班感受
给我中国免费播放片在线
刻晴被盗宝团捅的叫个不停
坐在上面怎么晃教程图片
野花日本HD免费完整版高清版7
花季传媒app每天免费3次观影
在床上拔萝卜又疼又叫
化学实验室学霸做哭学渣
亚洲日本一线产区和二线产区对比
旅行者的小鸡桶进绫华的J
语文课代表哭着说太大
一根筷子怎么玩哭自己
潮湿的心HD完整版
去姥姥家进入妈妈身体的说说
父亲缓慢而有力的往里挺送视频
亚1州区2区3区产品乱码
无码丰满人妻熟妇区
和搜子居住的日子4
帅同社区文学转载
ai少女进入后怎么导入建筑
男生被男生C哭是一种什么体验
宝贝腿张大一点就不疼了
低头看我们结合的地方
按摩师坐在两腿中间按摩
整部剧都在真做的剧韩剧
迈开腿尝尝你的草莓是什么感觉
班长哭着说不能再深了
人与畜禽交互MOUSE
小科科黄版无限刷IOS
撞进妈妈的生命之门
一边伸舌头一边快速喘气图片
国产DB624色谱柱36521
海角社区最新在线视频
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1