有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
网站你懂2018
和女朋友坐公交车最后一排
这个杀手不眨眼2
品色堂永远免费的论坛
捅伽罗是什么东西
迈开腿我们换个地方C视频
jealousvue成熟分类
小霜的高中成长日记下载
附近人100元一次去她家
日本理论片和搜子同居的日子
三个人一起玩3Q会怎么样
姬小满乳液狂飙奖励自己
WRITE AS医生
青年大学第十一季第二
欧亚尺码专线欧洲B1B1
体CHINESE大学生宿舍飞机
张津瑜视频百度云
男朋友C你的时候一般会叫你什么
阿岘洞夫人国语
小格式自压原创区
仙踪林19岁RAPPER潮水仙踪林
大学校园1v3
星空传媒妈妈和女儿闹元宵
善良的老师2中字巴巴鱼汤饭惹人
TPU色母与PA6色母互换
张津瑜 VS吕总视频MV完整版
白嫩的白嫩的BBBBBB
姐姐的朋友6有翻译
在公交车最后一排被多人
mxgs-837
迈开腿给我尝一下你的味道
小东西看我是怎么C你
一个人晚上偷偷看B站直播正常吗
善良的妈妈2观整有限中字
ZOOMSERVO
好男人观看免费TV
宁荣荣把腿抬高让我进去
男孩子淦哭男孩子黄文
HULUWA官网在线入口IOS
你们老公晚上怎么玩你
爸刚走爷爷就来抱妈妈怎么办
S货叫大声点C烂你的SBXS
上课捡到一个遥控器按了一下
狗狗射速好烫太怕了
国精产品W灬源码3
宝宝s在里面好不好
爱恋2015是真的进入吗
麻花豆传媒免费MV在线观看
s把m骂湿的句子怎么理解
日产精品1区至六区有限公司
黑料网-独家猛料-曝光揭秘
JAPONENSIS18一9
黑暗荣耀朴妍珍打扑克
欧洲卡一卡二卡三爱区
jing液灌溉系统2号唐小米
男生最抵抗不了女生亲他哪
夏天短袖见到女同学乳突图片
中国小鲜肉巨大2022GARY
善良的小峓子中文版在钱
9精产国品一二三产区
啊哈哈哈哈主人我错了哈哈哈哈柯
中文字字幕乱码电影1
柳州莫菁门事件
adc欢迎您的大驾光临
津渝视频完整版张
怎么把自己自W到流泪
蜜桃成熟时3 qvod
妈妈跟外公在做什么
女神漫画登录页面免费漫画入口网页
腿再开大一点就不痛了
最美情侣高清免费视频播放大全
分手那天我们做了八次
善良的老师5有限中字
好烫好涨被尿灌满了BL
女人网站你懂我意思吧
老婆出轨时打电话给老公
涨精装满肚子上学公交车
八重神子流乳液
老公不在儿子当老公妈妈帮
校园春色武侠古典系列
啊灬啊别停灬用力啊动态图
风间由美 熟女
日韩人妻少妇一区二区三区
啊做错一题学长插一支笔
祝英台遇到马文才在哪可以看
什么叫女人半夜莲花开
不知火舞之沙滩狂欢
儿子的坤坤塞进妈妈的坤坤
外网张津瑜视频在哪里看过
雷电将军乳液VX网站破解版
2012日本中字免费
呜呜撞得她说不出话来
18may19-XXXXXL民族
妈妈的职业K8s经典
tttzzz黑料不打烊痞幼照片
为什么当兵的晚上很厉害
离婚五年忍不住了和儿子睡了
sqte-046
王者荣耀英雄打扑克软件
夹冰块一天都不能掉出来
30秒不间断踹息声音频下载
原炀WRITE AS震动器
IGAO网站在线观看
抖音C人版奶片7028
妲己におしおき
多人WRITEAS
朴妮唛29分钟完整版
反差婊吃瓜黑料网站19
美发室特性服务5G
HonKai Impact 3rd Kiana R2
芳草地在线观看视频
清恋 seiren
人畜禽CORPORATION最新版本
亚洲MV砖码砖区2021在线
女生越疼男生越往里寨的
人C交马ZOOMZOOM
全程粗话对白视频VIDEOS
被自己家狗狗C了
原神ちゃんが腿法娴熟を
JAPONENSIS18一9
今天晚上让你哭着喊停
麻豆无人区乱码
MAYA我们严重反对未成年访问
在公交车上被蹭流水了怎么办
一边喘气一边叫做摸小兔兔
亚洲卡2卡三卡4卡2021老狼
BGMBGMBGM老太太视频HD
麻花传媒XK在线观看
晚上偷偷看B站欢迎您
抑制剂的副作用by栖鹤海棠
老狼卡二卡三卡四卡视频
WRITE AS 两根
蜜桃色的YSL
精品AV国产一区二区久久小说
国精产品呦呦仙踪林
まことNICO免费视频
女生看了会湿的污段子
打扑克牌的剧烈运动视频不盖被子
我的小兔兔被男生越捏越大
父亲比老公大很多
男女晚上做运动生宝宝好吗
亚洲熟伦熟女新五十路熟妇
成长视频在线观看免费
红色一片免费版
成品源码1688网站免费版
原神雷电将军乳液vx网站进入
野花视频免费手机版
新版金银瓶1一51956
天美麻花果冻视频大全
midd-962
翁公的浓精11部
搞机TIME恶心直接打开的网站不用嘉兴圈2023
雨果 百度影音
把我的香肠塞进你的甜甜圈
你的东西比老公大得多
17may18_XXXXXL56endian
揉自己的痘痘揉到腿软的方法
早上起床抱紧我未增删樱花
日本漫画工番口番全彩免费
いっぱいしぼっちゃうぞ在线
斗罗大陆2大乱斗交大第1
站在公交车里抓着摇曳的手环
妹妹中考前让我C了一次作文
《菊内留香》TXL金银花
漂亮妈妈7韩国在线观看
兽兽门全套照片
放学被几个人拉到没人的
王者荣耀瑶嘴巴里含着铁球流口水
台湾SWAG官方网站进入方法
军旅肉质1v2夹枪带棒
bbox撕裂bass俄罗斯
张核子弟弟发声
聂小雨视频3分25哪里能看
天天想你免费看西瓜视频
榴莲app下载进入网址
女生说疼男生越往里寨APP游戏
宝宝我就在外面蹭一下爱情
极品教师未删减完整版
GAY2022空少被体育生暴菊
doctor strange
俄罗斯1317大但人文艺术
什么样的B型好玩
野花视频在线观看播放在线观看6
我们换个方式做吧未增删动画樱花
妈妈的朋友2在完整有限中字
被子里怎么无声自W超疼
BBOX残忍BASS马
WRITEAS 灌水
两个男用舌头到我的蕊花
无颜之月我是看守专用宠物无修剪皮皮虾
安迷修被雷狮掰腿塞棉签
二指挖洞的手势技巧
一区二区三高 清
疯狂欲望无删减 在线高清中字
欧洲女RAPPER潮水大豆电视
大地韩国日本电影免费看
夫妻之间免费的视频
女朋友说她前任又大又长
2021王者荣耀天堂图集
水蜜桃色314
分手那天我们做了八次视频
公翁的粗大放进我的秘密电影
淑芬二腿间又痒了
千娇app下载
13岁能放几个笔
晒晒16岁儿子竖起来的照片
2017夜夜干精品
和游泳教练的水下运动
陌陌万人睡小华佗视频
大胸的丰年经的继拇了
宝贝是不是到最里面去了
教室里英语课上插英语课代表
厨房里两只奶头被吸肿了
中国bgmbgmbgm老头和老妇
钙GGY钙站男男
benpaobaxiongdi
香肠和扇贝插在一起是什么
我可以上你吗日剧免费
金刚杵汆肉莲全过程
香蕉苹果草莓菠萝葡萄榴莲
坐着震动器写作业WRITEAS
香草视频www高清在线看
5G影讯5G探花多人运动最新网站
被窝里的公息第十三章
CHINESE小鲜肉飞机
亚洲无人区码卡二卡3卡2020
妖艳女忍者锷女篇
皇上御花园HLH
我们换个方式做吧未增删动
国精一二二产品无人区免费应用
日本剧烈运动摇床运动打扑克视频
xiaav论坛因你精彩
打开腿让我添你下面小污文
鲸鱼夫妇120114
同桌放学带我去没人的地方作文
丫头刚开始会有点疼
WRITEAS花蕊
中国小鲜肉GARY2022飞机
我一加速她就哭
女朋友的母亲9中语字追剧易
妈妈用棉花堵住不让尿喝水怎么办
1区1区3区4区产品乱码芒果在线
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
含羞草传媒隐藏网站入口下载
6080新觉伦午夜
多肉的糙汉b1H
无人区一线二线
2012日本高清免费中文
一女多男nP现代高H
第四色网站主页
宝贝它想你了感受到了吗
通房11H云舒
一个人免费播放在线观看视频
蜜柚在线观看高清资源视频
老人在野外做见不得人的事
宝宝我就在外面蹭一下爱情
教授别c我了我在写作业文
蜜芽miya188.mon牢记无限观看
日本精品一线二线三线区别在哪里啊
in treatment
男生把大坤巴塞到男生的嘴巴里
原神雷电将军把乳液喂给旅行者
领导的东西比老公的大
污污免费看锕锕锕锕锕锕
适合夫妻看的哔哩哔哩电视剧
po18脸红心跳作茧官网
国模露露客厅沙发
从阳台C到卧室C厨房
PYTHON人马大战CSDN
朋友的母亲9在观完整有限中字木
我在游戏里被各种H
会夹会摇是什么意思
班长是我们班的存精器GH
没带罩子让他C了一节具体写文
叫女生捏自己的小兔兔的视频
魏晨破赵奕欢的处图
妇女老太太GMRBGMBGM
美女脱个精光露出奶头和尿口
老马的春天顾晓婷
人与马是怎么交流配的
51cg吃瓜爆料永利2023
床上运动拔萝卜
男人和女人晚上干的那事视频
野花视频在线观看最新免费3
大武当之天地密码迅雷下载
学长缓慢而有力的撞着图片
男生为什么越到最后越快
h高辣公憩1v1
没带罩子让校霸C了一节课小作文
xl上司带翻译没有马赛克带中文
国产SUV精品一区二区五
怎样用一根棉签弄自己
亲亲抱抱柔柔的视频动漫
把头抬起来看镜子里的你
晚上一个人睡不着在线看
我朋友把我玩成了喷泉怎么办教学
没做过的能放进几个手指节
春暖 花开cc炎狼
自罚一天从凌晨1点到晚上8点
刺激战场未满十八岁能玩多久
CHINESE东北女人舒服
爱情论坛观看路线二
怎样把自己弄到喷泉
男的说女的紧是好的还是坏的
精产国品一二三产区蘑菇视频
妈妈说带好套可以给我
无人区码一码二码三码区别
为什么黑种人的性能强大
WRITEAS管教
麻豆视传媒官方网站入口
忘记擦黑板被老师C了一节课
亚洲精品1卡2卡三卡23卡
渣男渣女做不干净视频
tobu7tobu8HDAPP
双人床上做剧烈运动
溢出OVERFLOW2未增删带翻译
一浅二深三大叫什么
王者荣耀女生去掉小内 软件
插曲视频30分钟完整不用下载
六年级下面可以塞几支笔
妇女被深耕过后有哪些表现呢图片
父亲比老公大很多
年轻的母亲2在线观看带翻译
女朋友的妈妈2023中语翻译
无人区一码二码三码四码多人收藏
夜间坐教练身上练车
精品卡一卡二新区仙踪林
看了会滴水的段子漫画
你的棒棒能通通我的下水道吗
欧美精产国品一二三产品
老师洗澡让我吃她胸视频
滑滑梯越往下越疼的那种图片
向涟苍士献上纯洁未增删带翻译樱花9
黑黑的粗粗的长长的是什么
中文字幕一线产区和二线区的区别
西方37大但人文艺术任汾A级
国内精品卡1卡2卡区别
成都4片P完整版免费视频
跳d放在里面上体育课500字
男女一边摸一边做爽爽的动态图
往下边塞玉器出门write
那么多水还说不要把腰抬起来
月光视频在线观看免费版
心海ちゃんがを腿法娴熟部下
红猫大本营点击进
女性的阴性部实图张开
国精产品一二二区传媒有哪些
妈妈的朋友4女主角是谁演的
女人半夜莲花开很难受怎么办
抖音奶片已删除的视频
精JAVAPARSER乱偷
迈开腿让我看看你的照片图片
love rain
善良的妈妈5中字巴巴鱼汤饭
无人区一码二码三码区别图片
国精产品无人区一码二码三M
原神申鹤去掉小内无爱心图片
YSL千人千色AE86V9
英语课代表的胸好软的作文视频
公交车上的诗请10
939W乳液78W78W永久73H2GA
公交车后车座疯狂的做的细节
国色天香精品一卡2卡3卡老狼
8X8X网最新地址
BGMBGMBGM老头XX
妹妹中考让我C了一节课
两个人看的片BD高清
污网站WALLPAPER共享人可以看到订阅
首长含着她的胸挺进柔软里
岳把我用嘴含进满足我第二章
老师下面太紧拔不出来怎么矫正呢
女医生让我舔她BB
芳草地社区在线视频
黑帮大佬和我的365未删减
毛笔夹在里不能掉出来写字
抽出含了一整夜的性器液体流出
坐在爸爸的JI巴做作业
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1