有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
你能坚持几张图不死射
帮妈妈通下水道
刚开荤的女孩子是不是收不住
女人越喊男人越往里寨的电视剧
仆人犯错把筷子放屁了怎么办
三客优理论全新版
人与牲囗性恔配小说
黑人大荫道BBWBBB高潮潮喷
顶级RAPPER潮水
英语课代表上面好软在线播放
mm131杨晨晨紧身
夜里18款禁用B站大全
linode日本
棒棒糖放屁眼里吸收照片
校霸犯错被学霸罚带钢笔去上课
女子打扑克一边叫疼一边喊
YP193.COC永不失联免费
坐地铁车被高c怎么办逃跑的老师
多肉大尺寸小黄说说
chinese东北老年人tbc
迈开腿快让我看看你的草莓图片
Zoom cloud meetings
鲍鱼最新地域网名是什
小兔兔被男生吃什么感觉会疼吗
MD豆传媒一二三区进站口电影
最爽的乱惀小说200篇
宝宝你在车里好会夹
前一个后一个会撑坏的
爸爸的东西又弯又长怎么办
错一个题就往阴里装一支笔的小说
开始妈妈不愿意
日产精品一卡2卡三卡四
我的奶头被他吸的又红又肿
让我看看你的小森林是什么意思
花季传媒每天免费看三部
女子初尝黑人巨嗷嗷叫
女生把筷子放屁眼里不能掉
男人女人40分钟视频
姑娘日本大全免费观看版中文翻译
糖心LOGO免费
英语老师的小兔子好大好软水
三个rapper玩一个女的
朋友的女朋友5中汉字晋通话
寒假自罚表要残忍必动隐私
为什么把腿开到最大就不疼了呢
欧美无人区码卡二卡卡三卡四
网站你懂我意思吧
黄色软件下载3.0.3每天无限次VIVO版大全
七零空间知青娇宝
上楼梯每走一步就撞得更深
极品教师第二季免费观看
一个色农夫导航
等不及在车里做一次
换个方式做吧未增删樱
网址你知道我的意思的
果冻服务是怎么进行的
都市激情校园春色
赵露思的乳液头被吃
女人半夜莲花开大概时候几点
被逃生游戏npc做哭
漂亮妈妈6未删减
成人优品24小时自助售货店商品
如何用一支笔玩哭自己
潘甜甜 手机的秘密
50岁女人做起来很紧为什么
两个男生做不可描述的事情
国产一产二产三精华
免费国精产品一二二三
妈妈说只要爸爸不在家就可以大武
把筷子放屁眼里不能掉的作文
日本无人区码SUV
5g影讯5g天线在线观看免费下载
藏经阁福利导福航大全
浏览器正能量网站
往下边塞玉器出门
随时随地都能干的学校HR
人间小喷泉1V3HL笔趣免费看
国精产品一区一区三区有限
搞机time恶心直接打开的网站不用下载
免费的剧烈运动扑克网站
YW193龙物地址
诱人的小峓子BD中文字幕
女人很久没啪会变紧吗
JINYU9分10秒
一二三四在线观看高清韩国视频
大学生宿舍飞机china free
夜间自罚自己实行污
把她送上快乐的巅峰
两个吃上面一个人下试看
比基尼性感女装
行吧有你春暖花开
青梅被从小C到大H补课
我的奶头被客人吸的又肿又红
大地影院日本韩国免费
晚安おやすみせっ3在线观看
巴西BBABBABBABBA
他发疯地撞着他
国产一产二产三精华液区别在哪
早上起床抱紧我樱花
在把腿张大点我就可以吃到扇贝了
国色天香精品一卡二卡三卡四卡
乐可车图高速图片
女生让男生随便玩自己的坤坤视频
ZLJZLJZLJ水水多多
50款夜间禁用软件免费APP
B站大但人文艺术图评价如何
含羞草传媒隐藏网站入口下载
再用点力草丛里做
欧洲vodafone a18
嫩叶草m码和欧洲码的区别
儿子缓慢而有力的往里挺送
威久国际精彩视频2022年8月9日
日本人AA制是不是很凉薄
人与畜禽共性关系的重要性
课代表没带罩子给我抄了一节
娇吟公车系500章
差差差30分钟无掩盖照片
办公室狂肉校花H陈舒
把两只小兔子吸红肿视频
橘梨纱コスプレ连続激イキ
长城守卫军花木兰被草
M HBFAXIA
PYTHON人马大战CSDN
年轻的小峓子4中字巴巴鱼汤饭
双男主有车车的腐肉尿了
19禁忌漫画免费阅读
芭乐app下载网址进入18免费站长统计
国产麻花豆剧传媒入口
饭桌上故意张开腿让公H视频
海角HJ9DB5免费进入
污到你那里滴水的说说细节
黑巨茎大战美女在线播放
老师迈开腿让尝尝你的森林应用
RAPPER一姐潮水
俺去啦网站图片
又大又硬又粗再深一点
中国东北老太婆内谢
金田一少年事件簿r第二季
学长在地铁里怎么可以这样呢
免费啪视频观试看视频感受
9887地铁笨蛋
色翁荡息肉欲系列小说
班长哭着说再玩会坏掉视频
边做边爱完整版3
WRITE AS 爸爸
爆肝工程师的异世界狂想曲
大团圆公交车大结局2
精产国品一区别视频
弱点漫画21话一次够吗
啦啦啦免费高清在线直播4
迷情娇妻第104章在线阅读
ZHANGJINYU视频哪里有
蜜芽768mon二区忘忧草
新版猫咪地域网名入口3.0
中字乱码一二三区别视频
全美超模大赛第十五季
爱情岛论坛线路一官方网站
农场ZOOM与人性ZOOM
在无限游戏里花式挨CH视频
吃鸡rap小姐姐
精品国品一二三产品区别在线观看
蜜芽tv.2722在线观看网站
一个人吃上面一个吃下
日本raPPer潮水太多
小婷又软又嫩又紧水又多的视频
老师拜托授课到天亮吧
去姥姥家进入妈妈身体的说说
中文在线12月1日快速反弹
DVD碟片潘金莲
把这个放进去自己按下开关
美国人物动物交互
bigbang中文网
宝宝腿开大一点就不疼了
体育老师c了我一节课蘑菇视频
被C的走不了路
网曝吃瓜黑料一区
自己玩r头教程
宝贝你已经长大了给我
精产国品一二三产区区別
精华液一区二区区别
长月烬明全集泄露了
久久精品AV麻豆
美国Zoom人与Zoom
吴梦梦到粉丝家里洗澡在线
开车视频有声音疼痛软件免费下载
你们一个一个来我好痛
おっさんとわたし天堂
插曲的痛的视频30秒
PAYPAL未满十八岁怎么开通
十8禁用b站app免费
儿子一晚上要了我三回怎么办呀
中文在线中文在
JK底部的视角是什么样的
跪射是什么意思污
人驴交f ee欧美
5g影讯5g探花网址
初爱ねんね视频
另一类ZOOM与人性ZOOM
因不擦黑板被老师c了一节课
又大又长又租高湖
两个男的是怎么开车的
ssni229
丁香花成人电影
宝宝把腿开大点儿就不疼了正常吗
狗狗进到里面变大了
六年级下面可以塞几支笔
金鳞岂是池中物候龙涛
雨后的故事视频
接电话顶C的说不出话
在车里被撞了八次高c视频
黑牛影视传媒有限公司官网
公交车轮换C程雪免费阅读
欧洲vodafone a18
晚上如何在被子里玩自己
荡公乱妇第1章方情
晚上双人运动动作视频
交警用小XUE查酒驾H
学长两个人一起会撑坏的视频
四房色播手机版
YIN荡公交嗯啊校花蒋舒涵
隐身在课堂里为所欲为的游戏
writeas2根性器异物肿
WRITEAS 灌水
开小娟小妍嫩苞
热心的朝阳群众51cgfun
福利卡1卡2卡3精品推荐老狼
WNTPPS偷窃小便
ed2k 超市
任你干在线精品视频网2
14147最大但人文艺术
欧洲女RAPPERDISS大
这几天没C你了是不是
乱辈通奷XXXXXHD电话系
女刑警被两个黑人前后夹攻
欢乐颂5高清免费
漂亮的韩国家教
亚洲无人区码卡二卡三卡四卡
么公的又大又深又硬想要动态图
天美传媒原创MV
迈开腿尝尝你的小草莓什么意思
双乳被一左一右吃着的感觉
BGMBGMBGM老妇视频
滑滑梯越往下越疼的那种图片
蜜芽MIYA188MON牢记永不失联
外公总是压妈妈身上怎么回事啊
WWW无人区一码二码三码区别
日本精品一线二线三线区别在哪里啊
是不是想夹死师傅
斗罗大陆黄化动漫
爱情鸟论坛com高清免费
坤吧放到欧派上
母亲女儿女婿三人混战闹元宵
henhense
WNTPPS偷窃小便
りなとあな里菜的痛
学霸边写作业边被校霸上
诱人小峓子5中字巴巴鱼汤饭
啊好难受继续再给我好吗童声
甜蜜的惩罚未增删带翻译有翻译樱花
清纯校花被脔日常H
夜里100种禁用视频
国精产品一二二区视早餐有限
TMW07国产天美传媒
maya 图霸天下
好妈妈5免费观看中字直播
输了让同学玩身体全部位置的游戏
成为人免费高清完整视频
一区二区三区国产精华液区别大吗
四个人换着玩的过程
女生给男生看自己的秘密是为什么
tttzzz传送门2023网页版
芳草地社区在线视频
韩国电影老师的秘密
拔萝卜痛又叫黄
东莞技校门种子
联谊对象是肉食系警官末减版
张书记跨下的杨雨婷
yy111111手机在线观看琪琪
按摩师坐在两腿中间按摩
可以随意触摸内部位的手游
宁柔柔的小泬撑开到极致
叔父大还是爸爸大
中国XXXXXLMEDJY免费
明星造梦49区
奖励自己的隐私位置是什么
成熟交BGMBGMBGM日本1
菠萝蜜国际一区
芳草地在线观看视频
人物动物交互第ll0集
走一下撞一下深深咬合的小说
上楼梯每走一步就撞得更深
九一制作片场视频
亚洲MV砖码砖专一2020
在车里被撞了八次高黄
147人托人艺术
日本一卡二卡三新区
菠萝蜜不正经视频
翁公和晓雯在厨房里猛烈进出
翁日张敏陈法蓉陈红
别在阳台会被别人看到的
电车之狼r 攻略
我等不及了给我好不好
朝俞R车WRITEAS震动器
男团共享物by不必南下全文
打开腿我想尝尝你那里的水
俄罗斯牛or猪or狗
2014年2月里番合集
洗浴双响炮是什么意思
把女人干到不能走路
好男人观看免费TV
99精产国品一二三产区MBA
草莓视频APP下载安装免费无限看-丝瓜安卓
韩漫漫画登录页面免费漫画入口免下载
国色天香精品一卡2卡3卡4公司
新疆女RAPPER18岁RDFJFTTIK
午夜天堂一区人妻
男团共享物by不必南下全文
把班主任C了一节课
GAY空少被体育生开菊
女朋友特别会摇是什么意思
最近中文字幕在线的MV视频
菊内留香TXl金银花车
床戏哔哩哔哩大尺
MACBOOKPRO免费观看视频
精产国品一二三区别9978
往下面一颗一颗塞珠子的故事
我在公交车上弄到高C的作文
欧美精产国品一二三产品区别在哪
每天把你做到起不来
跳D放在里面逛超市的感受
幸福宝8008隐藏入口2023
仙踪林老狼贰佰信息网
男朋友咬小兔兔时怎么回应他
全国AAAA和AAAAA景区
538pro精品视频我们不只是
日本人是人吗最佳答案
19岁macbookpro未满16岁
女人吃男人精子图片
十五款夜间禁用APP免费IOS
5g天天奭多人运动
生姜切成小块放菊花里作文
暖暖视频日本版免费完整
凤凰天使韩剧社
父母儿女一家换着玩的文案
几个健身私教弄好几次了
柳岩十二星座离奇事件
最近最新手机中文大全4
塞跳D不能掉出来上学
把冰块一颗一颗往里堆
WRITEAS开会
中国人在线观看免费的视频
小泽玛利亚电影种子
结婚晚上怎么吃女生的小兔兔
完美小姐进化论日剧
小SB几天没做SAO死了H
12岁学生迈开腿让打扑克
你真紧你这是要我的命吗什么意思
纯纯欲动HD在线
王者荣耀女英雄脸上全是白色液体
考试没考好成了全班的坐便器
精品1卡二卡3卡4卡免费
说说老公夜里顶你的
青梅竹马是消防员1未增删
2分30秒不间断踹息声
最刺激的乱惀小说合集
四房播色最新版
男生会舍得让喜欢的人口吗
939W乳液78W78W韩国
免费B站视频推广网站2023
你遇到那个肯吃你JY的人了吗
日本最大但人文艺术
性生20分钟性生20分钟
三个人每人C我半小时的故事
一面亲上边一面膜下边文字的含义
多人WRITEAS
涨精装满肚子用塞子堵住照片
鲍鱼tv5apk官网app
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1