有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
晚上坐大巴车和陌生人坐一块
酒店服务生满天星法版免费观看
欧洲码和亚洲码的尺码区别
百合做免费运动视频教程网站
涩涩屋草莓榴莲秋葵绿巨人
年轻漂亮的岳坶9
雷狮被安迷修强行掰腿车图
麻豆传播媒体入口下载免费版官网
原神雷神ドラえもんのエ网站
彩虹男.2022小蓝
姬小满流眼泪翻白眼流口水的表情
言教授要撞坏了第二季笔趣阁
HONGKONGDOLL看片黄
星野明日香种子
雷电将军乳液狂飙vx免费进入
原神角色被淦网站
埃及猫没有衣服跳舞动画片原版
将夜在线神马影院BD高清
玩哭自己隐私的100种方法
芒果视频ios下载安装无限看丝瓜ios免费大全
未成年怎么玩隐私位置
宁荣荣把腿抬高我要进去
明星合成斗转星移
打扑克发出哼哼哼的声音
腿再开大一点就不痛了正常吗
等不及了先做一次
世子很凶插花弄玉
69无人区码一码二码三码
亚洲无人区码一二三码区别图片
怎么用卫生纸自W到高C
动漫人物将机机插曲漫画图片视频
stevehopper办公室
品色永远免费堂论坛
爸爸的好大我都握不住了的说说
父母儿女媳妇一起来玩的说说句子
我的兔子好软水好多H15
让人看了想要做的文章1000字
大团圆结局公交车2
边做饭一边躁狂视频素材
荔枝视频app男人影院在线观看
年轻的馊子8HD中文版
JMCicon官方入口下载地址
长泽梓白衣浴室
我朋友的妈妈9完整有限中字木
6080电影理论在线软件优势
深入交流1V3
长泽梓 白衣浴室
adc影库确认年龄18点此进入
同桌骗我去他家塞冰
用点力用一点力我快到
仙踪林果冻传媒一区
倒插莲花是个什么动作
人文艺术视频是什么意思
18岁末年禁止进入
美女露出尿口让男生爽痛
迪丽热巴AI人脸替换造梦
从厨房到客厅一直C
一个人免费观看的WWW哔哩哔哩
锕铜铜铜铜v27的独特功能介绍
善良的老师5有限中字丿
MOSTHDCOECTION性
美国军妓 百度影音
国岳的前妻照片
B不就是用来C的
张筱雨的人体艺术
538视频这里只要精品
索多玛的一百二十天
午夜dj免费完整在线看网
国精产品W灬源码网站1688
japonensis成熟
japonensisJAVAHD大豆行情
海角HJ9DB5免费进入
国内精品自线在拍
被C了一晚上是什么体验
菊内留香 金银花
公交车上被撞了八次
丰年轻的继拇中文3应用特色
啦啦啦 中国 日本 高清 在线
三十六种阴阳技图解PDF
手不安分的探进她的礼服小作文
极速天使里面的英文歌
水都这么多了还装什么
2024钙GY钙站
无人区码精华液
将军每走一步就撞一下
黄金网站APP视频
野花社区日本韩国免费
开车越往下越疼的句子
得到超级肉禽系统的小说
14MAY18_XXXXXL56ENDIAN日本
宝宝好会夹啊拉丝
超碰免费视频公开人人
YSL千人千色YESE88
健身房几个私教弄了几次
精产国品一二三产区蘑菇视频
灌溉系统NPC游戏双男主
喜爱夜蒲1在线影院播放
4444kkkkcom
污污免费看锕锕锕锕锕锕锕
年轻夫妇韩剧中文版免费观看
首页艾斯S踩踏社区
儿媳妇夸我比她老公大怎么回事
《夜关门:欲望之花》
国产亚洲一卡2卡3卡4卡新区
含羞草卡1卡2卡三卡2021精品
我们四个人换着玩的感觉
新不夜城综合首页
房东先生这是第5次付房租了
小东西几天没做水这么多
几天没C就痒了宝贝
学长的双指探洞好厉害
父子骨科多r车推荐
不系纽扣的女孩
永远的免费论坛
宝贝我不想带小雨伞啦小说
极速天使里面的英文歌
老公不在儿子当老公妈妈帮
离婚了让父亲体验了一次
父母和子女互换
差差差很疼30分钟的动漫
日本BOOKPRO
法国高压监狱灭火宝贝是谁
男女打扑克的APP
中国XXXXXL17免费
腿张大点就可以吃到扇贝免
蜜桃成熟33d完整版
蜜芽MY12777
和老板在办公室BD 中文
日本最大但的人文体艺术
c人入门视频教程
yy6090新视线看
我女朋友的妈妈4中语翻译成英文
ACCA少女网课韩国
心海ちゃんがを腿法娴熟部下
ZO2O女人另类Z020男男
广东东莞技校门
班级公共玩具叶渺渺
国亚洲一厂区二厂区三厂区
日本YOKOGAWA横河
有种你倒是公开小说
美女裸露双奶头屁股无裸体
每下一步楼梯都要撞一次
CHINA青年GARY
小14萝视频资源站
成品网站W灬源码被网友群嘲
被几个人日的走不了路
囯产精品一区二区三区线
mm1313点不进去了
边做饭边被躁BD在线播放
精品乱码一卡2卡3卡
老中医吮她的花蒂和奶水视频播放
西西顶级艺术人像摄影
在街上他突然按了遥控器
做错一题学长就C一次黄
吃自己的丁丁的方法
被学长C了一节课怎么办
娇妻在我面前被多p
男生女生一起差差很痛的APP下载安装2023
双龙NP黑粗撑开宫颈口BL下人
言教授要撞坏了中催奶
饭桌上故意张开腿让公在线看
一边说嗯一边喘气是什么
压在窗户上C给别人看窗前
与畜禽狗CROPROATION
吃瓜网-免费吃瓜黑料泄密爆料曝
儿子妈妈已经是你的人了
4399看片在线看动漫
世子很凶插花弄玉H
冬至糙汉h1vl
做在学长的JI巴做作业
为什么把腿开到最大就不疼了呢
雷速登之翼飞冲天2
没有擦黑板被老师C了一顿
刺客伍六七第二季免费观看
おっさんとわたし天堂官网
精东传媒VS天美传媒合作伙伴
儿子一晚上要我三回怎么办
久久无人区卡三卡4卡
撞得她说不出话来
narto henta
一边做饭一边躁狂我会怎么样呢
藏经阁官方福利导航
和女婿发生了不应该发生的事
人C交马ZOOMZOOM
不对劲的监考老师像素游戏
第一综合会所sis001
最近最新中文字幕MV高清在线
金银瓶4葡萄熟了
不知火舞之沙滩狂欢
国精产品自偷自偷YM使用方法
色翁荡息肉欲小说合集
公交车6人轮换c
刮伦合集500
柚子猫原神甘雨视内射频
拔擦拔擦8X永久华人网址
学霸将遥控器开到最大
露娜用猴子的金箍棒玩
李宗瑞继母叫什么
chinese东北体育生打飞视频
父亲的东西比老公的好用
想被男朋友c但不好意思说
聂小雨黑皮衣5分多钟视频内容
翁熄性放纵江雪
把它夹住去跑步不能掉体育课
最近的2019中文字幕MV
打扑克的剧烈运动
高冷男总裁憋尿被揉下面
妈妈的朋4线观高清
顶级大但人文体艺术
zjy卫生间6分35秒夸克百度
四个学长一起上我会坏掉的
为什么做完下面是打开的
人与畜禽CROPROATIO一
你日的我走不了路了
五行书院在线观看完整版
大炕上的肉体交换农村乱睡
儿子好厉害妈妈要来了的说说心情
我的好妈妈8日本电影免费观看
男按摩师舌头伸进去了
黑帮大佬和我的的356日第二季
公交车被两个人一前一后攻击
干的你走不了路SB
乳液狂飙vx网站
爱情岛论坛亚洲免费路线一
被C到醒是一种怎样的体验
乳头是软的百分百没怀孕
三个人一起玩3Q详细经过
tokyo hot n0460
麻豆传播媒体网站入口官方
99精产国品一二三产品功能
儿子的东西比丈夫还要大
无翼乌无遮挡全彩教师漫画
女朋友特别会摇是什么意思知乎
亚洲无人区码一二三码区别图片
一边做饭一边躁狂怎么办呢视频
整集都做的美剧
小子之偷采双圣
合欢app下载汅api免费秋葵
幼儿hiphop张婉莹仙踪网
欧亚专线欧洲s码wmysnh48
被自己家狗狗C了
爱情岛路线1线路2线路3京东唯品会苏宁易购
都生过宝宝了还这么紧
雷电将军与丘丘人繁衍后代
与我同眠下载地址
妈妈的味道HD免费
Zoom与人性Zoom的区别
没有工具怎么顶自己
乌龙派出所221
二人扑克剧烈视频运动
美女爆乳裸体WWW免费应用
国产乱码无限2021芒果
门卫老头吮她的花蒂的导演是谁
妈妈的朋友5线观高清
家长让我坐在振动器上写作业
究惑肉车禁闭室
成品网站w灬源码入口
撕掉她的外衣和内衣
男男车车的车车视频网站
妈妈的朋友5在线观看线观高清中文
一边做饭一边躁狂我会怎么样
好吊视频一区二区三区
洪晓芸夜半思乳时
公交车最后一排被群C的文章
一前一后三个人轮换的英文
爱如潮水图片高清日本
给阿姨通下水道
vivo另类tv
男车车好快的车车视频真人
仙踪林19岁RAPPER
坐在学长的棒子上写作业作文片段
女生喜不喜欢两手探洞
差差差30分钟很疼视频无掩
2021精品国色卡一卡二
女人的战争 卑劣的交易
果冻传媒一二三区2002
13适合用多大的仙女棒
痞幼猴哥视频3分25观看
看镜子里的你流了多少水
longbuluo
插花弄玉曲径探幽不正经的意思
被窝里的公息第十三章阅读
最近韩国日本免费MV高清观看
前男朋友特别大我忘不了他
我十二岁就做了不干净的事怎么办
离婚了和儿子做
白天躁晚上躁天天躁2022
老师你的兔子好软水好多作文
网站你知道我的意思的www正能量
坐在学长的大东西上做作业
差差漫画免费斗罗玉转土豪网站
吕杨张津瑜酒店落地窗mba
日本动漫扑克牌动画片mv
上体育课课被捅了一天
妈妈说带好套可以给我正常吗
51吃瓜网黑料传送门今日更新
撕掉她的外衣7
寂寞护士中文字幕 mp4
二指探洞应该怎么抠
搞机time恶心10分钟直接打开网页
描写地很细致的DOI过程
黄动漫车车好快的车车APP
午夜DJ观看在线HD高清
旅游和父亲开一间房间做了
晚上听到婆婆叫使点劲用力
品色堂永远的免费论坛
色欲国产麻豆精品AV免费
黑巨茎大战美女在线播放
他的手指在里面转动的写作业呢
魏晨破赵奕欢ps密照
晚上睡不着看点免费
房奴试爱中的运动
王者荣耀瑶白色液体喷到脸上
日本XXXXXLmeDjyf
多人运动网站入口
亚洲国产货青视觉盛宴
我的XL上司第二季未增删翻译中
冬至糙汉h1vl
能播放的人与Zoom
IPX 528
塞住了下星期回来我检查
自W到高C的50种图片教程视频
房奴试爱中的运动
都生过宝宝了还这么紧
老湿机免费一分钟体检60秒区
再往里一点啊对就是哪里
水都拉丝了还说不
4399影院在线观看免费视频BD
兄妹方程式多R车多1V3
办公室沙发口爆12P
桃花社区在线观看视频
WRITEAS诸葛亮多人
四个学长一起上我会坏掉的
学渣坐在学霸的鸡叭上写
日本阿v在线观看不卡变态
GGY钙2023入口廖男男
家里没人跟妈妈做了怎么办
动漫车车好快的车车图
洗衣屋樱花2未增删带翻译
王者荣耀黄化网站入口游戏
丰裕纵满杨玉环2588演员表
4399在线电影免费观看手机版
校园车文越详细越好推荐
糖心VLOG肉丝库水柚子猫
手机调成震动夹在中间
两个人一前一后攻击公交
WRITE AS 教官
成品网站源码1288隐藏通道
潘金莲扬思敏全集1一5集
爱情论坛观看路线二
Zoom与人性Zoom2区别
少妇挑战3个黑人惨叫4P国语
男朋友平时都是怎么上你的
一二三四在线观看高清韩国视频
电车蓝衣女种子
车里强行打扑克又叫又疼
年轻的母亲在线视频HD中文字幕
秘密教学第41话子豪进入svip
WRITEAS憋着做
渺渺在沙滩上让男人涂防晒霜
荧去掉小内趴在地上和散兵打扑克
王者荣耀女英雄去掉所有服装流口水
他像疯了一样占有了她退出
被校长抱进办公室糟蹋
一个色农夫导航
俄罗斯18give100
新版金银瓶1一5电影
我把语文课代表做哭了网站
公交车最后一排被群C的文章
坐在学长硬硬的地方写作业
花蝴蝶免费版高清版
娇妻出轨的秘密
知道错了就过去趴着打PG
漂亮的丰年轻的继拇5字
百合车车描写文字
多人运动网站无限观看
羞羞动漫在线入口免费阅读
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1