有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
小苹果影院日本影院
4hu44四虎www在线影院麻豆
bgmbgmbgm老太太毛16
原神胡桃N开襟乳液狂飙视频
你老公晚上都是怎么玩你的?
女孩子是怎么上女孩子的
WRITE.AS塞东西
人与畜禽杂交MOUSE农场K9
麻豆精产国品一二三产区区别在哪
日产中文幕无线码8区
仙踪林大豆行情网老狼
联谊中的游戏动漫
妈妈的朋友5完整视频有翻译木瓜中字
胡桃坐旅行者的坤坤
男孩子淦哭男孩子动图
为什么做完以后还要顶
最近中文字幕免费大全8
国精一二二产品无人区价格
越南女子杂交内射BBWBBW
迈开腿尝尝你的蜜林
我偷偷装睡让公滑进去
恶女教师百度影音
在街上他突然按了遥控器作文
在图书馆往下边塞东西
满了太满了溢出来玩具
一口一口吃掉胸口的奶油BD站
WRITE AS 导尿
公主恋人ova下卷
江疏影2分28秒
品色永远免费堂论坛
爱情岛论坛在线路线一免费观看
美国人与动ZOOM
悠悠爱情药草香
心动时刻简简单单的爱
寄宿日记是83用深喉咙帮充电
国亚洲一厂区二厂区三厂区
爱你24小时不打烊
中国XXXXXL17仙踪林
老狼二区忘忧草大豆行情
剧烈运动摇床打扑克运动视频免费
原神甘雨被空C出白色液体游戏
日本一线产区和二线产区
老公叫人一起换着玩的说说图片
男人去天堂在a线
梁医生再往下一点就可以吃肉了
男孩买来金戒指妈妈慌了
和朋友换娶妻2023
老湿机影院免费观看十分钟
男生把感叹号放进女生的括号作文
帅同社区文学转载
女友的妈妈9中语字追剧电视剧
幸福宝8008APP隐藏入口免费
分手那天我们做了十三次
xrk1_3_0ark在线观看免费ios
品色堂永久的免费论坛
班长哭着说不能三根一起
快拨出天我是你母亲
那你蹲下来吃我的棒棒糖吧
可以差差差的视频无掩盖
八重神子被焯出白水图片
一面亲膜上边一面膜下边日本
用他的大句号撞击我的小括号
国精品产品推荐
不知火舞和三个男儿公园
一边亲一面膜下的
腹黑王爷喜当爹2
欧亚专线S码和W码入口一样吗
中文在线っと好きだった官网
你的舌头搅拌着我的那里
被C是什么感受
棉签冰块放入PG的照片
汤加丽生殖大图147网站
浓毛BGMBGMBGM胖
家族内乱换刘家全部
JEALOUSVUE极品少妇
早上被C醒是一种怎样的体验
无人区码卡二卡乱码字幕
白莲花的贵妇生活
超级肉禽系统的小说推荐
高中校花陈若雪H校长
GTV小蓝视频网站链接知乎
都这么多水了还嘴硬这是在车上
我们4个人旅游交换着一个人
6人轮换C一个
走一步撞一下连在一起
狠狠射日日干综合
在车内疯狂打扑克
久久丫精品忘忧草产品
跳D放里面开最大是什么感觉
扯掉两只小兔子跳出来了动图
宝贝腿开大点我添添公交车
彩虹男GARY2023视频
翁公半夜吃我下面
中国小鲜肉gary西北军军2022
免费网站你知道我的意思的
エロワンピース天堂
亲亲抱抱蹭蹭的刺激原声哔哩哔哩
精品乱码卡一卡2卡三免费
男孩子淦哭男孩子视频免费
上边一面亲下边一面膜描述
老师变成全体同学的玩具作文
天美传媒我的妹妹董小宛
成品网站W灬源码火龙果
妈妈说只要爸爸不在家就可以睡觉
东京热456大交乱高清视频
my pico
宝宝看着我是怎么进去的视频
白嫩白嫩BBBBBBBBB-
女头部位上半身胸头透明
他顶撞的速度越来越快是什么意思
14没有工具怎么自w到高c
用注射器打水放屁眼里故事
花季传媒v3.072黄每天免费三次下载
俄罗斯13一16泑女
车子一晃一晃正好掩盖我的几把
老师的手指在里面转动的写
好朋友的母亲2完整有限中字木
家里什么东西可以代替小玩具
伽罗太华翻白眼流口水流眼泪
刘老汉翁熄系列新婚
成为爸爸的玩具
倒插莲花是什么样子的
丁香花美女社区
亚1州区2区3区4区产品乱码2021
男生最抵抗不了女生亲他哪
英语课代表趴在桌子上让我抄
宝宝看镜子里我们的结合
日产无人区一线二线三线
infinite stratos2
两对夫妻一起旅游互换的说说
百合车车描写文字
野草乱码一区四区区别
名侦探柯南剧场版9
开车越往下越疼的句子
张津瑜本人回应
美国十次 导航
晚上开车又疼又叫的故事
仙踪林 贰佰信息网
把女的弄的第二天走不了路
肉多到炸的古代
17CGCG吃瓜官网黑料爆料
开会被塞跳d开最大挡不能掉作文
西方44大但人文艺术是什么东西
最近新免费韩国直播视频
ZZOOOOOOOOOSHOISHOU
一杆大枪满屋扫
8008幸福宝卐
仙踪林 贰佰信息网
教授走一步撞一下第三章
c了一节课体育课渺渺
MDL0008-1沈娜娜
在英语课上用J插英语课代表
最新轮乱合集小说
三圾电影在线观看
一抽一出BGM流水视频
破了两个学生的花苞
嘿嘿漫免费漫画入口页面弹窗秋蝉
武大内野CAMPBUDDY
高圆圆 第1到100都是赵又廷
在学校想要了怎么办
moonlight动漫在线观看
亚洲精品国产精华液怎么样
迈开腿让我看一下小鸡蛋的视频
24小时视频在线观看免费
三圾片2013目录
张津瑜落地窗9分20
女儿们的男朋友免费播放
液化天然气价格
好男人观看免费TV
两个男人玩一个女人
羞羞漫画在线看免费阅读破解
蜜芽忘忧草老狼二区大豆
开车越往下越疼的那种文字
精产一二三产区别在哪里
桃子视频高清免费观看
爸刚走爷爷就来抱妈妈怎么办
我等不及了给我好不好
从厨房干到沙发再到卧室图片
办公桌添的我好爽
我的B就是你的饮水机
国色天香一卡二卡三卡四卡视频
公么天天吃我奶躁我
大炕上的肉体交换农村乱睡
打开腿吃你的扇贝什么意思污
教室里英语课上插英语课代表
不被原谅的搜查官
东北少妇多毛大隂户
乱码中字芒果视频一二三多人
终于你离开我的世界
c够了没有三根1起会坏掉的
一小孩儿半夜给女孩吃坤巴
校霸错一题打一下PG
丁香五月综合缴情月
马是怎么和人交流配的
在没人的地方被C
365天霸道总裁爱上我2免费观看
最美情侣中文观看完整版高清
整部剧都在真做的剧韩剧
缘之空第几集什么时候开的车
少女视频哔哩哔哩免费观看
被黑人伦流澡到高潮HNP动漫
野花视频最新免费
英语老师的兔子好软水好多
在车里被撞了八次高
LINODE日本IPHONE熟睡下载
欧亚专线S码和M码的区别图片
男生坤坤放在女生坤坤里开元棋
五月丁香五月伦理
randyblue
丝瓜 草莓 秋葵 榴莲
教练在车内撞了我三次
美国XXXXXL19D
野花视频手机免费观看完整直播
挺进毛还没长稚嫩的小花苞网种
家里没人儿子就C我了
如何自罚必须非常疼又无声隐私
甘雨去内布料开襟XMAN
中文字日产幕码三区的做法步
当兵的晚上太猛
女生迈开腿让男生吃草莓
日本最大但人文艺术欣赏
男人喜欢水大还是水小的
大唐之妻妾成群
我朋友的老婆 电影
得到超级肉禽系统的小说
是不是当过兵的人下边都大
拔萝卜全程不该盖被子怎么办
羞羞漫画登录页面免费漫画入口网站
再见美丽小姐剧情分集介绍
图书馆的秘密程怡婧txt
班长是全班的玩具第三章
随着公车车晃动进入
国内精品一线二线三线区别
当兵男友一见我就不停的要我
9制片厂1制片传媒在线播放1
CEKC妇女毛多啊BN
上课佩戴小玩具的注意事项
自己惩罚自己必须跟隐私有关
444奇米影视四色
日本ZLJZLJZLJZLJ喷液
俄罗斯13一16泑女
色母3030A
做AJ的姿势视频教程大全
黑人双人RAPPER美国大豆
一边做饭一边躁狂怎么办呀
4虎的地址有知道的吗
老BwBwBwBwBw
菊内留香 TXL金银花露
妇乱子伦真实故事
午夜伦yy44880影院
亚洲无人区码一码二码三码区别
迈开腿让我尝尝你的小扇贝APP
人物动物交互狗
妺妺第一次啪啪好紧WWW
Q1制片厂七夕潘甜甜剧情
下面都湿透了还嘴硬疼咋回事呢
帅气体育生gary宏翔mv
雨后的故事动画
王者荣耀黄化网站入口安卓
野花视频手机免费观看完整直播
chinese军人boy鸡毛
谢俞贺朝肉车试卷
黑帽门7分40视频照片豆瓣
XMXMXM18
丝瓜黄瓜草莓向日葵秋葵榴莲污日葵秋葵榴莲
卫生间6分35秒
AI人脸替换白鹿造梦喷水WWW
年轻的妈妈完整视频有翻译吗
丁香成人大型社区
公交车后车座的疯狂的做小视频
老卫和淑蓉的船上生活
我的我的风流岳每2
女性为什么喜欢三指探洞呢
我们4个人换着玩春雨
HONGKONGDOLL看片黄
胡桃ゃんが腿法娴熟を视频
老阿姨一直叫BILIB
儿媳妇夸我比他老公厉害
吧唧吧唧吧唧一口一口吃掉了
意大利性禁忌完整版在线播放
对象吃我的奶奶说明什么
对象一直咬我的奶奶
第一版主 01bz
孩子玩着玩着就进去了怎么办
粗大的内捧猛烈进出老师下载
WRITEAS趴腿上
我的极品岳坶34章
老翁的大肉蟒进进出出视频
男人和女人插曲视频
俺去啦怎么打不开
英语老师打开扣子让我上
至尊宝用金箍棒桶紫霞小鸡
比赛输了任对方看和玩部位
漂亮的保姆3日本
帅气体育生GARY网站小蓝下载
一女战三男黑人发出惨叫
XZL幼儿精品幼儿
张开腿我尝尝你的草莓
红猫大本营点击进
女人吃男人大鸟图片
欧洲N00N兽交剧
津渝视频完整版1
我年轻善良大胸的邻居
迷情娇妻第104章在线阅读
14may18_XXXXXL56e
日产乱码一二三四2021在线
67194线路一点击进入
好看大但人文艺术
护士献身取精图片
高清VODAFONE
夹心饼干1V2H
两个人一前一后地动着我要
上官婉儿大战三百硬汉是哪一集
亚洲无砖码砖专区2023公司
门卫老头吮她的花蒂的导演是谁
md传媒免费观看在线
这木马椅就是专门为你设计的
朋友的娇妻好爽好烫嗯
唐三把比比东埇的不亦乐乎
女人受到双指探洞会叫嘛
公交车上的小黄说说阅读
得到超级肉禽系统的小说
人与善交XUANWEN18
穿戴式跳D放在里面逛超市作文
王熙凤的牡户一张一合
一整夜都连在一起没有退出来
GRAHAMCOXON女儿
被自己家狗上瘾了怎么办
日产一线二线三线理论
豪妇荡乳1一5
中国ZLJZLJZLJZLJ喷
去姥姥家进入妈妈身体的说说句子
波多野结衣电影在线观看cesd819
日本一卡二新区无人区
妈妈的朋友4在观有限中字
斗罗大陆黄化人物网站免费
年轻的母亲最初中字7巴巴鱼汤饭
成都影院手机观看免费观看
老丈人的东西又弯又长
SMARTDRAW中文乱码
浮力限制路线1路线2路线3
善良的嫂子4中字巴巴鱼汤饭蘑菇
快要高c的时候却突然停了下来
宁柔柔的小泬撑开到极
从镜子里看我怎么C你的作文
火影忍者鸣人搞纲手
色达天藏砍尸过程视频
妹妹中考前让我C了1次的作文
今天晚上让你哭着喊停
色翁荡息肉欲系列小说
用电动牙刷放在MM位置是什么感觉
办公室娇喘的白丝老师在线看
百合做运动DOI网站
他的手探到我的衣服在做什么
聊斋艳谭之灯草和尚
撩到女生下面滴水的句子
杨幂哭着说不能再深
精东传媒VS天美传媒
独角兽高达06
我在写作业叔叔从后面
迈开腿让学长尝尝你的草莓是
打扑克直播下载
燕氏四个和尚播种
怎么把自己扣的全是水喷泉访页
二十四种阴性外貌形状
校花婉莹被农民工玩
绿巨人推广APP网站入口官网
可以插纳西妲的模拟器
伦理片在线线看手机版韩国
原神凝光肉身待客抬腿
无颜之月哪一集开车了
50款夜间禁用软件免费APP
俺去啦怎么打不开
lululemon露露瑜伽服
ONE一个成年的世界一个就够
大陆年轻帅小伙飞机GAY
没带罩子让他玩儿了一节课
被窝里的公息全章
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1