有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
美女扒开尿口露出奶头不遮挡图片
几天没C水就这么多了
希儿乳液狂飙W天堂98
离婚多年和儿子睡觉
亚洲无人区码一码二码三码区别
宝宝腿再抬高点就不疼了
嬢王virgin
随着车的震动一晃一晃
小汽车被两大货车挤压致1死
成熟50 WX老狼大豆行情
正义联盟4小时完整版
用毛笔蘸下面洞里的水写字作文
后车座的疯狂运动过程
色即是空2电影下载
小鲜肉GARY2023飞机小蓝
大尺寸的小黄说字多肉医生
欧美巨大巨粗黑人性AAAAAA
会夹是一种怎样的体验知乎
一个上面吃一个下吃视频试看
Q1制片厂七夕潘甜甜剧情
最新ZOOM俄罗斯
女士不遮阴小内搭BB
岳女共夫张淑芬
公交车一动就撞一下撞到最深处
漂亮的保姆韩国百度网盘资源
体育老师c了一节体育课作文
好男人手机在线观看免费高清完整版
木乃伊1盗墓迷城
动漫打扑克牌的剧烈运动
日本ZOOM动物
六人轮换C1个感觉
初中女生喊疼男生越往里寨游
丝瓜 草莓 秋葵 榴莲
年轻漂亮的继拇3
父母儿女媳妇一起来
老师夹的太紧拔不出来的解决方法
好硬好湿好大再深一点动态图
处破女处破全过
仙踪林 老狼信息
当蜜桃成熟时3
隔着衣服吃你的小尖尖作文
我被开三门痛晕了
在英语课上插英语课老师
够了够了已经满到高C
镜といちゃつきたい的欢迎会
别在阳台会被别人看到的
国产馆麻豆天美果冻星空
ZLJZLJZLJ日本人
丝瓜草莓榴莲深夜释放自己
晚上开车又疼又叫的小作文
羞羞网页入口页面登陆
宿主的任务是收集jyH
他真的比我老公的大得多
HJ3DCHJ海角论坛
日本最大但的人文体艺术
喜爱夜蒲1在线影院播放
被自己买的机器人做到哭
学长一边撞我一边写作业作文
一个农夫色导航
性孕交大肚子孕妇
老公爱吃我奶奶 但有时候很痛
yura kasumi
宝贝它想你了感受到了吗
善良妈妈的朋友9完整有限中字木
两个人一前一后攻击我讲述
三叶草欧洲码和亚洲码的区别
斗罗大陆黄化图片
几个老爷弄一个丫头的说说心情
叫出来就给你 我想听
Collectivum XXVIII
西施的乳液怎么样
怎么用棉签玩哭自己
男生坤坤放在女生坤坤里开元棋
安琪拉翻白眼流眼泪流口水
弄完作业是不是该给哥弄弄了
infinite stratos2
赵露思乳液头实出
每走一步就深深的撞一下自己
老师的兔子好软水好多樱花一
run away无删减全集 在线播放
台湾佬娱乐中文22vvvv
用玉器养大的公主么么
天美传媒剧国产剧情MV
王者荣耀英雄打扑克软件
人们俗称的拔萝卜
14MAY18_XXXXXL56ENDIAN印
939W乳液78W78W乳液
被公司领导C了很多次
公交车上的诗请猛烈的输出阅读
被弄了几次路都不能好好走
女人能进入20厘米吗
成人优品24小时自助售货店商品
小雪尝禁果又粗又大的中国地图
98777邪恶小游戏
自我安抚的步骤
迷人的保姆线观高清完整
丰满大爆乳波霸奶
俄罗斯XXXXXL18
漂亮的记者韩剧在线播放免费
女儿男朋友是妈妈的爱豆的电视剧
三年片在线观看免费观看大全下载
果冻传媒MV逃亡的兄妹
日本亲近相尾换伴结局
父母儿女互换干
1都是怎么进入0的图片
口工绅士里番中文全彩
WRITE AS 四人
日本精产品一二三产品
刘禅站在板凳上曹安琪拉
GGY钙2023入口
日本漫画之口工番全彩
麻豆传播媒体网站入口官网下载
楼梯每走一步就用力往上撞
校服下摆太紧不好c
啦啦啦 中国 日本 高清 在线
女生迈开腿让男人打扑克
国外精产品W灬源码
男女在一起愁愁愁视频素材
你的棒棒可以通通我的下水道吗
撩到女生下面流句子
软糯小受灌满哭求饶道具
妈妈的朋友在完整有限中字第4
好儿子妈妈今晚就是你的生日礼
白妇少洁第1一40章
24小时日本免费看
夹一天不能掉晚上我检查若若
永远免费的论坛
BGMBGMBGM老太太毛多
被爱豆们翻来覆去1H
星空天美mv视频大全免费观看
甜蜜惩罚2樱花未增删带翻译
亚洲一线产区二线产区精华液
夹枪带棒(1V2)
ZOMBIE视频SUPREME
伽罗脸红流口水流眼泪翻白眼
女生男生一起差差差差带疼声
W78W78W乳液永久十大排名
tokyo hot n0610
麻豆 天美 果冻 星空国产
两个男孩子开车细写
冰块和棉签弄出牛奶视频
美丽教师来我家
台湾SWAG官方网站进入方法
性VODAFONEWIFI另类老少性
14MAY18_XXXXXL56ENDIAN日本
事物的秘密截取水中一段
健身私教弄了好几次
18款禁用网站进入
日本卡一卡二卡3卡三卡乱码
不可以快拔出来我是你亲
班长是我们班的存精器作文
少妇无码吹潮久久精品AV网站
谁可以给我新版猫咪的地址
善良的小峓子6中字巴巴鱼汤
一支笔C哭自己自W到高C
ai少女进入后怎么导入建筑
在被子里怎么自己玩自己
冲气娃娃有什么用
说说你们老公夜里怎么搞你的
张柏芝门照艳原图
为什么对象吃完奶头会变大吗
羞羞漫画在线看免费阅读破解
嫩叶草m码和欧洲码的区别
あの女の子は歌がうまいうえ
让学长干一次再写作业作文
青梅竹马是消防员第一季未增删
用你的指尖扰乱我吧2
亚洲精华国产精华液的福利
运动员们的玩物
中国XXXXXL15仙踪林
人和畜禽Croproation
苏家有女苏杳免费阅读小说
男朋友咬小兔兔时怎么回应他
姜汁撞奶POH
放心我只在外面蹭一下
车后车座的疯狂的做细节视频
我老公告诉我想睡我妈
痞幼黑料不打烊
上官婉儿大战三百硬汉是哪一集
萌白酱弥漫甜味纯白旗袍
姐姐说家里没人我们就那个
ZLJZLJZLJ日本人
动漫人物打扑克牌的剧烈运动
谁输了谁就要任其摆置1000字
课堂上时间暂停为所欲为
如何吃到自己的小鸡够不到怎么办
无人区码卡二卡1卡2卡三卡
张津瑜落地窗9分20
镜花风月之二艳鬼现身
走一下撞一下深深咬合的小说
宝宝才三根手指就受不了
同桌的手探到我的衣服里怎么办呢
多人公交车运动
台湾无人区卡一卡二卡三乱码
男人忍不住挺进去了怎么回事
女生迈开腿打扑克又疼又痒
不知火舞之沙滩狂欢
啦啦啦韩国视频免费观看
日本一卡二卡3卡4卡无卡视频免费
ソープランド中国人在线播放
电车 之狼攻略
美女脱一净二静视频
疯狂的肥岳原始
14MAY18_XXXXXL56ENDIAN美V
八重神子和丘丘人繁衍后代
小受被老攻C到哭着求饶视频
高潮插的我好爽再干噢在线欢看
雨后的故事视频
国精产品自线在
高清MV无字幕视频素材
糖心LOGO在线观看视频
冰块一颗一颗往下体塞肚子
班长一直掐我的奶奶什么意思
把两只小兔子吸红肿
小兔兔被男生吃什么感觉会疼吗
国产乱码一卡二卡3卡4卡网站
国色天香精品卡2卡3卡4
一边亲一面膜下的剧情简介
50款夜间禁用软件免费APP
男团共享物by不必南下全文
香蕉苹果草莓菠萝葡萄榴莲
妹妹中考前让我C了1次作文
XMXMXM18
孤男寡女干柴烈火的比喻意思
畜禽CROPROATION
黑帮大佬和我的365日2第二部
强奷漂亮的女邻居完整版
IPX 528
玩弄朋友娇妻呻吟交换电影
谢俞坐着震动器写作业车
TFRG4MAY18_XXXXXL
父母儿女互换干
麻豆精产国品一二三产区区
中文日产幕无线码6区收藏
开车越往下越疼的句子
老人船上弄雨婷第20集
鲍鱼最新地域网名2021查询
抱着宝宝坐下太猛
无翼之漫画漫画大全集
太鼓达人dx dlc
男生的坤坤放在女生的坤坤里蘑菇
啊做错一题学长插一支笔
小蓝全球最好的钙片AG
渺渺当着全班人在体育课上
说说都是怎么的干对象的
相府嫡女1V3
C死了啊哈宝宝的腰好会扭
人与畜禽共性的视频
小苹果影院日本影院
健身私教弄了好几次
王者荣耀黄化网
暖暖 免费 日本 韩国BD
最近中文字幕在线的MV视频
无翼乌全彩无漫画挤奶
国产乱码卡二卡三卡4
朝俞答错一道题的一支笔PLAY
不伦纯爱百度影音
亚洲和欧洲一码二码区别在
在床上拔萝卜又疼又叫什么
津渝视频完整版1哔哩哔哩
双男主有车车的视频w
野花视频在线观看播放在线观看6
岳两女共夫同床
摇摇晃晃公交车XX5
你里面太温暖了
亲亲抱抱蹭蹭的刺激原声哔哩哔
墨燃把楚晚宁按着干
妙洁一次性合家欢
14岁学腿迈开腿打扑克正常吗
晚上想看点小片片
抽烂WRITE AS
水渍声和撞肉声连成一片
迈开腿让我看看你的草莓游
麻豆传煤入口直接进入免费版下载
尝到了甜头两人每天都会想方设法
色母UN2025
毛都没有就被开了苞在线电影
GAY大陆年轻帅小伙2022上
糙汉民工和软萌大学生
至尊宝用金箍棒桶紫霞小鸡
打扑克又疼又痛
有种你倒是公开小说
第一会所综合社区s001
糖心出品VLOG一区二区
军1V2的PO推荐
ed2k 泷泽萝拉
有效投资持续扩大
野花视频观看免费最新
tokyo hot n0610
国精产品源码1688在线
让我尿你在里边好不好h
说说自己睡过哪些亲戚
亚1州区2区3区4区产品芒果乱码
老公叫人一起换着玩的说说
附近人100元一次去她家
亚洲AV精品乱码专区
热心的朝阳群众51cgfun
坐公交车弄了2个小时视频怎么办
美国14MAY18_XXXXXL56ENDIAN
仙踪林老狼 - 八零婚纱摄影工作室
被魔尊圈养的仙尊
一二三四免费观看视频1
仙踪林19岁大陆RAPPER潮水偷轨
琪琪色原20岁网站
女朋友特别会摇是什么意思知乎
转过去趴好bl
好涨停下来要坏了
公交要了很多次
两对夫妻一起旅游互换的说说
好儿子妈让你爽
阿锵锵锵锵锵锵锵网站
畜禽CROPROATION
挺进绝色老师的紧窄小肉六视频
英语课上插了英语课代表视频
说着他的手已经探了下去
你能坚持到几张不死射
妈妈的朋友2在完整有限公司中字
都市激情校园春色
宝宝才两根手指就哭了
ZOOM与人性ZOOM情
做aj过程图片
日呀好久没有日B了
不知火舞和三个坏小孩
国色天香十七区品质怎么样
迈开腿我要C你
刺激的乱亲初试云雨
葵花宝典未满年龄确认请离开
亚洲乱码无人区卡1卡2卡3
超碰免费视频公开人人
我在英语课上强干英语课代表
麻豆画精品传媒2021网站入口
猛撞H花液H深
农夫导航最新网站
八重神子的乳液狂飙视频
麻花豆传媒剧国产MV免费GK
公孙离といちゃつきたい的欢迎会
人间小喷泉H1V3H
坐在老师的鸡叭上写作业
黑人猛挺进小莹的体内视频
黄鳝21分钟40秒完整版
贾宝玉在轿中干王熙凤
日本一卡一卡二新区乱码仙踪林网
九阴真经野草坐标
玩哭自己隐私的100种方法
小护士献身取精
母与子2免费观看完整版
write as 水果
爸爸车祸后让我代他让妈开心
日本精品一线二线三线区别在哪里啊
剧烈运动摇床运动视频
2021最新一二三四乱码
雷电将军乳液狂飙VX网址
办公室的交易 韩国电影
差差漫画页面免费阅读秋蝉
男生坤巴扎进女生的坤巴里
XL上司樱花未增删翻译中文翻译
日本一姐潮水RAPPER
迈开腿让我看一下小鸡蛋的视频
B不就是用来C的
开车疼痛有声音 免费网站
19岁的RAPPER潮水
男生的坤坤放到女生的哪里
亚洲乱码卡1卡2新区3
冰块一粒一粒往下边塞什么感觉
女朋友的母亲2语字追剧易
しぼっちうぞ我的电影网
桶三十分钟全教程
overflow在线未增删带翻译
四房播播 快播
宝宝腿抬起来就不疼了
杨幂ai智能人脸替换脸造梦厂
是不是好久没人弄你了表情包
魅魔乳液狂飙图片大全
韩国演艺圈悲惨37
各种姿势玩小处雌女TXT视频
女篮坎贝尔惊艳三部曲叫什么
英语课代表说他下面湿透了
乱辈通奷XXXXXHD电话系
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1