有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
小东西好几天没弄你了若若视频
别在阳台会被别人看到的
爱情岛论坛永久入口首页
宝宝这才几天没C水就这么多
国产无人区码一码二码三码区别
回娘家每次他都搞我怎么办啊
张津瑜和吕知樾带图片和聊天记录
在线观看黄页网站大全电影天堂
做运动打扑克免费直播软件
c两根一起会坏掉的
公交车6人轮换c白月是
涨精装满肚子用塞子堵住上学
女篮中锋坎贝奇三部曲
10岁小学生幼儿
老师下面太紧拔不出来怎么矫正呢
甘雨产奶模拟器
坐公交车失去了第一次
国产精品女主播主要上线
雷电将军和丘丘人繁衍后代
缓慢而有力的一下又一下
情侣运动前看的电影推荐
旅游时跟女儿有了关系知乎
一面膜上边一面膜下边视频
八角笼中被下架
エロドラえもん
把女朋友玩成小喷泉是什么意思啊
被自己造的机器人C了
被校长抱进办公室糟蹋
男朋友C你的时候你会说什么
2021最新一二三四五六三
国色天香一卡二卡三卡四卡视频
放轻松别太紧张我会很温柔
差差差30分钟很疼视频无掩
羊急了也跳墙完整版
麻豆精产国品一二三产区区
次次到肉杠杆到底
野花高清免费观看
用毛笔蘸下面洞里的水写字
上体育课课被捅了一天
腿可不可以再抬高点
alb-219
我坐上去自己动好不好宝宝
小SAO货边洗澡边CAO你动漫
鬼灭之刃祢豆子禁漫资源
极品教师第二季免费观看
注射器灌满水放屁眼里处罚视频
花木兰站在凳子上给刘禅做作业
日本19岁RAPPER老狼
我们结婚了世界版中字
黄可46分钟完整版种子
妹妹中考前让我C了1次的作文
张津瑜7段51吃瓜
日本漫画工囗全彩内番漫画
爸爸比老公大两倍妈妈该怎么教育
黄沙视频在线观看www免费直播
我们换个地方做吧未增删樱花视频
凌晨三点看的片www动漫
两座雪白玉峰弹跳而出细节
4399影院在线观看免费视频BD
日本人AA制是不是很凉薄
坐在学长的硬硬的上面写作业
男生和女生差差差30分电视剧
小龙女只感觉那巨大的火龙枪
雨后的故事 动态图
怎么把自己扣的全是水访页
产区一二三区下卡2021
黑料不打烊最新地址入口
熟妇人妻中文字幕无码老熟妇
说我的大还是你老公的大
萌白酱17分钟视频
黑人双人RAPPER美国大豆
房奴试爱未删减完整版
班长哭着说不能再抠了男生
男孩子都会夹住女孩子头发
揉自己的痘痘揉到腿软的方法
无人区一码二码高高
太多了装不下H11
我的奶头被客人吸得又肿又红
jy灌溉收集系统
男神插曲女生的完整视频
适合夫妻看的哔哩哔哩电视剧
法海终于把白素贞日服JH
欧洲RAPPER潮水太多
火辣导航APP福引导网站
我们4个人换着玩
厨子戏子痞子豆瓣
善良的邻居4字
免费国精产品一品二品
龙口护士门事件
夜晚睡不着看B站
5G天天奭多人运动网站入口
欧美妈妈的朋友5整有限中字
厨房边做饭边做运动的叫什么
男朋友吃我的小兔子图片
同吃一家三女齐上阵
醒来发现狗狗在上我
男男车的车车图
我父亲的女保姆是我的首选评价
my19777换哪了
老师白妇少洁第2部
GARY18CHINA
欧式春画图片大全欣赏
诱人的女医生中文字幕2
能播放的人与Zoom
C死了啊哈宝宝腰好会扭C视频
几天没C你是不是皮痒了视频
长城小队花木兰被队友日
扣那里的手势图
妙洁一次性合家欢
fulao2官方网站进入
女士不遮阴小内搭走秀
强塞玩具七小时
另类老妇奶性生BBWBBW
6080电影理论在线软件优势
午夜dj在线观看网
深夜办公室哔哩哔哩
你真是越来越耐C了什么意思
手指怎样自W到高C
亚洲精华国产精华液的福利
未来超模15季
我的我的风流岳每2
我朋友把我玩成了喷泉
国精产品一区一区三区有
大小姐与流浪汉
幼射HD交中国妇
缓慢而有力的一下又一下
体育老师C了一节课
トイレの花子さんVS屈強退魔師
棉签PLAY文
泰版 浪漫满屋
和搜子居同的日子2中文2
班长哭着说不能再深了作文60
日产精品一线二线三线
大长腿白丝被C到爽哭了
丰年轻的继拇9M
无人区一码二码三码区别在哪查
blackpinkmv4k高清黑白配
喷泉辛浮H1V3H
云缨拿枪奖励自己核心
好看的三圾片名字
小龙女只感觉那只巨大的火龙枪1
narto henta
欧洲一卡二卡三卡视频
韩国演艺圈悲惨事件种子
一亲二膜三叉四强五注射30分钟
老师下面太紧拔不出来怎么矫正
入禽太深麻花影院
带电动玩具上课
绿巨人二维码推广
老师没有带罩子让我练了一节课
双指探洞要喷了I
开车视频有声音疼痛软件免费下载
帅气体育生GARY网站MV视频
如何把自己玩成喷泉状态
什么东西可以当自为棒
天美果冻女儿的梦想
拔萝卜又叫黄9.1
污到你那里滴水不止的说说短文
趴下皮带write as
男神插曲女生完整免费
绿帽子精选系列70
老师变成全体同学的玩具作文
男生女生一起查查30分电视剧动慢
把它夹住去跑步不能掉体育课渺渺
tobu8-HD68
用用点力快要到了
5G天天运动天天奭运动入口
人C交马ZOOMZOOM
把班主任C了一节课
一吻二脱三床四吻胸
旅行者插了雷神视频
爸爸妈妈为什么夜里摇床还叫
麻花传媒MV一二三区别
孩子想c我同意了处
公交车内有多高C
公交车最后一排被C细节描写
公交车上玩两个小朋友
邻居2中文字幕版免费
一号请你配合我的走位
品色永久免费论坛
简单粗暴1v2
极品瑜伽女教练白浆直流
国产未成女YOUNV仙踪林
边缘控制玩到哭的感受视频
校霸犯错被学霸罚带钢笔去上课
学渣坐在学霸的鸡叭上写作业
晚上双人运动的正确姿势
魅魔乳液狂飙图片大全
麻婆豆腐传媒一区二区三区
高嫁肉柳1一4集BT
年轻的小婊3中文字
春色无边女儿国
在厂里跟很多人睡过
のおっぱい身体检测小小的身体
美国剧烈摇床运动视频打扑克
宝宝乖夹住别流出来了
变成黑皮肤和朋友做了
狗狗的东西又硬又烫
日本RAPPER老师
多肉的糙汉B1H古文
冰块温水跳跳糖果冻是什么意思
男男车车好快的车车网站
老板一个月都要玩我几次
2021日产乱码网站直播
奇迹三雄之扑克牌游戏
儿子妈今天是你的人了视频
日本最大但人文艺术第一组
日本亲近相尾换伴结局
10岁可以插几支笔
我坐上去自己动好不好宝宝
日韩和的一区二区区别是什么
吃饭时某处紧密连接在一起视频
八重神子雷电将军开襟
女性看了会湿的句子
对象咬自己小兔兔的感受
善良的秘书滋味2
日本三线和韩国三线的市场定位
亚洲一卡2卡3卡4卡精
苏家有女2V2一蓑烟雨
5分钟不间断踹息声音频MP3
西方44大但人文艺术是什么东西
rh男男车车好快的车车作文
朋友把我玩成小喷泉了视频
错一题学长就x我一次
果冻传媒MV国产推荐
小草观看免费视频播放
办公室的交易HD日本
接电话对象插的说不出话
朋友的妈妈2在完整有限中字木瓜翻译
妺妺第一次啪啪好紧WWW
9420高清视频在线观看国语
东北一家人1一6全文阅读小说
卡一卡二卡三免费视频
冰块一颗一颗往下体塞肚子
草莓秋葵芭乐绿巨人
腿张大点就能吃扇贝不疼视频
136精密导航AGV
张铁泉在美国死亡
日本ZLJZLJZLJ视频
人与畜禽croproatain
宫锁心玉迅雷下载
超污的开车过程句子描述作文
和黑帮老大的365天
甜性涩爱bt种子
八重神子的乳液狂飙游戏
一层一层一层的剥开我的衣服
男人去天堂在a线
大菠萝福建网站入口
学渣坐在学霸的鸡叭上写作业文章
天美麻花果冻视频大全
人伦亲情父母儿女的句子
男男GARY2023
宝宝趴开一点腿就不痛了
洗澡被公强奷60分钟
40部AI明星造梦
镜といちゃつきたい的欢迎会
长城守卫军花木兰被草
成都1片P高清完整版HD免费
顶的越来越快越来越重
痞子戏子厨子下载
人物动物交互狗文章BECJM
zztt黑暗传送门精彩片段
晚上睡不着看点害羞事
欧式春画图片大全欣赏简单
趴在玻璃窗做给别人看
插花弄玉曲径探幽不正经的意思
挪威的森林打扑克又叫疼
腿张大点就不疼了
帅气体育生GARY网站MV视频
叔父大还是爸爸大
帮妺妺洗澡忍不住C了她作文
中文字幕电影乱码在线观看
最美情侣中文观看完整版高清
日式像素黄油小风港下载
上官婉儿被用计骗进房间
小东西你是想绞断我吗
亲爱的老师6中字大豆行情网液晶
白莲花的贵妇生活
护士献身取精图片
宝我想你了涨的好难受啊说说
从校服到婚纱1H柠檬
国内精品一线二线三线区别在哪里
艳情短篇160无弹窗
高冷男受用钢笔玩自己图片
日本乱码卡1卡2卡三卡仙林宗
张柏芝艳门照照片
3d 无尽 动漫 可爱 得到
学霸错一题插一次
十世宫缩剧烈做边生
公交车后车座的疯狂的C
最新ZOOM俄罗斯
国产日产欧产精品精品软件
桶三十分钟全教程
在她身上运动了一晚上详细
系统之魅姬养成(莫紫弦)
年轻的朋友2线在完整视频
春暖花开xing
甜蜜惩罚未增删带翻译樱花翻译
青梅竹马是消防员第一季未增删
把跳d放在里面坐公交车白月
网站你知道我的意思的免费的
狗狗进到里面变大了
动漫人物做差差差看视频
皇上往下边塞玉器这是
囗交大图片26交
女儿吃父亲的棒棒糖的说说
怪物VODAFONEWIFI巨大
扑克牌又痛又叫
谢俞贺朝肉车试卷
李白夹小玩具出门WRITEAS
无颜之月我是看守专用宠物无修剪皮皮虾
花城谢怜车长干哭
醒来发现狗狗在上我
漂亮的小峓子4中字巴巴鱼汤饭
小东西你要负责灭火
12种B哪种最好玩是哪12种
老师您的兔子好软水好多
没带罩子让他吃了一天的药没事吧
自W到高C的教程夹枕头
把娇妻借给朋友泄欲4
校花婉莹被农民工玩
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
4399在线播放免费
内衣柜办公室1-3怎么看
一边亲一面膜下的
春暖花开行吧有你cc
最近中文字幕MV在线视频2018
欧美精产国品一二三类产品特点
我在写作业叔叔从后面
5g影讯5g探花网址
父母儿女一起交换
日本无人区码卡1卡2卡免费
老婆的生日3Q开始
太捧了几天没C水就这么多吧
白妇少洁高义全文阅读
小峰由衣热血教师
旅游途中夫妻换着玩的说说心情
ほーすているのエロ中文
老扒抱着淑蓉进房间第八集视频
naruto henta
成为人视频免费视频免费观看
高校1V3 PO
妈妈朋友齐上阵
求你别在阳台有人看见
公园里的老年镖客视频
137最大但人文艺术
动漫人物做差差差免费看
中文字幕无线码中文字幕
每天早上被C醒是一种怎样的体验
亚洲精品一线二线三线无人区
拔萝卜又痛又叫黄
BGMBGMBGM老太太毛多多
校花被出租车司机强H
夜里18款禁用图片
正式告别一段感情的话
男人和女人插曲视频
动漫人物去掉小内打扑克游戏
帅气体育生GARY网站MV网站
一面亲上边一面膜下边的免费
为什么舞蹈生下面都是突出的
看了让人下面滴水的说说文章长篇
俄罗斯XBXBXB兽交
晚夜免费禁用十大亏亏
中国小鲜肉GARY2022
718吃瓜网张津瑜
CEKC老妇女CEA0
废旧厂房里和流浪狗做
迷人的保姆5线观高清
帮老师通下水道
麻花豆传媒剧国产MV
变态生理研讨会
云缨巡街救公孙离网站入口漫画
一个男生弄哭另外一个男生
语文课代表哭着说太大
爱情岛论坛首页推荐进入网址
被C得走不动是种什么体验
比赛输了任对方看和玩部位
恋夜影院全部视频列表
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1