有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
学校成绩差当公共坐便器
诱人的女邻居9中文观看
叫出来就给你 我想听
美国人免费XXXXXL19
tobu18-20
王者荣耀姬小满被捅的流眼泪网站
拉婆婆下水和大黑狗
亚1州区2区3区产品乱码
秘密教学90话以后不再压抑
奶头被客人玩的又红又肿
网站正能量www正能量网站大全
后车座的剧烈运动
情侣剧烈做运动的表情包
39W3C张津瑜吃瓜
疯狂伦交2完整版
深田咏美HND-723在线观看手机
坐在学长的硬硬的上面写作业
草699一码二码三码四码
瑜伽老师上门教课
bmgbmgbmg多毛看
旧里番肉欲に堕ちた牝たち
迈开腿让我看看你里面的
一个上面吃一个面吸
10款禁用软件永久无限大全
张柏芝滟照门禁图片图
麻豆精产国品一二三产区区别大吗
从拒绝到接受3q老黑
日本ZLJZLJZLJ
爱情论坛观看路线二
JK底部的视角是什么样的
麻花豆传媒2021MV在线观看
把筷子放屁眼里不能掉的作文
C到哭不止水好多动图
厨房里的激战2海外版
无遮挡很爽很污很黄的网站
做反派的心头肉(快穿)
免费涩涩屋草莓榴莲秋葵绿巨人
污到你那里滴水不止的说说长文
姐姐的朋友中线字
妈妈一边喘气一边说嗯是怎么回事
老师没带罩子让我吃了一节课
看了让人下面滴水的说说文章长篇
王者荣耀貂蝉喝自己液晶
野花社区日本韩国免费
zztt黑暗传送门精彩片段
宝宝你好会夹在车上
亚洲和欧洲一码二码区别在哪里
校园列车上的小黄说说1000字
上原miku种子
金花瓶梅花6金花瓶
俺也来俺也去俺也射
胸前的小兔子都立起来了
一面亲上边一面膜下边打扑克免费
每天都是被C着醒的
搞机TIME恶心直接打开的不用下载嘉兴
三男一女的伦交
白天躁晚上躁天天躁.
迈开腿给我看看你的草莓文章
bl车车好快的车车p网站
同城交换俱乐部
压在窗户上C给别人看窗前
中国ZLJZLJZLJZLJ喷
詹妮弗的肉体完整版
CHINESE小鲜肉飞机
优质RB灌溉JY系统海棠初一
妈妈的朋友4中字在完整视频带翻译
ワンピースのエロ资源中文
错一题学长就x我一次
BBOX撕裂BASS孕妇欢迎您!
把红酒倒入b里温酒
无人影院在线播放视频
娇妻荡女交换多P
忘了戴胸罩被同学摸了一节课
日产精品一卡2卡三卡四
坐在学霸的鸡上背单词
豪妇荡乳1一5
野花香在线观看免费高清播放视频
我的好妈妈5中文字幕土豆网
一面膜上边一面吃下边免费
生物课老师拿自己做繁殖实验
聂小雨视频3分25是什么内容
黑料不打烊最新地址入口
晚上玩自己的100种方法
顶级大但人文艺术视频音乐
戴了一天跳DAN感受
舌と唇と唾液が浓厚
院子里公开惩戒(下)WRITE AS
女教师二十三歳
教练把车开到没人的地方阅读
女生和女生一起打扑克差差
人蛇大战之蛇精3
天天躁夜夜踩很很踩2022
第二代国产自在自线
CHINESE体育GARY网站
用注射器打水放屁眼里视频
男生插曲女生视频完整
国产一产二产三精华液区别在哪
喷个不停gif出处
凌晨三点看的片免费
147人休艺术网
五个人一起会坏掉的小说
666西方大但人文艺术
日本ZLJZLJZLJZLJ日本
小洞饿了想吃大香肠的注意事项
律师的小秘书1V1H
双人床上打扑克又痛又叫软件
我坐在有木棒的椅子上写作业视频
诱人的女邻居2中文字幕在线
精产国品一二三区别在哪里
宝宝家里没人叫大点声
王者荣耀公孙离咬铁球流口水
张津瑜的9分58秒7段免费
厨房里的激战2POP
班长是我们班的存精器作文
我女朋友的妈妈4完整有翻译
开小娟小妍嫩苞
中国精品一期二期三期区别
皇上往下边塞玉器这是
伊人大相蕉在线看青青
好兄弟把我给C了
妈妈酒后误为我是爸爸
蹲下来我请你吃棒棒糖
中国新疆XXXXXL17学生
他缓慢而有力的往里挺L
半夜装睡配合孩子
厨房里的激战2POP
FLUFFINGADUCKKEVINMACLEOD
美女100%露出胸
四虎4hu永久免费
国精产品一二三四线
斗罗大陆唐三爆桶阿银
朋友的娇妻好爽好烫嗯
第四色最新网站
用卫生纸制作一个假B
人畜禽Croproation网站
VODAFONEWIFI性另类
小东西几天没做怎么这么多水作文
富二代APP软件下载安装
无翼乌全彩无漫画挤奶
忘记带罩子让他馍了一节课
老师洗澡让我吃她胸视频免费
三个rapper玩一个女的
女人的阴性图片
日本剧烈运动摇床运动打扑克视频
女士不遮阴内搭图片
4G玉蒲团奶水都喷出来了哺乳期
亚欧乱码卡一卡二卡新
金刚杵汆肉莲的介绍
二哈的白猫师尊
老公都是怎么上你的
青娱极品盛宴国产分类细腿
春纪我们约会吧
麻花豆传媒剧国产MV
一二三四在线播放免费观看中文版视频
晚上睡不着看点害羞日本
丁香大型成人社区
一直喝水不让尿捂着的作文
女生戴一天仙女棒是什么体验
王者荣耀小乔爽上天的表情
体育老师c了渺渺一节课作文
小东西这才2根而已
无人区一码二码三码四码
秘密教学83田里开机免费
阿娇被实干20分钟视频
嘴巴吃鸡的正确方式图片
51黑料吃瓜每日精品
tudouwang
日本BOOKPRO
马总喜欢我的两颗小葡萄
男生越往里越有劲声音
快拨出天我是你母亲
无人区一码二码三码四码多人收藏
刻晴被盗宝团捅的叫个不停
迈开腿让尝尝你森林视频
走一下就往里撞一下
98精产国品一二三产区区
平时很硬一到办事时候就软怎么办
宝宝在把腿敞开点一会儿就不疼了
久别的草原在线影院视频观看免费
宝贝对着摄像头自己做
抽的越厉害声音叫的越大声音
白雪公主被树干哭的故事简介
做饭的时候老公也要
整篇都是车的多肉
输了让同学玩全部位置
小东西几天没做喷得到处都是
抱着边走边撞水流了一地的
女朋友特别会摇是什么意思知乎
老奶奶BGMBGM
亲胸揉胸膜下刺激长时间时间
重生之填房桐娘
久久一区二区三区精华液使用方法
WRITE AS 含玉
蛇尾巴进去了笔趣阁
TTTZZZ668.SU.6.6.2
ekdv-273
花火のエロドラえもん动漫
女生最怕的情侣玩具
对象吮自己小兔兔的感受知乎
あの女の子は歌がうまいうえ
花核肿胀无法闭合
老公叫我和别人换着玩怎么办
亲爱的老师韩国5看的电影
京东天美麻豆果冻传媒
粉嫩小又紧水又多
孩子玩着玩着就进去了
写的超细的开车过程
向涟苍生士献上纯洁第二集
幸福宝8008隐藏入口2021年
WRITEAS掰腿
斗罗大陆2大乱斗交大
厨房春潮小说第1章
午夜dj免费视频观看在线动漫
丰年轻的继坶3的特色和机能
日产一二三四乱码18
三个弟子合力弄师父
BGMBGMBGM成熟交
黑帮大佬与我的365天
奖励自己的隐私位置是什么
车文超细过程长图
写的超细的开车过程的现言
冰块温水跳跳糖果冻是什么意思
美女露出尿口让男生爽痛
胸前两只白白的小兔子跳出来
0ADC大驾光临未满十八岁
久久丫精品忘忧草产品
老师迈开腿让尝尝你的森林
把她日出了水好紧太爽了
chinese帅哥军人solo
WRITEAS花式PLAY
一抽一出抽搐bgm50分
温暖叶非墨车内做
日本1卡2卡卡3卡乱码
打扑克高清视频
售票员用身体测量尺寸上车
如何自罚必须非常疼又无声隐私
全程一个男的在啊的纯音乐
一层一层剥开你的衣服
波德卡波娃 种子
狗狗太快了像打桩机
中国帅气体育生gary的介绍
女儿的朋友3完有限中字木瓜
老翁真厉害不倒枪
中国小鲜肉GARY2022
伽罗太华翻白眼流口水流眼泪
里面塞着小玩具坐地铁有什么感觉
斗罗大陆3大乱斗交大配TXT
为什么到最里面越想叫
扒开大腿就可以吃到扇贝吗
漂亮的丰年轻的继拇3免费看
打扑克又叫又喊疼的软件
在县城开零食店春节能卖200万
秘密教学103私下你可以随意7
搞机TIME的恶心软件直接打开不用不收钱
能让下面滴水到爆的说说
进了老师的扇贝
老八吃屎奥利给原视频不遮挡
亚洲精品国产精华液怎么样
蜜芽永不失联2023
女儿初长成爸爸来尝鲜食品的说说
proumb18
作业写着写着就插了起来
彩虹男GARY视频2023
麻花传媒沈芯语国产传媒
尺八话的巡り动画免费看
日韩一卡2卡3卡4卡仙踪林
ipz-140
亚洲AV精品无码国产一区
男女在一起翻雨覆雨电视剧
你能坚持到几张不死射
r头怎么玩教程
师娘求放过完整电影
一个在上面吃一个在下面做那个
97夜夜澡人人爽人人模人人喊
甘雨去掉小内趴在地上打扑克
某处紧密的结合在一起的意思
国精产品一二二区传媒公司
手指怎样自W到高C
蜜桃成熟33d完整版
受变成小人用棉签
男生女生一起差差很痛的app下载安装20
亚精区在二线三线区别第一基
男生被男生C哭是一种什么体验
大腿中间一张嘴顺口溜
一浅二深三大叫什么
JAPONENSISFES
老师的大兔子好软水好多图片
海角社区最新在线播放
地下室偶像SANA未增删带翻译
18岁末年禁止网站
年轻的阿姨1在观整有限中字
槽溜2021入口一二三四绿巨人
乱辈通奷XXXXXHD猛交
公车系例一第96部分阅读
涩涩屋绿巨人草莓榴莲秋葵
走一下就往里撞一下
年轻漂亮的女教师2
想吃你前面的葡萄
又大又长又租高湖
好妈妈韩国中字7
欧洲N00N兽交剧
纤夫的爱无删减版动漫百度云
日产一二三四十入岁区
天堂在线www官网
搞机TIME的恶心软件10分钟APP不用下
这两个球球一直摇晃个不停
歪歪ss入口页面弹窗秋蝉在线
用...用点力一点快到了
一件一件的剥掉西施的衣服
17may18_XXXXXL56endian
涩涩屋草莓榴莲绿巨人秋葵的特点
男男车车的车车网站推荐真人
丰年轻的继拇中文3应用特色
宝宝我们去楼梯上做吧
狗狗的东西又硬又烫又臭怎么办
含羞草实验室2023隐藏入口(已更新)
两个人看的片BD高清
14表妺毛还没长齐
writeas2根性器异物肿
文轩WRITE.AS 抽肿被发现之后
爸爸说没人在家可以做
桃花社区在线观看视频播放
瑶被淦的生活不能自理图片
雨后的故事 动态图
天堂妖精18精神出生有多少魔
情侣插秧的100种方法
张津瑜7段原版
开车晚上污痛痛
精品卡一卡二新区仙踪林
WRITEAS塞红酒瓶
厨子戏子痞子豆瓣
帅气体育生GARY网站小蓝
老树逢春 大梦未醒
孩子想C我同意了
小丹乖让我再进去一次的导演是谁
他缓慢而有力的撞着在车里
课代表趴下让我连桶了30分钟
言教授要撞坏了笔趣阁相似的小说
HAYAXURAX18
久久这里只有是精品23
被C到起不来是什么体验
学渣坐在学霸的棒棒上写作业
深田咏美HND-723在线观看手机
UNDERTALEエロ动漫尼特矮人
虫虫漫画免费页面窗口
粉色视频网在线播放视频
王副军官玩田雨细节描述
引导狗狗上自己
女儿就是用来给爸爸用的
可以随意触摸内部位的学校
鲍鱼蜜芽永不失联
含羞草传媒隐藏路线2023
爱情岛论坛网亚洲品质
刚结婚每天晚上折腾几个小时
赵露思AI人工智能造梦
灯草和尚之白蛇传
W938乳液78AW
把腿开大点儿就不疼了正常吗
国产麻花豆剧传媒入口
国产精东剧天美传媒
全国AAAA和AAAAA景区
男朋友为什么老是爱吸小兔子
女式襟开免费地暖网站
BGMBGMBGM太太毛多多视频
受变成小人用棉签
荔枝app在线汅api在免费
野花韩国高清免费神马百度
他以前是这样弄你的吗
精品无人区卡一卡二卡三
学长的手指在里面转动的写作业
体育老师把我C了一节课作
c人入门视频教程
我家狗狗卡在我里面痛怎么办
老农民老干棒的媳妇果儿
电车之狼怎么安装
97dyycom
对象吃我的奶奶说明什么
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1