有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
男生抓着你双手摁墙边什么意思
成品网站源码1688可靠吗
LINODE日本IPHONE强汉HD下载
YELLOW日本官网
野花日本HD免费高清版7一
边做边爱完整版3在线
朕现在就让你怀上
大团圆结亲情会目录
日本一码二码三码区别在哪
高清观看ZSHH96的视频素材
贺朝用棒棒糖桶谢俞
亚洲无人区码卡二卡三卡
又大又长又租免费看
W78W78W乳液永久十大排名
跳蛋使用方法图解
纵容的母爱第1一17段感悟50字
把那个放在里面走路
内射老妇BBX
他缓慢而有力的往里挺送文字
YASEE亚瑟中文最新
关于我和鬼变成家人这件事
老湿机免费一分钟体检60秒区
八重神子用身体补偿旅行者
春暖花开 欧美
25岁的女高中生相亲对象是问题儿童
年轻的朋友2线在完整视频
野花日本HD免费高清版7一
做的时候按肚子真的有形状吗
zljzljzlj日本人水多
白天是狗晚上是丈夫
国内精品自线在拍大学生
淦自己的100种方法图片
暴躁老姐的csgo心得分享视频
大地影院日本韩国免费
她忘了蛇是有两根的
授课方式BY肉馅小水饺
上边一面亲下边一面膜的作用
海角国精产品一二三产品区别
老婆出轨时打电话给老公
666西方最大但人文艺术
流了这么多还嘴硬
日韩精品一卡2卡3卡4卡乱码
最近2019免费中文第一页
消防糙汉VS水深火热
姑父缓慢有力挺送侄女
女朋友会摇是什么体验
儿子一晚上要了我三回怎么办呀
大香区一二三四区2021
丝瓜草莓榴莲深夜释放自己
涨精装满肚子上学公交车
女儿初长成爸爸来尝鲜食品的说说
日产无人区一线二线三线小说
甜蜜的惩罚未增删带翻译整集樱花
凌晨三点看的片日本
他像我这样弄你了吗
张津瑜 落地窗
张津瑜920落地窗视频叫啥
WRITEAS诸葛亮多人
成网站w灬源码1688
95W乳液78WYW永久区域
拔深一点今天老师随你
挪威的森林打扑克又叫疼
HULUWA官网在线入口IOS
人间小喷泉1V3HL慕深
939W78W78W乳液安全
成都4片P完整版视频动漫
年轻的保姆5完整视频观看
至尊宝用金箍棒桶女娲
慈禧的秘密生活高清完整视频
卫生间6分34秒
爱在初春惊变时
大团圆6血缘关系1
小蓝视频GARY2023入口
天天想你视频免费观看西瓜
斗转星移女明星
亚洲国产一卡2卡3卡4卡5公司
免费3圾片在线观看
国模露露客厅沙发
2021亚洲1卡二卡3卡四卡
老师你的兔子好软水好多作文
公主殿下LOVELIVE在线观看
四叔一次又一次索要
为什么越往里越有劲
太大了吧唧吧唧吧唧吧唧吧唧
姐姐说家里没人我们就那个
温远温行之洗手台上做
宝宝我不进去就蹭一会视频
一面亲上边一面膜下边打扑克视频
2828手机福利院
狗的东西又大又长
成品禁用视频APP短视频
小东西才一根就坚持不住了
bgmbgmbgm毛多多
榴莲新片免费观看
天下男修都躺好
灵魂战车3王者归来
bgmbgmbgm老太太水太多
一二三四在线播放免费观看中文版视频
W78W78W乳液永久
它变大了你感觉到了吗同学
爸爸的朋友2中字翻译
晚上睡不着想看点片不要下载
今日蚂蚁庄园正确答案
自w的时候看的小短文
一线产区和二线产区的知名品牌是
伊援中文日产幕无线码6区
东北大坑原始欲爱
蜜芽忘忧草老狼二区大豆
魔鬼部队完整版的播放
国产精华液一二三区别在哪
成为人视频免费视频免费观看
小东西C的舒服吗
美国寂寞空庭春欲晚
爷爷吃我的R头
原神女角色去掉全部衣物
一直按小豆豆为啥浑身发麻
外网张津瑜视频在哪里看过
LINODE日本IPHONEDVD学校
黑人的很粗很大的蘑菇头
一下又一下有力的撞进去
妈妈的朋友7中国语
4399韩国日本最好看的电影
谁输了去谁家受罚抽阴可处置男生
Nagoonimation Works3D
acome玫瑰
GOGOGO大但人文艺术观后感
两人打扑克剧烈运动又疼又叫
两个人一前一后融为一体
公交车站避雨第二集
波多野结衣哪部好看
日本农村大姐rapper
母亲6免费完整高清电视剧在线看
午夜dj在线观看高清
我把英语课代表抄哭了
原神申鹤开襟乳液狂飙
天海里红和橘和希
写的超细的多肉C过程
把老公撩硬的表情包图片
日本水蜜桃身体乳与韩国美白对比
没带罩子被校霸C了一节课作文
和教练在车里干了我三次
坐在腿上吃饭连在一起
开过张的女生是不是一直想
孩子想c我同意了处
我们好久没做了我想你了
什么样的B型好玩
亚1州区2区3区4区产品国色
芳草地社区在线视频
两种进入狂野式的方法有哪些
西施流眼泪翻白眼咬铁球图片
日本最大但人文艺术
人伦亲情父母儿女的句子
朝俞R车WRITEAS震动器
冲动的惩罚未删减
日本免费新区二
喜爱夜蒲2 粤语
女儿的朋友7完整有限中字木瓜
32厘米的粗长硬受不了了
在线成人免费电影
YELLOW高清视频
润色红叶吻蛇枝小说
好妈妈韩国中字
成品网站源码入口隐藏通道
张津瑜卫生间1080P
老师下面太紧拔不出来怎么矫正呢
最强RAPPER女潮水仙踪林
宝宝好会夹啊拉丝了
18款夜间禁用软件入口2023
斗罗大陆黄化人物网站免费
搞机time恶心
manta haya 17
原神胡桃去掉所有服装不遮挡
迈开腿看看你的森林动漫
PANSY中老年妈妈
云缨用长枪C自己的B
腿张大点就能吃扇贝不疼视频
大菠萝福建导航app
女生说疼男生越往里寨APP游戏
成年动漫3d无尽视频
欧洲vodafonewifi侏儒
WRITEAS丁程鑫性器丰年
大菠萝福建网站引导入口
双人互动插画图片视频
旧里番OVA我侵犯她的理由
在教室被老师CAO到爽
小东西我找到你的敏感点了
两男主同时拥有一女主的现言
把娇妻借给朋友泄欲4
2023年免费进入B站
厚颜无耻韩国动漫免费阅读视频
小东西多久没c了
免费做运动扑克视频网站大全
群飞刘亦菲刘诗诗杨幂杨颖
舌头伸进去添能让高潮来的更早吗
老版天仙配全集
孙尚香站在凳子上辅导刘禅写作业
无人在线观看免费高清直播
自W方法和步骤图片
四叶草M码与欧洲码的区别
日产乱码2021永久
WRITEAS检查身体
离婚回娘家满足爸
公交车售票员用下面验票
体育课被c了一节课怎么办
坐在学长的棒子上写作业
4个人互换着做苏霞
成都1片P高清完整版HD免费
黑暗荣耀朴妍珍打扑克
差差差30分钟无盖视频
亲爱的老师4中字BD
阿岘洞夫人国语版
日本XXXL码在中国是多少
三十种交口图片表
妈妈的朋友在完整有限公司中字4
男生把大坤巴塞到男生的嘴巴里
宝宝下面湿透了还嘴硬怎么回事
丝瓜草莓榴莲向日葵秋葵蕾丝
国产日产欧产综合
免费BGMBGMBGM胖老太太东北
亚洲卡1卡2乱码新区仙踪
200hh情艺中心
可以差差差的视频无掩盖
才进了个头就开始哭了
爸爸在下面撞着我写着作文
おやすみせっくす2在线观看
非洲BBOOMBBOOM的含义
男女在一起翻雨覆雨的比喻意义
年轻的女职工在线观看
洗衣屋樱花未增删带翻译英文
小东西才几天没做水这么多
让我们俩一起轮你好不好视频
给了儿子第一次
好湿好紧快点再深一点动图
色戒完整版视频哔哩哔
吃瓜群众一区二区
初高中生无套内精
日本人是人吗 不是
将军每走一步就撞一下
WRITEAS电动猫尾巴
废旧厂房里和流浪狗做
不再是朋友的夜晚第1集
公交车上C了两个小学生
高中班级玩具小诗嗯啊
男男车车好快的车车长图
小女孩吃小男孩小叮叮游戏
伊甸园一路二路三路四路入口位置
儿媳妇以为我是她老公是什么书
mum-147
井川里予33秒正能量的原视频
被C了一晚上是什么体验
人与畜禽 CROPROATION
新铁血战士qvod
雨果 百度影音
宝贝腿打开一点我进不去
宝宝腿开大点就不疼了在线视频
善良的小峓子5中字巴巴鱼汤饭较
为什么男人抽的越快女的越叫
父母全家儿女大联欢第14集
1是怎么进入0的图片
8X8X网最新地址
叫大点声今晚家里没人冷
健身教练漫画免费版在线阅免费版
13岁PG可以塞下多少根马克笔
漂亮的小峓子5中字巴巴鱼汤
疫情期间和老妈做了
高嫁肉柳1一5集免费
林念修是谁的秘书
国色天香一二三产区是哪里
国精产品一品二品在
边做饭一边躁狂怎么办
年轻的小峓子3韩国在钱
旗袍全开襟做运动
沈倦把林语惊做到哭
无翼乌无彩无漫画
女性自卫慰方法
扒开粉嫩小泬舌头伸进去视频
迈开腿吃你小草莓是什么意思
ず中文在线っと好きだった
宝宝这才几天没做水就这么多故事
pretty rhythm第三季
半夜看到父母在剧烈运动知乎
小东西这才一根而已还有呢
丰年轻的继拇中文3的特色和机能
TOBU在线观看免费直播
把我拉到公交最后一排开车
哇他怎么这么猛啊
19岁的RAPPER潮水
男女在一起翻雨覆雨的比喻意义
wallpaper原神18入
杨幂哭着喊着不能再继续了
雷电将军乳液狂飙VX网址
亚洲无砖码砖专区2023公司
精品无人区卡卡二卡三乱码
做运动打扑克视频声音
BBOX撕裂入门头交
蜜芽域名不定更换 请及时收藏
御书屋御宅屋高辣H
年轻的阿姨1在观整有限中字
帮mm脱内衣小游戏
王者公孙离爽到流泪
文轩WRITE. AS车肉教室
塞跳D的一天感受详细作文
韩国演艺圈qvod
快手王多鱼被C视频完整版
英语老师没戴罩子让我c了一节
男生的坤坤放到女生的坤里游戏
3DNAGOONIMATION_HONKAI动漫
YW193龙物最新
第一会所综合社区s001
适合自W看的文段
姐弟俩打扑克运动
CHINA青年GARY
真人情侣剧烈做运动的表情包
跨越八年的新娘
两女一杯是什么
卫老汉与淑蓉第一次
回娘家老是搞我
WWW无人区一码二码三码区别
美国少归BVBV
欧美无mate30pro巨
迪丽热巴哭着说不能再深了
斗罗大陆漫画下拉式完整版免费
不遮挡打扑克剧烈运动直播
妈妈说带好套可以给我正常吗
抵债的朋友麦子韩语
海角社区最新在线播放
晚上偷偷看B站欢迎您
JEALOUSVUE成熟
八重神子用身体补偿旅行者
小莹客厅激情46章至50视频
爱情爱情岛论坛线路播放1
魅力研习社避孕套
用大宝贝给女儿疏通下水道
俄罗斯17丨18tee
TOBU8-HD100
WRITE AS 高中生
压在阳台玻璃上做给别人看
xiaav 因你而精彩
荡秋千荡得越来越深
bgmbgmbgm老头野外
tobu8美国14vdo
差差差30分钟无盖视频
中文字幕电影乱码在线观看
china野外18:19
亚1州区2区3区域4
农夫成人网站导航
含羞草独麻婆豆腐传媒
向涟苍生士献上纯洁
男生接吻时喜欢包住女生嘴唇
男人晚上睡不着觉偷偷看b站
久产久精国九品
为啥很多男的喜欢睡孕妇
几天没C你是不是痒了好多水作文
随处可以做的爱的世界
当私生饭是要挨C的
亚洲一卡2卡三卡4卡 127
如何在家中自罚隐私
78M-78MAP
黑人双人RAPPER怪物
小SB是不是又欠C了
三根一起会坏掉的...哈
黑料不打烊最新2021地址
小东西你要负责灭火
八重神子掀开自己副乳的图片
想你1VLH最新
在线おっさんとわたし天堂
妈妈刚开始拒绝后来配合
偷看娇妻被交换
电锯惊魂3百度影音
生物课老师拿自己做教科
丁香成人大型社区
说说自己睡过哪些亲戚
GGY钙同2023钙片
GAY引诱外卖员COM2O22
德国女子突击队
晚上自己一个人看B站
前面一根后面一根运动
ipz046为什么被称为神作
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1