有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
无翼之漫画漫画焰灵姬
BGMBGMBGM日本XX
他们一前一后的有力的攻击我
爱恋2015是真的进入吗
趴在玻璃窗做给别人看的视频
男男车车好快的车车有点污网站免费
晚上爷爷总是压在妈妈肚子上睡觉
人曾交互MOUSE
刘涛下面的毛好长好长
解放的潘多拉 bt
刻晴被盗宝团捅的叫个不停
班长没带罩子让他玩儿了一天
女士开襟乳液狂飙
台湾仙踪林XZL
妹妹中考前让我C了一次作文
我被当成发泄玩具一天的作文
精东传媒VS天美传媒合作伙伴
CHINA GARY
公交车上最后一排的爱
林予曦的代表作品MD0044图片
星空无限传媒XK8027我的妹妹
一边伸舌头一边快速喘气声音
差差差很疼视频30无掩盖
宝宝都湿透了还嘴硬会怎么样
人们俗称的拔萝卜
花季传媒app每天免费3次观影
无人区码一码二码三码是
无限资源2018第1页在线观看
王者荣耀曜把西施顶哭了
将夜西瓜视频免费播放
怎么把自己扣的全是水喷泉访页
人曾交互MOUSE
花蝴蝶日本HD免费完整版高清版
男生女生一起差差很痛的APP下载安装2023
色吧有你 春暖花开
女生把筷子放屁眼里不能掉作文
WRITE AS 黄瓜
女生说痛男生越往里寨的视频
迈开腿让学长尝尝你的草莓的游戏
双人床上剧烈运动作文
成品禁用短视频APP抖抖
我想要看胸片曝光照片实体
白俄罗斯RAPPER潮水
亚1州区2区3区4区产品乱码2021
看完就起反应的文章
漂亮的小峓子4中字巴巴鱼汤饭
一个妈妈的女儿4中文字幕
快手王多鱼被C视频
私教在没人的时候要了我短文
张津瑜的9分58秒7段
公交车后车座疯狂的做的细节
忘记擦黑板被老师C了一节课
韩国床震无遮掩视频
舌头伸进去添能让高潮来的更早吗
小泽玛利亚种子下载
14MAY18_XXXXXL56ENDIAN美V
最近2018年中文字幕手机视频
上官婉儿的乳液狂飙
用我的舌头搅拌着你的舌头歌
妈妈的朋友在观5完整有限中字
亚二新区乱码无人区二
暖暖直播韩国免费完整版视频
一手抚大 阿司匹林
小小水蜜桃视频高清在线观看3
一边吃着一面膜下奶图片
迈开腿尝尝你的草莓汁的
18C MIC新地址
皇上撞着太子妃的沈音
野花香视频在线观看社区
试过黑人之后再也回不去了
宿主每日被guan满日常临安
原神八重神子掀自己副乳e站
玛雅wang 发信到
学长的手指在里面转动的写作
看了会滴水的段子
暴躁老阿姨CSGO攻略
搞机TIME恶心直接打开的网站不用下载嘉兴圈
玛雅maya发信
XL上司未增删带免费翻译樱花
妈妈的朋友在完整有限中字
亚1州区2区3区产品乱码站
韩漫歪歪漫画登录页面免费漫画入口版
国外精产品W灬源码1688网站
宝贝低头看看我是怎么爱你的
东北大坑原始欲爱
19偷偷鲁青春草原视频
被C是什么感受
儿子一晚上要了我三回怎么办呀
上学没罩子被捅了一节课违法吗
开车越往下越疼的那种图片
妈妈说家里没人我们就做那个
狗狗猛涨精肉狗大壮增肥增食欲
日本漫画之口工番全彩
免费精产国品一二三产区区别
xxxholic春梦记
皇家小公主1V3
办公室被公司领导C了很多次
爱如潮水社区在线观看
宝宝把腿开大点儿就不疼了正常吗
私人情侣网站中文
把自己训练成小喷泉
舌と唇と唾液が浓厚
神马影院线手机理论午夜
深度开发1v3梁医生
动物胶配方视频高清
mide-008
优质JING液收集器系统H1
网站大家懂我的意思吧
中文字幕无线观看高清
把那个放在里面走路
TTTZZZ传送门2024
电车之狼r图文攻略
江疏影2分28秒链接
2015年3月里番
伽罗といちゃつきたい腿法
八重神子用身体补偿旅行者
miya222
丁香五月综合缴情月
果冻星空爱豆国产在线播放
放轻松别太紧张我会很温柔
抓着腰撞了起来水流了一地
上一个楼梯就撞一下3
男生坤坤放在女生坤坤叫什么
八重神子下面草出白色液体
斗罗大陆黄化动漫
2014日产高清卡1卡2卡
差差差的30分钟无掩盖电视剧
埃及猫没有衣服跳舞动画片原版
我的漂亮女房东完整版BD
洗澡三十分钟被公强玩
高清看男人插曲女人视频
我女朋友的母亲1完整视频有翻译
BRANDILOVEMISSIONARYACTION
妈妈的朋友8中字电视剧
刘嘉玲被强奸视频
小寡妇好紧进去了好大看视频
99西方大但人文艺术
三个人弄得我走不了路晚上
麻花视频V322纯净版
两只小兔子被吸得红肿
体育老师C我一节课
大肥波BBWWHBBWW
MD豆传媒一二三区进站口电影
李宗视频全集下载
99无人区码一码二码三码四码L
换个地方做吧未增删樱花150
校花啊哦好猛好力啊哦
2023Gy钙站
把英语课代表做哭了视频
域名不定更换_请及时收藏
成品ppt网站国外
一见面就不停的要我
在公交车上弄到高C怎么办
LINODE娇小IPHONE69
日本一线二线三线四线五线
日本一姐潮水RAPPER 目不暇接
趴窗户上做给对面看
津渝视频完整版
叔父的大还是爸爸的大轶事
14MAY1XXXXXL麻豆
fulao2官方网站进入
夫外出被公侵犯日本电影
AAA传媒有限公司
扒了语文课代表的衣服
三门齐开有多痛
他的白月光HvH桔子糖水百度云
久久丫精品忘忧草产品
桃花在线观看视频播放免费
大肥波BBWWHBBWW
4p被三个男的舔全过程
律师的小秘书1V1H
sdde-318
国产乱码卡二卡三卡4W
十九岁日本韩国免费完整版中文
女生越说疼男生越往里
唐朝豪放女完整版
打PG打到烂无挡住的视频
乳液狂飙图片奖励自己一发
9612黄桃网址进入页面手机端
孙尚香站在板凳上给刘禅辅导作业
公交车车里疯狂的索要
小东西我找到你的敏感点了
国精产品一区二区三区糖心269
最近中国韩国日本视频
晚娘恋欲百度影音
WRITEAS道具
哥家里没人使点劲C我文
噼里啪啦水蜜桃
迈开腿吃尝尝你CH
粉色视频免费版高清全集
隔离期间和妈妈玩
为什么睡过黑人一次就回不去了
原神雷神ドラえもんのエ网站
妈妈的爱第一章
早上醒来他的东西还在里面
英语老师哭着说不能再继续了
亚洲无人区码一码二码三码四码
939W乳液78W78W永久73H2GA
最短的距离是圆的2雨水和苏打水
我是你岳...你不能
日产精品一二三四区气温
妲己におしおき
被深顶得说不出话
日本一姐潮水RAPPER 太多
公车系例一第96部分阅读
家里什么东西能当阳具
3及黄大片大全
体育馆地板上c渺渺
一飞冲天动画片
在街上他突然按了遥控器作文
你们对象都是怎么扣你的
办公室跪下拉开拉链吃应用的特点
国产无人区一码二码三码区别
早上起床抱紧我第1集动漫
亚洲VS欧洲VS美洲人口
被深顶得说不出话
国精产品一品二品在
男神插曲女生完整免费
国岳夫妻的真实身份
WRITE AS管教
前面一根后面一根运动
他顶撞的速度越来越快
好看的肉质高的短篇甜文知乎
WALLPAPER刻晴大战史莱姆
XRK1_3_0ARK在线观看人口
18岁女孩开襟衣服
晚上想看点小片片
不再是朋友的夜晚樱花网
啊轻点灬公大JI巴又大又
镇远螺丝桥真实故事
金田一少年事件簿r
糖心LOGO在线观看免费EYE
在公交车里把跳d开到最大
是不是当过兵的人下边都大
成品网站W灬源码16
在公交车上被一个接一个的C
96传媒制片厂制作视频
学长们一个一个来C
花木兰站在凳子上给刘禅做作业
男女在一起翻雨覆雨的比喻意义
帅气体育生GARY网址MV宏翔
swing out sisters
高岭家的二轮花
瑜伽时突然进入
被逃生游戏npc做哭
办公室的交易HD日本
宝宝乖夹住不要流出来
手游走在腿的最里面
欧式双人三人组合
关于我和鬼变成家人这件事
开车40分钟有痛感有声音
农场ZOOM与人性ZOOM区别
缘之空哪几集开过车具体
心动时刻简简单单的爱
日韩欧美中文字幕送别
整篇都是车的文章
同吃一家三女齐上阵
男朋友晚上都是怎么玩你的
任你干视频精品播放
夏天校服太透了R头凸出来了
麻豆果冻精东九一传媒MV
狗狗射速好烫太怕了春雨医生
老阿姨BILIBILI视频
四虎 .4HU .影院
第四色网站主页
人物动物交互狗aa
车速快多肉的百合
爱情岛论坛网站线路1
换个的方式做吧第一季
江疏影2分28秒哪里有
情爱游戏 韩国
老公晚上吃我的小兔子
美国十次啦地址
日本视频高清一道一区
被粗汉H玩松了尿进去N-红-Q
大菠萝福建官方导航引导入口
WRITEAS自己玩
男朋友买玩具玩我
国产传媒蜜果冻天美传媒
腿抬起来靠墙上就不疼了视频
甜蜜惩罚 我是看守专用宠物未删减版百度云
放里面睡觉是一种怎样
用大宝贝疏通下水道
看完立马湿的小黄说说
一二三产区的文化背景
菠萝视频无限看
镜子里看我怎么进入你
免费无人区一码二码乱码区别在哪
女的说疼男的越往里寒
老师上课突然把跳D开到最大视频
一层一层剥开你的衣服
坐在学霸的鸡上背单词
韩国演艺圈悲惨37
すているのエロ资源天堂
亚洲卡1卡2卡四卡乱码
老八吃屎奥利给原视频不遮挡
鲍鱼tv5apk官网app
小SB是不是又想要了H
醒来发现大的东西还在身体里
我十二岁就做了不干净的事
不知火舞和小男孩
好看的肉质高的pop短文校园甜
完整版白妇少洁高义阅读
换个方式做吧未增删樱花网
可以触碰你的深处吗 樱花
第一次给0开的手法图
两根入一洞群交
美国Zoom人与Zoom
97超碰在线视频人人av
女人洗澡沐浴露全身真实
在被子里怎么自己玩自己无声
53岁沈阳老阿姨叫的没谁了
青春草原精品视频
洛克人zero5
没带罩子让校霸C了一节课小视频
睡过年纪最大的多少岁六十多
车子颠簸一下猛地进去
TOBU18-25
人畜禽corporation
年轻的空姐中文版
夜里听到婆婆哼哼的叫声
中日产幕无线码一区
动漫车车好快的车车图
抱着公主走一步撞一下视频
被深顶得说不出话
五个黑人玩一个女5P的小说
人与畜禽的合作关系
94卫校女大喊受不了了在线
嗯嗯宝宝叫点使劲难受吗 疼
老阿姨看到小鲜肉心动幽默说说
啦啦啦在线观看免费观看7
啊轻点啊再深点视频免费
大唐之妻妾成群
婉莹满足了十几个农民工视频
亚洲码与欧洲码一二三区别
接了一个30厘米长的客人
精东影业JD0045妈妈咪呀
天天啪夜夜干2007
小舞你的小兔子好玩小游戏
段嘉许把手探了进去
晚上开车又疼又叫的声音
果冻传媒剧国产免费入口今日更新
女人为啥进去就老实了
亚瑟2021入口
两个人一前一后太长了
狗头萝丽 呼啦圈视频
上楼梯每走一步撞一下
八重神子的神罚
WRITEAS诸葛亮多人
疯狂厨房2双人3-5视频
姐弟俩打扑克运动
办公室的交易高清BD
槽溜2021入口一二三四绿巨人
女生说疼男生越有劲的APP
CHINA青年GARY
坐在学长的大东西上做作业
在公交车上要了无数次
软糯小受灌满哭求饶道具
从厨房一路顶撞到卧室
黄鳝21分钟40秒完整版
家里没人半夜就和妈妈搞
中文在线っと好きだっ
秘密教学子豪51暗巷破解版
办公室的交易 韩国电影
丁香婷婷五月情天
斗转星移女明星合成
国精产品zzlg77777
哇又长又大又硬太爽了
我妈妈的朋友8在完整有限中字木
中国VODAFONEWIFI粗暴最新版
一个人高清观看日本完整版视频
做完之后用玉器堵住皇帝
孤注一掷王传君免费观看
带着小怪兽上班喷了
从厨房一路顶撞到卧室好吗
奥利给吃粑粑原视频
没有罩子的瑜伽老师
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1