【世界速看料】MosaicML 推出 300 亿参数模型MPT-30B，号称成本仅为竞品零头
【资料图】
IT之家 6 月 25 日消息，AI 创业公司 MosaicML 近日发布了其语言模型 MPT-30B，该模型具有 300 亿参数，训练成本“仅有其他同类竞品模型的零头”，有望促进行业逐步降低此类模型训练成本，扩大 AI 模型在更广泛领域的运用。
▲ 图源 MosaicML
MosaicML 公司的首席执行官兼联合创始人 Naveen Rao 表示，MPT-30B 的训练成本为 70 万美元（约 502.44 万元人民币），远低于 GPT-3 等同类产品所需的数千万美元训练成本。此外，由于 MPT-30B 的成本较低，体积较小，它也可以更快速地被训练，并且更适合部署在本地硬件上。
据悉，MosaicML 使用了 Alibi 和 FlashAttention 技术来优化模型，可以实现更长的文本长度和对 GPU 计算的更高利用率。MosaicML 也是少数几个能够使用 Nvidia H100 GPU 的实验室，相比以往成果，当下每块 GPU 的吞吐量增加了 2.4 倍以上，可带来更快的完成时间。
除了让 AI 技术更容易获得之外，MosaicML 还专注于提高数据质量并提高模型性能。他们目前正在开发一款工具，可以帮助用户在预训练过程中分层加入特定领域的数据，以确保训练中开业实现多样化和高质量的数据组合。
MosaicML 公司表示，将模型扩展到 300 亿参数只是第一步，接下来他们将以降低成本为前提，推出体积更大、质量更高的模型。
IT之家注意到，目前开发者可以并使用开源的 MPT-30B 基础模型，开发者还可以在本地硬件上使用自己的数据，对模型进行微调。
标签：
为您推荐
广告
随机阅读
- 【世界速看料】MosaicML 推出 300 亿参数模型MPT-30B，号称成本仅为竞品零头
- 小米汽车售价曝光：不到15万，续航800KM，真·年轻人第一台车！
- 2023医保报销范围是哪些？哪些能报哪些不能报销？
- 端午假期观影看展等休闲消费同比增长18.5%
- 当前热门：端午假期云南中缅、中越口岸迎出入境客流高峰
- 最新！中基私募50指数周报来了|全球头条
- 青海省2023年普通高校招生分数查询及首次集中网上填报志愿温馨提示_环球热点评
- 世界观速讯丨沅江：以“我管”促“都管”，检察履职助力河道治理
- 环球微资讯！《暗黑破坏神4》冰霜氏族勇者打法
- 【全球新视野】雅万高铁什么时候通车
- 世界热头条丨估值500亿的独角兽，杀出来了
- 前沿资讯!1—5月我国软件业利润总额4922亿元，同比增长12.2%
- 你关心的都在这！2023年高考志愿填报十问十答来了_新消息
- 元富科技推出标准双槽设计的RTX 4090，采用涡轮散热 世界快报
- 全球最资讯丨这份贵阳贵安文明旅游倡议书，请查收！
- 盛会现场，探营来了！
- 范汪_关于范汪的简介
- 蓝黛科技：拟20亿元投建新能源汽车零部件及触控屏盖板玻璃制造项目_世界快资讯
- 当前播报:社区引入爱心商家 链接资源精准帮扶
- 双色球23072期中7注一等奖 单注奖金664万 奖池22.5亿 新资讯
- 1青岛到北京多少里程
- 2盛会现场，探营来了！|世界新视野
- 3【环球新视野】A股遇上端午“劫”？不要被直觉所俘虏 弱市反而酝酿着高收益！“钟摆运动”正在底部
- 4陕西投资集团董事长发生变动，李元接替袁小宁 世界快看点
- 5郑州市信访局开展“浓情端午 情暖人心”主题活动-当前快看
- 6最新：《关于金融促进未来科学城创新发展的若干措施》发布
- 7全球快消息！曾宪鑫（关于曾宪鑫介绍）
- 8撬动“接单难” 护航“走出去” 中国信保助力外贸企业保稳提质 世界今日讯
- 9每日看点！气象专家：厄尔尼诺将给我国带来哪些影响？
- 10环球头条：查到高考分数后，海南学子是啥反应？跳跃、拍掌、惊愕又欢喜……
- 1网络安全的“拖油瓶”：网络弹性 世界快看点
- 2一辈子困在“许仙”里的叶童，因为衰老被再度提起
- 3qq怎么设置密保登录_qq怎么设置密保
- 4比亚迪宋Pro DM-i推出全新冠军版车型
- 5鬼吹灯之龙岭迷窟评价（该剧讲述了什么故事-全球信息
- 6配备50MP摄像头的MotorolaEdge40推出售价29999卢比
- 7焦点观察：第19届杭州亚运会5克和30克银质纪念币多少钱（2023年06月25日）
- 8晋城移动加快疑难站点攻坚，确保晋城全市无线网络领先-当前视点 全球速递
- 9财联社创投通：一级市场本周58起融资环比减少29.27% 欣旺达EVB完成16.5亿元融资
- 10热消息：央行发布5月金融市场报告 共发行各类债券54561.6亿
广告
财经
- 微视频｜大地诗篇|世界简讯
- 海博思创启动科创板IPO！储能系统业务年复合增长率219.27%！|天天新动态
- 积极进取/WCN积极收购 升穿148美元宜入市
- 央行：5月份公司信用类债券发行7962.7亿
- 菲菱科思(301191.SZ)：近期公司经营情况及内外部经营环境未发生重大变化|视点
- 超哥锐评茶队状态；聊AR有人犯处时如何交流；夸枫哥酬勤情商高
- 今日播报!中东土豪买入 腾讯减持套现！蔚来啥情况？近期动作频频 能否顺利冲刺目标
- 大发地产获联交所复牌指引 股票继续停牌 满18个月将摘牌
- 看点：今日白银价格行情查询（2023年6月25日）
- 环球讯息：HKC近日推出了新款OLED显示器OG27QK目前已开启预售
- 兰州警方通报毒品案
- 带领团队“创业”，他的电话24小时为学生在线
- 筑牢燃气安全防线 时刻防患于未“燃” 今头条
- 当前速看：金税盘维护费全额抵扣分录小规模_金税盘维护费全额抵扣分录
- 社保百万医疗保险怎么买？多少钱？|每日热闻
- 主播防溺水小课堂丨手出水面头必沉！这句话要谨记在心
- 全球风电巨头一夜暴跌37%，带崩欧洲风电行业，市场在恐慌什么？
- 宠物美容学校学费贵吗（宠物美容学校学费）
- 朋心助力，结伴同行 | 朋辈见面会回顾 环球观速讯
- “金融+绿电” 助力清洁能源产业高地建设