参数减至80亿个!英伟达推出缩小版语言模型

人工智能 网络 Andy 2024-08-22 17:42

英伟达宣布推出Mistral-NeMo-Minitron 8B模型,这是此前发表的Mistral NeMo 12B模型的缩小版,除了精确度高,也具备在GPU加速的数据中心、云端与工作站上运行模型的运算效率。

Mistral-NeMo-Minitron 8B模型关键点:

模型规模:Mistral-NeMo-Minitron 8B 模型拥有80亿个参数,比原始的 Mistral NeMo 12B 模型减少了40亿个参数。

运行环境:这个模型可以在 NVIDIA RTX 驱动的工作站上运行,这使得它更加易于部署和使用。

性能:尽管模型规模缩小,但在 AI 支持的聊天机器人、虚拟助理、内容生成器和教育工具等多个基准测试中,其表现依然出色。

技术手段:英伟达采用了剪枝技术来减少模型的参数数量,同时通过蒸馏技术来保持或提高模型的精确度。

成本与效率:Mistral-NeMo-Minitron 8B 模型的运算成本较低,同时提供了与原始模型相媲美的精确度,这使得它在成本、运作效率和能源使用方面具有优势。

安全性:由于可以在边缘设备上以本机端的方式运行,减少了数据传输的需要,从而提高了安全性。

灵活性:英伟达提供了模型下载,允许开发人员针对特定应用使用 AI Foundry 进行剪枝和蒸馏,以创建更小且更优的神经网络。

应用场景:这个模型适用于资源有限的组织,以及需要在智能手机或机器人等嵌入式设备上运行的场景。

总的来说,Mistral-NeMo-Minitron 8B 模型的推出,为生成式 AI 功能在各种设备和环境中的部署提供了更多可能性,同时也推动了 AI 技术的普及和应用。

推荐:电脑用的少,手机扫一扫,资讯快一步!

扫码关注我们

简讯快报

更多
⊙10小时前 17:05

按照往年,双11购物节本是传统3C冲刺销量的重要窗口期。然而作为渠道PC整机/DIY组装重要配件之一的SSD,自去年四季度起的近半年时间里跟随资源涨价而大幅提价,尽管Q2因受淡季需求拖累价格转跌,但前期累计的涨幅过高,当前价位仍与去年涨价前的价格水平存在明显差距。即便借助双11购物节平台补贴叠加其他优惠,对于消费者而言是高价促销,除非刚需、实难激起多数用户购买欲。同时,今年Q3中下旬,个别渠道存储厂商为缓解业绩压力而率先杀价抢单,但仅为个例未拖累整体市场。不过国庆长假过后,部分小型厂商相继加入杀价行列,国内市场卖压逐渐增强,近期更多存储厂商被动跟进低价以推动出货,同时,资源价格也有所松动,多因素影响下本周渠道SSD价格全面出现较大幅度下调。Q4作为存储厂商完成全年度业绩目标的最后节点,面对疲弱的市场需求以及同业竞争压力,Q4出货也将越发艰难、利润挤压也将逐渐显性化。

SSD(渠道市场):Channel SSD 120GB SATA 跌 11.76% 至 $15.00,Channel SSD 240GB SATA 跌 11.11% 至 $32.00,Channel SSD 480GB SATA 跌 7.69% 至 $60.00,Channel SSD 256GB PCIe 3.0 跌 13.16% 至 $33.00,Channel SSD 512GB PCIe 3.0 跌 6.67% 至 $70.00,Channel SSD 1TB PCIe 3.0 跌 5.17% 至 $110.00,Channel SSD 512GB PCIe 4.0 跌 5.00% 至 $76.00,Channel SSD 1TB PCIe 4.0 跌 7.69% 至 $120.00,Channel SSD 2TB PCIe 4.0 跌 4.00% 至 $240.00。