首页 > 生活分享 > 免费教学 > 90/270亿参数,谷歌发布Gemma 2 AI大语言模型

90/270亿参数,谷歌发布Gemma 2 AI大语言模型

发布时间:2024-06-28 22:52:09

 6 月 28 日消息,谷歌公司昨日发布新闻稿,面向全球研究人员和开发人员发布 Gemma 2 大语言模型,共有 90 亿参数(9B)和 270 亿参数(27B)两种大小。

Gemma 2 大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。

谷歌在新闻稿中表示,Gemma 2-27B 模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达 H100 ensor Core GPU 或 TPU 主机就能实现这种性能,从而大大降低了部署成本。

Gemma 2-9B 模型优于 Llama 3 8B 和其他类似规模的开源模型。谷歌还计划在未来几个月发布参数为 26 亿的 Gemma 2 模型,更适合智能手机的人工智能应用场景。

谷歌表示为 Gemma 2 重新设计了整体架构,实现卓越的性能和推理效率。IT之家附上 Gemma 2 主要特点如下:

性能优异:

27B 版本在同规模级别中性能最佳,甚至比两倍于其尺寸的机型更具竞争力。9B 版本的性能在同类产品中也处于领先地位,超过了 Llama 3 8B 和其他同规模的开放模型。

效率和成本:

27B Gemma 2 模型可在单个谷歌云 TPU 主机、英伟达 A100 80GB Tensor Core GPU 或英伟达 H100 Tensor Core GPU 上以全精度高效运行推理,在保持高性能的同时大幅降低成本。这使得人工智能部署更容易实现,预算也更合理。

跨硬件快速推理

Gemma 2 经过优化,可在各种硬件(从功能强大的游戏笔记本电脑和高端台式机到基于云的设置)上以惊人的速度运行。

在 Google AI Studio 中尝试全精度的 Gemma 2,在 CPU 上使用 Gemma.cpp 的量化版本解锁本地性能,或通过 Hugging Face Transformers 在配备 NVIDIA RTX 或 GeForce RTX 的家用电脑上进行尝试。

免费教学更多>>

安道拓发布模块化座椅解决方案ModuTec 停产多年后启动大规模招聘,“山寨车鼻祖”众泰汽车艰难求生 中国品牌二手车销量跃升南非市场前列,Tiggo 4 Pro成最畅销车型 未来院孵化企业完成数亿元Pre-A轮融资 不敢在印度建厂造车,真是因为带不回利润? 行业首个!128TOPS单芯片跑通城市NOA,轻舟智航联手理想汽车,首发量产上车 吉利集团发布2030战略,剑指650万辆! 央企新能源转型生死局, Meta今年拟实现AI眼镜年产能翻番 剑指2000万副 抵挡敌意收购,Netflix考虑修改条款全现金收购华纳兄弟 美国科罗拉多州警车引入自动车辆识别系统 号称每小时可开出12张超速罚单 苹果为何选择与谷歌AI合作?郭明錤:迫于短期挑战、压力 苹果和谷歌谈成一笔大生意,马斯克发文:强烈不满! 本田启用新Logo,明年将率先搭载于新款纯电车和混动车 日本车企在中国销量连跌7年,该怎么稳定汽车市场呢 王自如回应不看格力工资条 还有下半句:基层员工一定要看 美系巨头们的“去中国化”豪掷,能赢吗? 8.88万元起售/智能AI加码,上汽大众朗逸 Pro上市 限时焕新价12.49万起 2026款捷途旅行者上市 小鹏汽车Q3毛利率首破20%,Q4交付目标上调至12.5万辆 已签约!安波福新项目落地武汉 Flyme Auto合作车型10月销量超19.5万辆,同比增长200% 3M动力电池解决方案——助力推动电动出行的未来 为Linux开发者而来!同星智能发布多款SocketCAN工具 三星有望重启 Galaxy A7x 系列,新机 Galaxy A77 在 Geekbench 跑分平台现身 优酷、B站,被一个后来者超车了 毫无预兆的,Gartner给大模型开发平台排了座次 USB接口的颜色可以说是快速识别性能的“视觉语言”,但并不是标准和推荐的方法 18个月月收33万刀!起底“AI套壳”生意经:是昙花一现还是隐形金矿? 你的快递,是无人车送的,物流公司为了降低亏损、补充人力