Browse By

Tag Archives: Google

No Thumbnail

Google 公布核弹级 AI API:通用语音模型(USM)

去年 11 月公布计划之後,Google 最近发表了他们自己的通用语音模型(USM)API 与研究成果,参数拥有 1200 万小时语音和 280 亿组训练、涵盖 300 多种语言,目前已经可以支援 100 多种语言自动辨识。从支援语种、资料库大小来看无疑是核弹级的模型(而且还在持续发展中,最终目标是支援 1000 种语言)。这里是 USM 的几个重点:

自我监督学习三部曲

目前自动语音识别(ASR)的最大挑战是传统监督学习方法缺乏可扩展性、费时费力,模型本身需要更高效的方式改进来扩大语种跟辨别品质。

Google 采取的方式「不断自我监督学习并微调」。详细做法是,第一步使用自我监督学习法 BEST-RQ,可以在无外部监督的情形下大量分析并学习语音资料(光这一步就是 80% 工作量);读者可以想像,这阶段完全是由机器自己监督、自己学习,完全不依赖人工。

Photo Credit: Google

第二步则是使用多目标监督预训练模型来整合来自其他资料的知识,主要是由 text injection、BEST-RQ 跟监督式 loss 函数共同训练。第三则是只让监督式 loss 函数介入,对终端任务进行微调。Google 表示第一、二阶段产出就非常好,乃至於第三阶只占了 5% 工作量,那能获得品质就非常好的整体模型

对,所以你看 YouTube

No Thumbnail

Google 研发两款 5 奈米伺服器处理器,预计 2024 年交台积电生产

外媒引用知情人士消息,Google 研发资料中心处理器取得进展,代表可能 2025 年开始使用新处理器,是积极寻找击败对手亚马逊云端服务(AWS)的关键。新处理器预定由台积电生产。台积电照例没有回覆。

The Information 报导,Google 伺服器处理器团队正在开发两款采 ARM 架构的 5 奈米处理器。代号 Maple 采迈威尔 (Marvell Technology Group) 现成设计,刚完成设计交由台积电试产。另一款代号 Cypress 由以色列团队开发设计。

Google 客制化伺服器处理器将在 2024 下半年量产,最早 2025 年部署自家资料中心。Google 也与微软竞争人工智慧 (AI) 应用,将来新处理器加入後,能为 Google 人工智慧应用增力。

Google 斥资数十亿美元研发人工智慧和收购公司後,却被微软最近投资的人工智慧公司 OpenAI 抢走风头。OpenAI 新人工智慧工具 ChatGPT 最近爆红,公布不到一周就超过 100 万用户;两个月後月活跃用户达 …