四川某某设备制造厂谷歌回击OpenAI：发布AI全家桶，搜索大变身，Project Astra剑指GPT
出品｜网易科技《态度》栏目
作者｜丁广胜
想要盖过谷歌风头，回击OpenAI的发布咸阳市某某照明服务中心GPT-4o有没有如愿，我们找找答案。桶搜
谷歌和Alphabet首席执行官桑达尔·皮查伊公布，变身有超过150万开发人员在使用 Gemini 模型，谷歌有20亿用户在使用Gemini，回击在短短三个月内，发布已有超过100万人注册试用。桶搜
他振臂高呼，变身我们正处于双子座（Gemini）时代，谷歌人工智能为先的回击战略正在开花结果，然后花了长达两个多小时，发布手把手教开发者使用Gemini。桶搜
谷歌说我们使命是变身让AI对每个人都有帮助，基于这个目标，再围绕Gemini，刚刚过去的这个凌晨，从搜索到照片应用、智能体、Android，他们逐一展开。
一｜谷歌的双子座（Gemini）时代
一年前，谷歌首次发布Gemini，定义为原生多模态模型，可以跨文本、咸阳市某某照明服务中心图像、视频、代码等进行推理。这次终于正式开放订阅Gemini 1.5 Pro，且带来全新升级。
此前的Gemini 1.5版本上下文长度为100万token，新版本长度刷新，达到200万token，基于此，发布上新的轻量化模型Gemini 1.5 flash这是一个针对端侧的模型，同样有100万和200万token的版本，速度更快、成本低至0.35美元每百万tokens。
与此同时，通过数据和算法改进，Gemini 1.5 Pro增强了模型的代码生成、逻辑推理和规划、多轮对话以及音频和图像理解能力。
升级后的Gemini 1.5 Pro在MMMU、AI2D、MathVista、ChartQA、DocVQA、InfographicVQA和EgoSchema等多项公共基准测试中取得了显著改进，在多项图像和视频理解基准测试中也实现了最先进性能。
换句话说，“我们已经妥妥吊打GPT4了。”
现在，用户可以通过 Gemini Advanced 订阅服务体验最新的Gemini 1.5 Pro，目前支持超过150个国家的35种语言。
谷歌还预告，即将推出下一代 Gemma 型号 Gemma 2。Gemma 2适用于广泛的 AI 开发人员，并采用全新的架构，旨在实现突破性的性能和效率。
二｜AI助手的未来 谷歌“智能体”Project Astra
基于谷歌对于智能体的理解，Google DeepMind开发了Project Astra ，类似GPT-4o的语音交互，Project Astra是主动的、可教的和个性化的，用户可以自然地与它交谈，没有滞后或延迟。
在演示中，Project Astra 所见即所得，回应一切，没有任何延迟，它可以识别物体，进行分析并且给出自己的反应，对此，有网友评论：对于盲人和低视力用户来说，这将是天赐之物！
不仅如此，大家的关注点还在于，谷歌眼镜项目是不是要复活了？什么时候发布？这才是Project Astra绝佳的应用场景。
三｜搜索引擎，依旧是谷歌AI的战略要塞
搜索一直是谷歌的命门，而搜索这个“古老”的动作似乎正在悄然发生变化。
在OpenAI GPT-4o发布之前，就有大量呼声说会不会有OpenAI 搜索的到来，不过有惊无险，谷歌在自己的主阵地，依旧高歌猛进。
桑达尔·皮查伊表示，在过去的一年里，作为搜索生成体验的一部分，已经回答了数十亿个查询。人们正在使用它以全新的方式搜索，并提出新的问题类型——更长和更复杂的查询，甚至使用照片进行搜索。
从今天开始，美国用户将体验到重大搜索交互界面的更新，搜索框下方会显示AI生成的概览，谷歌方面表示：“我们一直在实验室之外测试这种体验。令我们欣慰的是，不仅搜索使用量有所增加，用户满意度也有所提高。”
四｜谷歌版Sora，视频生成模型 Veo 和 Imagen 3
今天，谷歌还带来最新、最先进的视频生成模型 Veo 和迄今为止质量最高的文本到图像模型 Imagen 3。
Veo能够生成超过一分钟的高质量1080p视频，涵盖多种电影和视觉风格。据谷歌介绍，Veo具备高级的自然语言和视觉语义理解能力，能准确呈现细节并捕捉情感基调。
本着“打不过就加入”的原则，很多艺术家已经加入尝试了这个项目。
现在，谷歌展示了与电影制片人唐纳德·格洛弗（Donald Glover）及其创意工作室吉尔加（Gilga）的一些合作，以及艺术家Wyclef Jean，Marc Rebillet和词曲作者Justin Tranter在音乐AI沙盒的帮助下发布的新演示录音。
从今天开始，Veo可以通过加入候补名单在 VideoFX 的个人预览版中使用，未来，谷歌计划把Veo的一些功能引入 YouTube Shorts 和其他产品。
与之相结合的是Imagen 3，Google最高质量的文本到图像生成模型，Imagen 3可以更好地理解自然语言、提示背后的意图，并结合较长提示中的小细节。
从今天开始，Imagen 3可供 ImageFX 中的个人预览版和加入谷歌候补名单的创作者使用，
与此同时，Imagen 3宣布即将登陆 Vertex AI——Vertex AI 是 Google Cloud 的完全托管的统一开发平台，用于大规模利用模型，提供150多种第一方、开放和第三方基础模型，用于 使用企业级调优、接地、监控和部署功能自定义模型，以及构建 AI 代理。
五｜Google相册“询问照片”再也不怕照片难翻找
Google相册是谷歌首批以AI为中心的产品之一，现在，谷歌正在通过功能最强大的 AI 模型 Gemini 对 Google 相册进行重大升级。
一直以来，大家使用相册有这样的痛点，我们希望以自然交互的方式找到自己的照片，但是随着人们照片数量的累积，找到需要的东西可能会需要滚动浏览照片和视频页面，耗时巨大。
谷歌透露，每天有超过60亿张照片上传到 Google 相册，现在，通过“询问照片”，你可以以一种自然的方式询问你要找的东西，比如：“给我看我去过的每个国家公园的最佳照片。
谷歌还谈及对用户隐私的保护，承诺 Google 相册中的个人数据绝不会用于广告，也不会在“问答”中查看用户的对话和数据，而且，谷歌不会使用这些个人数据训练 Google 相册以外的任何生成式 AI 产品，包括其他 Gemini 型号和产品。
六｜重构交互体验 Android进入Gemini 时代
谷歌表示，随着 Google AI 成为 Android 操作系统的核心，数十亿使用 Android 的人现在可以以全新的方式与他们的设备进行交互。
比如，从今天开始，Circle to Search可以帮助学生完成家庭作业，当学生圈出他们的提示时，他们会得到分步说明，以解决一系列物理和数学问题、单词问题，而无需离开他们的数字信息表或教学大纲。
与此同时，Circle to Search在稍后的更新中，将能够帮助解决涉及符号公式、图表、图形等的更复杂的问题。谷歌披露，Circle to Search 已经在超过1亿台设备上可用。
另外，谷歌在Android上发布 Gemini 新型助手，它使用生成式 AI 来帮助用户提高创造力和生产力。这种体验已集成到 Android 中，在理解屏幕上的内容和用户正在使用的应用程序的上下文方面变得越来越好。
不仅如此，Android基于AI带来一系列更新，Gemini Nano的多模态功能将登陆 TalkBack，帮助失明或视力低下的人更丰富、更清晰地描述图像中发生的事情。
从今年晚些时候的 Pixel 开始，谷歌还推出最新型号 Gemini Nano with Multimodality，这意味着手机不仅能够处理文本输入，还可以在视觉、声音和口语等上下文中理解更多信息。
七｜第六代TPU Trillium 迄今为止性能最高的TPU
十多年来，谷歌一直在开发定制的AI专用硬件、张量处理单元（TPU），以推动规模和效率的前沿发展。
今天，迄今为止性能最高、能效最优的第六代TPU Trillium正式发布，该硬件支持今天在 Google I/O大会上宣布的包括 Gemini 1.5 Flash、Imagen 3和 Gemma 2等新型号。所有这些型号的模型都经过了TPU的训练，并使用TPU提供服务。
与 TPU v5e 相比，Trillium TPU 的每芯片峰值计算性能提高了4.7倍。与 TPU v5e 相比，Trillium TPU将高带宽存储器 （HBM） 容量和带宽提高了一倍，并将芯片间互连 （ICI） 带宽提高了一倍。
此外，Trillium 还配备了第三代 SparseCore，这是一种专用加速器，用于处理高级排名和推荐工作负载中常见的超大型嵌入。与此同时，rillium 可以在单个高带宽、低延迟的 pod 中扩展到256个 TPU。
作为硬件产品，谷歌还介绍了客户案例，谷歌表示，Trillium TPU 将为下一波 AI 模型和代理提供动力，期待通过这些先进功能帮助我们的客户。例如，自动驾驶汽车公司 Nuro 致力于通过机器人技术创造更美好的日常生活，方法是使用 Cloud TPU 训练他们的模型。
谷歌宣布，作为十年结晶，第六代TPU Trillium将于今年晚些时候上市。
延伸阅读
