谷歌Pixel 6的搭载Tensor芯片的详细介绍

谷歌 Ten谷歌首次设计了自己的处理器。 sor 芯片

对于Pixel 6和Pixel 6 Pro，搜索巨头谷歌正在效仿苹果——将自己塑造成芯片设计师，对其旗舰智能手机拥有更多控制权。对于谷歌新推出的 Pixel 6 的用户来说，这可能意味着一款具有人工智能的手机，你实际上想要与之通话，并且电池续航时间足够长，可以在忙碌的一天中继续供电。

谷歌在周二的虚拟活动中推出了 599 美元的 Pixel 6 和 899 美元的 Pixel 6 Pro 手机，引入了新颜色、显示改进、Android 12和背面的水平摄像头凹凸条而不是方形角阵列等变化。但最大的不同在于内部：Tensor，谷歌设计的第一款芯片。

负责 Google 芯片业务的副总裁兼总经理 Phil Carmack 和 Google Silicon 高级总监 Monika Gupta 在 Pixel 活动前一周的视频会议中与 CNET 聊天，深入了解了 Tensor 的特殊之处——以及为什么谷歌甚至费心制造处理器。

“做出这个决定的关键因素是围绕人工智能，以及我们如何将人工智能以截然不同的、更个性化的层面带给最终用户，”卡马克说。“我们根本无法使用现有的解决方案实现这一目标。”

我们的目标是打造一款搭载更多 AI 智能功能的 Pixel 手机，并且能够在不牺牲电池寿命的情况下进行这些计算。在新的 Pixel 6 和 6 Pro 中，这体现在实时语言翻译、高度准确的语音转录和高端相机功能中，例如能够对运动中的人的面部进行模糊处理。最重要的是，谷歌承诺电池续航时间为 24 到 48 小时。

“这有点像我们被阻止了一点，”古普塔说。“我们可以直接在 Google 内部使用最先进的 [机器学习]，但我们无法将其带给我们的 Pixel 用户。我们对 Pixel 有这个愿景，但我们无法实现那个愿景。”

Tensor 改变了这种情况，这标志着谷歌首次涉足昂贵且困难的 SoC 设计世界。大约四年前，它与一个由 76 人组成的团队开始研究处理器。（该团队“现在更大了，”卡马克说，但他拒绝具体说明其规模。）大多数半导体公司都有数千名工程师开发他们的新芯片。但谷歌背后还有其他东西——其专门研究人工智能和机器学习的研究人员团队。

“在 Tensor 上，我们正在运行来自 Google Research 的最先进的 [机器学习] 模型，就像最新最好的一样，”古普塔说。“而且由于 Tensor 架构，我们比以往任何时候都更有效地做到了这一点。”

虽然大多数手机制造商都使用高通公司提供的芯片，但苹果公司通过为从iPhone到 Mac 的所有产品制造处理器而脱颖而出。设计自己的处理器让 Apple 能够优化它最关心的功能，比如高性能和长电池寿命。现在，谷歌正在寻求遵循这一战略，因为它利用了其在搜索和人工智能方面的优势。此举对高通造成了打击。

高通在一份声明中表示：“从将第一批Android设备推向市场开始，Qualcomm Technologies 和谷歌已经成为合作伙伴超过 15 年。” “我们将继续与谷歌在基于 Snapdragon 平台的现有和未来产品上密切合作，为5G时代提供下一代用户体验。”

谷歌可以使用一个新的方向。根据 Strategy Analytics 的数据，虽然其 Android 软件为全球每10部智能手机中的近9部提供支持，但Pixel仅占全球手机出货量的不到1%。

但研究员 GlobalData 的高级分析师阿尼莎·巴蒂亚 (Anisha Bhatia) 称谷歌为使 Tensor 做出的努力“意义重大”。

Bhatia 指出：“制造芯片是一个复杂且昂贵的过程，而谷歌这家在智能手机领域并不强大的公司正在向这个过程投入资金和资源。” “这将使谷歌能够更好地在智能手机市场上竞争。”

Tensor的规格

Tensor 就是所谓的片上系统，本质上是一种怪物处理器，它将 CPU（为设备提供动力的大脑）与其他功能相结合。

在谷歌的设计案例中，八核 CPU 集成了 20核Arm Mali-G78 MP20 GPU、Tensor Processing Unit 机器学习引擎、用于摄影的高级图像信号处理器、Tensor 安全核心、“上下文”集线器”以实现超低功耗功能和 8MB 系统缓存。Tensor 还包括一个 4MB CPU L3 缓存，并建立在 5 纳米制造节点上。

关键是 Tensor 的所有部分协同工作以在 Pixel 6 上执行操作。

“这些街区之一是任何重要经历的明星，这有点罕见，”卡马克说。“他们必须精心编排。”

Tensor 安全核心是一个基于 CPU 的子系统，它独立于主应用程序处理器。它允许敏感任务和控件在隔离和安全的环境中运行。除了 Tensor 之外，还有一个协处理器，即谷歌的下一代专用安全芯片 Titan M2。由于谷歌创建了 Tensor，它将对 Pixel 所有者的安全支持延长至五年，让人们可以更长时间地使用他们的设备。

Pixel 6 和 Pixel 6 Pro（如图）背面有一个摄像头条，而不是角落里的方形摄像头阵列。

CPU 本身是基于芯片设计师 Arm 架构的八个内核——两个时钟速度为 2.8GHz 的高性能 Cortex-X1 内核、两个 2.25GHz 的中端 A76 内核和四个 1.8GHz 的小型高效 A55 内核。像XDA Developers这样的芯片专家称这种配置 – 结合了 Arm 最强大的新内核和旧内核 – 当规格在事件发生前泄露时是不寻常的。

Carmack 表示，谷歌设计的 CPU 能够为计算摄影等密集使用案例提供最佳的响应能力和功率效率。

“我们做了一些与 Android 生态系统其他部分不同的事情，因为我们构建它并不是为了以最少的投入赢得单线程性能的基准，”卡马克说。“我们构建它是为了提供体验。……拥有两个真正高性能的内核有助于我们获得更好的整体响应能力和更好的整体持续性能。”

最终，Pixel 6 的 Tensor CPU 性能比高通的中端骁龙 765G Pixel 5 芯片快 80%，GPU 快 370% 。值得注意的是，该芯片比其他高级 Android 手机中的顶级处理器慢。

静态摄影

Pixel 6 的改进领域之一是摄影。Tensor 已经是 Pixels 的一个强大领域，它可以实现更智能的相机功能。

一项名为 Face Unblur 的新功能可将运动中的主体的面部聚焦，同时保持身体其余部分的模糊。例如，您可以拍摄一张孩子在蹦床上跳跃的照片，脸部锐利且清晰，四肢在运动中模糊。

该技术通过利用名为 FaceSSD 的 Google Research 人脸检测 ML 模型来发挥作用。在拍照之前，Pixel 会检测到场景中有一张脸。如果它很模糊，Pixel 将自动启动第二个摄像头，以便在您按下快门按钮时准备就绪。

相机同时拍摄两张图像，一张来自主相机，一张来自超广角相机。主摄像头采用普通曝光为您提供低噪点照片，然后超广角采用更快的曝光提供超清晰的图像。

Gupta 说：“机器学习将对齐这两个图像，将它们合并，它将从超宽镜头中获取更清晰的面孔，从主镜头中获取低噪声镜头，让您获得两全其美的效果。” 最后，Pixel 将最后查看合并图像中是否还有任何模糊。如果是这样，手机将估计模糊的级别和方向并将其删除。

“总而言之，大约需要四个机器学习模型才能将来自两个不同相机的数据结合起来，然后为您提供一张漂亮清晰的照片，”古普塔说。“不仅几乎整个芯片都被不同的子系统点亮，做不同的事情，甚至在手机层面，我们也点亮了多个摄像头传感器。但这种方式触及了我们为什么以不同的方式处理 Tensor 以及为什么我们的核心重点真正植根于从最终用户开始。”

Gupta 说，FaceSSD 还可以处理视频。她说，该公司以前从未能够将人脸检测应用到视频中，因为旧的芯片速度不够快，而且功耗太大。新的 FaceSSD 以每秒 30 帧的速度运行两倍，这使其适用于视频。这也是较低的功率。

“我们历史上应用于照片的许多计算摄影技术，我们现在第一次能够应用视频，”古普塔说。“所有这些技术都会让视频变得更好。”

另一项称为运动模式的摄影功能会在静止图像中添加模糊。古普塔说，它“为城市照片、夜间外出甚至自然场景带来了某种专业的外观和感觉。” “通常，您可以使用三脚架或长时间曝光或花哨的设备以及大量练习来创建这些效果。但在 Google 相机应用程序中，我们通过运动模式使这变得非常容易。”

Pixel 6 的相机会拍摄多张照片并将它们组合起来。使用设备上的机器学习和计算摄影，它将识别照片的主题，找出哪些在移动，哪些不在，然后为背景添加一种审美模糊。例如，如果拍摄骑自行车的人的照片，运动模式将使骑自行车的人成为焦点并稍微模糊车轮和背景以指示动作。

视频

Google Pixels 长期以来因其照片质量而赢得赞誉，但视频质量通常无法达到竞争对手手机的质量。Gupta 说，该公司的目标是利用其计算摄影经验，使其视频与新 Pixel 6 中的静止图像一样好。

谷歌开发了一种名为 HDRnet 的算法。她说，它将部分算法直接嵌入到 Tensor 图像信号处理器中，以“极大地”加快处理速度，同时“极大地”降低功耗。HDRnet 允许 Pixel 6 以静止图像的质量捕获视频，并且它可以在所有视频格式上运行，甚至是每秒 60 帧的 4K 视频。

“一旦你将机器学习置于交互循环中，它现在就是一个实时引导系统，”卡马克说。“一位聪明的摄影师实时在场，确保您拍到正确的东西。”

语音和转录

Tensor使Pixel 用户受益的另一个领域是您如何与设备交谈。古普塔说，Pixel 6 带有设备上的语音识别功能，“可以以令人难以置信的准确度转录语音”。由于 Tensor，该转录消耗的功率只有以前的一半。

改进后的语音识别将有助于语音访问等功能，让用户无需输入命令即可与手机通话，以及使用Google 助理接听来电、与来电者通话并提供通话内容的文字记录的Google Call Screen来电者的说法。

由于 Tensor 和芯片支持的高级 ML，Google Assistant 也应该有改进。处理器允许更有效的“热词”检测——触发语音助手响应的“OK Google”。在 Pixel 6 中，即使背景嘈杂，它也能检测到热词。

Google 的 Tensor 芯片为 Pixel 6 Pro 提供了新功能。

新的 Tensor 安全核心与处理器的其余部分协同工作，以保护敏感信息。例如，您可能需要调用 Google 助理来解锁您的手机或授予对您通讯录的访问权限。Pixel 6 将在设备上完成所有这些处理，而不是通过云发送。

Creative Strategies 分析师卡罗琳娜·米拉内西 (Carolina Milanesi) 表示：“设备上的人工智能可能会帮助他们解决人们对谷歌的一些担忧，并在隐私和安全方面更好地与iOS竞争。”

Gupta 说，由于 Tensor，谷歌可以将更多的机器学习应用到问题中，以进一步细化和理解单个演讲者的细微差别。

“这可能是知道是“C”的莫妮卡还是“K”的莫妮卡之间的区别，或者你把逗号放在哪里，你把标点符号放在哪里，你得到的所有细微差别取决于谁在说话，基于根据他们的口音或他们经常使用的名词，”古普塔说。

实时翻译

Gupta 说，在翻译方面，Pixel 正在运行一种新的“最先进”模型，称为神经机器翻译。Gupta 说，它消耗的功率是以前的一半。

实时聊天翻译可快速从一种语言翻译成另一种语言。它适用于任何 Android 聊天应用程序，并且直接在该应用程序中进行翻译，而不是强迫用户将文本复制并粘贴到谷歌翻译中。新的 Pixels 还可以实时翻译媒体，例如为法语视频提供现场英语口译。

多亏了 Tensor 和 NMT，新的 Pixel 6 可以提供设备上的语音翻译。

“Tensor 本质上被设计为市场上最好的设备上 [机器学习] SoC，”古普塔说。“如果我正在看一些东西，并且它为我提供了现场字幕或为我现场翻译，那是私密的。”

如果不是 Tensor，这些类型的任务通常会耗尽手机的电池电量。

“我们的产品目标之一是通过 Tensor 消除这种妥协，并真正同时推动 [性能和能源效率]，”古普塔说。

对于谷歌来说，Tensor 和 Pixel 的新 AI 功能并不是终点。它们只是开始——而且它们只受到谷歌制造芯片的强大和节能程度的限制。

“研究、Android 平台、Pixel 和芯片团队之间的这种紧密合作创造了一个很好的良性循环，”卡马克说。“我们有完整的产品路线图。”