令人不可思议的是，就如谷歌科学家  Jon Barron 在推特上表明的：18 个月前，练习 NeRF 还需求 5 小时；2 个月前，练习 NeRF 最快也需求 5  分钟；就在近来，英伟达的最新技能——依据多分辨率哈希编码的即时神经图形基元，将这一进程缩减到只要 5 秒！！？？

NeRF  是在 2020 年由来自加州大学伯克利分校、谷歌、加州大学圣地亚哥分校的研讨者提出，其能够将 2D 图画转 3D  模型，能够利用少量几张静态图画生成多视角的传神 3D 图画。之后又出现了改进版模型 NeRF-W（NeRF in the  Wild），能够习惯充溢光线改变以及遮挡的野外环境。

可是，NeRF 的作用是非常耗费算力的：例如每帧图要烘托 30 秒，模型用单个 GPU 要练习一天。因而，后续的研讨都在算力本钱方面进行了改进，尤其是烘托方面。

现在，英伟达练习  NeRF，最快只需 5 秒（例如练习狐狸的 NeRF 模型）！完成的关键在于一种多分辨率哈希编码技能，英伟达在论文《 Instant  Neural Graphics Primitives with a Multiresolution Hash Encoding》进行了具体解读。

• 论文地址：https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
  
• 项目地址：https://github.com/NVlabs/instant-ngp
  
• 项目主页：https://nvlabs.github.io/instant-ngp/
  

英伟达在 4 个代表性使命中对多分辨率哈希编码技能进行验证，它们分别是神经辐射场（NeRF）、十亿（Gigapixel）像素图画近似、神经符号距离函数（SDF）和神经辐射缓存（NRC）。每个场景都运用了 tiny-cuda-nn 结构练习和烘托具有多分辨率哈希输入编码的 MLP。

首要是  NeRF 场景。大型的、天然的 360  度场景（左）以及具有许多遮蔽和镜面反射外表的杂乱场景（右）都得到了很好的支持。实时烘托这两种场景模型，并在 5  分钟内经过随意捕获的数据进行练习：左面的一个来自 iPhone 视频，右边的一个来自 34 张相片。

接着是十亿（Gigapixel）像素图画近似。成果显现，多分辨率哈希编码完成了几个数量级的归纳加速，能够在几秒钟内练习高质量的神经图形基元，并在数十毫秒内以 1920x1080 的分辨率进行烘托：如果你眨眼可能会错失它！

然后是神经符号距离函数（SDF）。如下动图展现了各种 SDF 数据集的实时练习进展，练习数据是运用 NVIDIA OptiX 光线追踪结构从真值网格动态生成的。

最后是神经辐射缓存（NRC）的直接可视化，其间网络预测每个像素途径的首个非镜面反射极点的出射辐射，并依据实时途径跟踪器生成的光线进行在线练习。图左为运用  Müller 等人在 2021 论文《Real-time Neural Radiance Caching for Path  Tracing》中的三角波编码的作用，图右为本文多分辨率哈希编码技能的作用，答应网络学习更清晰细节，如暗影区域。

作用如此冷艳，特斯拉 AI 高档总监 Andrej Karpathy 也对这项研讨感叹道：「令人印象深入的架构组合和手艺制造的元履行。我依然不相信这项研讨进展的这么好、这么快。」

更多的网友认为不可思议，能够预见下一步是在设备上运行，然后在设备上练习!

从 5 小时缩至 5 秒，英伟达在技能上做了哪些打破？

计算机图形基元基本上是由数学函数表征的，这些数学函数对外观（appearance）进行参数化处理。数学表征的质量和性能特征对视觉保真度至关重要，因而英伟达期望在捕获高频、局部细节的一起坚持快速紧凑的表征。多层感知机（MLP）表征的函数能够用作神经图形基元，并现已被证明能够满足需求，比如形状表征和辐射场。

上述办法的一个重要共性是将神经网络输入映射到更高维空间的编码进程，这是从紧凑模型中提取高近似精度的关键。在这些编码中，最成功的是那些可练习、特定于使命的数据结构，它们承担了很大一部分学习使命。有了这些数据结构，便能够运用更小、更高效的多层感知机。可是，这类数据结构依赖于启发式和结构改变（如剪枝、分割或兼并），从而导致练习进程杂乱化、办法局限于特定使命、甚至限制  GPU 性能。

针对这些问题，英伟达提出一种多分辨率哈希编码（multiresolution hash encoding），这是一种自习惯、高效且独立于使命的技能。该技能仅包含两个值，分别是参数量 T 和预期最佳分辨率 N_max。

英伟达的神经网络不仅有可练习的权重参数 Φ，还有可练习的编码参数 θ。这些被排列成 L 个等级（level），每个等级包含多达 T 个 F 维 的特征向量。这些超参数的典型值如下表 1 所示：

多分辨率哈希编码的显著特征在于独立于使命的自习惯性和高效性。

首要来看自习惯性。英伟达将一串网格映射到相应的固定巨细的特征向量阵列。低分辨率下，网格点与阵列条目出现  1:1  映射；高分辨率下，阵列被当作哈希表，并运用空间哈希函数进行索引，其间多个网格点为每个阵列条目提供别号。这类哈希磕碰导致磕碰练习梯度均匀化，意味着与丢失函数最相关的最大梯度将占据分配位置。因而，哈希表自动地优先考虑那些具有最重要精细尺度细节的稀疏区域。与以往作业不同的是，练习进程中数据结构在任何点都不需求结构更新。

然后是高效性。英伟达的哈希表查找是，不需求操控流。这能够很好地映射到现代 GPU 上，避免了履行分歧和树遍历中固有的指针雕镂（pointer-chasing）。一切分辨率下的哈希表都能够并行地查询。

下图 3 展现了多分辨率哈希编码中的履行步骤：

2D 多分辨率哈希编码示意图。

如上图所示，每个等级（其间两个分别显现为赤色和蓝色）都是独立的，并在概念大将特征向量存储在网格极点处，其间最低和最高分辨率之间的几何级数 [N_min, N_max] 表明为：

英伟达在下面 4 个代表性使命中验证了多分辨率哈希编码：

• 十亿（Gigapixel）像素图画：MLP 学习从 2D 坐标到高分辨率图画的 RGB 色彩的映射；
  
• 神经符号距离函数（Neural signed distance function, SDF）：MLP 学习从 3D 坐标到外表距离的映射；
  
• 神经辐射缓存（Neural radiance caching, NRC）：MLP 从 Monte Carlo 途径跟踪器中学习给定场景的 5D 光场；
  
• 神经辐射场（NeRF）：MLP 从图画调查和相应的透视改换中学习给定场景的 3D 密度和 5D 光场。
  

成果表明，在经过几秒钟的练习后，英伟达的多分辨率哈希编码在各类使命完成了 SOTA 作用，如下图 1 所示：

下图 6 中，英伟达运用多分辨率哈希编码近似一张分辨率为 20,000 × 23,466（469M RGB 像素）的 RGB 图画。

下图 7 展现了四个场景中，神经符号距离函数（SDF）练习 11000 步后的作用：

图 8 展现了神经辐射缓存（Neural radiance caching, NRC）运用的流程：

下图  12 为模块化合成器和大型天然 360 度场景的 NeRF 烘托作用。图左在运用一张 RTX 3090 的情况下，仅需 5 秒即累积了 128  个 1080p 分辨率的样本；图右运用同一张 GPU，以每秒 10 帧的速度运行交互式进程（动效图见文章开头）。

运用Python快速构建依据NVIDIA RIVA的智能问答机器人

NVIDIA  Riva 是一个运用 GPU 加速，能用于快速布置高性能会话式 AI 服务的 SDK，可用于快速开发语音 AI 的运用程序。Riva  的设计旨在轻松、快速地拜访会话 AI 功用，开箱即用，经过一些简单的命令和 API 操作就能够快速构建高等级的对话式 AI 服务。