纸上谈卡 - 聊聊 Turing 架构（上）【申精】

序言
2018 年 8 月 14 日，在 SIGGRAPH 大会上，NVIDIA CEO 黄仁勋正式发布主打即时光影和 AI 表现的图灵架构新显卡。得益于专用的处理器，NV 官方宣称其渲染即时光影的速度可达到之前 Pascal 架构的 25 倍。新一代专业卡 Quadro RTX 5000、6000 和 8000 的命名也让人们对新一代消费级游戏卡的命名浮想连连，会不会不是 GTX xxxx 而是 RTX xxxx ？这在之后游戏卡的正式发布得到了证实。

2018 年 8 月 21 日，NVIDIA 正式在科隆游戏展上发布了RTX 20系列游戏卡。就如同 NVIDIA GTX 系列游戏显卡中的 GT 代表增强，X 代表 EXTREME，RTX 中的 RT 则代表了 Ray Tracing（逃～
现在，RTX 20 系游戏卡已经发布一个多月，首批媒体的正式性能评测已过去两周，第一批RTX 20系显卡也陆续到了各位玩家手中。根据具体的测评来看，NVIDIA RTX 20 系列显卡在传统测试上的提升较（ji）为（qi）有限，也成为不少黑点。

对于这代消费级游戏显卡的性能，大家的争议其实很大，吹爆实时光线追踪战未来的，也有吐槽 RTX 20 系加价不加量的。
基于目前的状况，我个人认为目前市面上对20系卡的评价大都「有失偏颇」。根据先前NVIDIA发布的图灵架构白皮书，我们可以了解到——图灵架构有将近一半流处理器（也就是晶体管）都不是传统的 CUDA core ，而是 Tensor core 与 RT core 等基于 ASIC的专用流处理器。他们的实际作用是「加速深度学习推理」与「快速计算射线和三角形求交」，目前已有的应用场景是 DLSS 与实时光线追踪。
关于实时光线追踪（Real-time Ray Traing，以下简称光追），截至目前还没有游戏（《古墓丽影：暗影》的光追跳票了，《极限竞速：地平线4》貌似支持已光追了）可以测试，只有诸如《星球大战》演示 DEMO 可以运行。与此同时，支持 DLSS 的游戏也非常有限，仅有最终幻想15等少数游戏。就如加拿大白嫖王 Linus（详见: https://www.bilibili.com/video/av32542018）所言，到目前为止 RTX 20系的硬件潜能完全没有被发挥出来，实际的测评完全无法进行。
目前，图灵架构的官方资料均已公开。能否从其中获得有用的信息，并以此推测未来 RTX 20 系列显卡在各类应用中的性能表现呢？如果能科学严谨（大雾）的分析，我认为完全是可以的。下面，我将与大家一起品读图灵架构白皮书与其他相关资料，借此了解 RTX 系列显卡的图形潜力。

1 单 GPU 实时光追先锋 —— Turing 架构
虽然真 • RTX 系列显卡是在今年 8 月 14 日发布的，但老黄早在今年 3 月份的 GTC 2018 上就宣布推出搭载 NVIDIA RTX™ 技术的 NVIDIA® Quadro® GV100 GPU ，正式支持实时光线追踪技术。在演示《星球大战》DEMO 的时候，使用共计搭载了 4张 Quadro® GV100 的工作站。虽然演示效果极为惊艳，但近十万美元的高昂价格让大家都以为实时光线追踪更多的是 NVIDIA 的一次秀肌肉，或者为日后推出下一代 GPU渲染农场作准备，几乎没有人能预想到 NVIDIA 可以在单GPU上实现实时光线追踪（Real-time Ray Traing）这一壮举，并在下半年就推出实卡。
下面，就让我们一起来解读图灵架构白皮书，感受 RTX 20 系显卡的硬实力。
1.1 图灵旗舰 —— TU102 核心
TU102 GPU 是图灵架构的旗舰核心，也是 RTX 2080 Ti 所搭载的GPU，从 TU102 即可看出本代 Turing 架构的总体性能情况。TU 102包括六个图形处理集群（GPCs），36 个纹理处理集群（TPCs）和 72 个流处理多处理器（SMs）。每个 GPC 包括一个专用光栅引擎和六个 TPC，每个 TPC 包括两个SM。每个 SM 包含 64 个CUDA Core，8 个 Tensor Core。

TU102 架构图
TU102的每个内存控制器包含了8个 ROP units 和 512 KB 的L2缓存。完整的 TU102 GPU 包含 96 个 ROP units 和 6144 KB 的L2 缓存。下图是 TU102 与其他的 主流 NV GPU 的规格进行对比，我们从中可以发现一些有趣的信息。

TU102 与其他 NV GPU 的规格对比
CUDA Cores 的数量，是当前衡量 GPU 传统图形性能的重要标准之一。从上表中，我们可以看到 TU102 GPU 的 CUDA Cores 相比上一代消费级游戏显卡 Pascal GP102 更多。对于这两款 GPU 完全版，CUDA Cores 共计增加了 768个，提升幅度达到了 20%。
对于两款 GPU 的消费级游戏卡，CUDA Cores 的数量差距大约为21%，这表明在相同的 GPU、显存频率下，且其他 GPU 组件、驱动程序 未作优化时，新显卡的性能至少得有 20% 的提升。
根据官方公布的信息，RTX 2080 Ti 单浮点性能 13.4 TFLOPs（FE版是14.2T），比GTX 1080Ti（11.3T ）提升了19%。实际来看，RTX 2080 Ti 具有更高的GPU频率、显存带宽，以及更大的 L2 Cache（这意味着更高的计算效率），结合其他架构上和驱动的优化，在不同测试项目下，实际有着从 30% 到 50% 不等的性能提升。当然在某些图形应用场景下，因为程序优化的不足，提升只有 10% - 20%。
但是，RTX 2080 Ti 相对 GTX 1080 Ti 高达 60% 的价格提升，以及 NVIDIA 从 Pascal 到 Turing 憋了两年零三个月的大招。30% - 50% 的性能提升实在让人有些失望（等等党：MMP）。
但如果我们进一步分析 TU102 与 GP102 的规格，可以发现一些有趣的细节：
CUDA Cores : 4608 / 3840 = 1.2
Die Size : 754 / 471 = 1.6
也就是说，TU 102 在 CUDA Core 数量增加有限的情况下，芯片面积相比 GP102 急剧增加到 754 mm²（芯片面积增长率约等于价格增长率）。显然，这多出来的芯片面积就是为 RT Core 和 Tensor Core 所准备的。这才是 Turing 架构相比 Pascal 架构最重要的变化。为此，我们需要深入 Turing 架构的内部细节，去了解 RT Core 与 Tensor Core。

1.3 Turing 架构的访存
在访存方面，Turing 架构主要优化了 L1 Cache 的访存，包括改进了 Shared Memory。与 NVIDIA TITAN Xp 相比，Turing TU102 提高了 L2 Cache 的大小，与 Volta V100 的 6144 KB 的 L2 Cache 大小相同。Turing 还在驱动软件上添加了显存压缩技术（Memory Compression），以均衡实际的访存性能负载。

Turing 架构显存
可以说，图灵的访存主要是在上一代 Pascal 消费级游戏显卡的基础上，进行了有限的改进。比如优化 L1、L2 Cache 的访问；将 GDDR5X 升级为更高频 GDDR6（显存频率越高越不稳定）。现在市面上的 Volta 架构 GPU（其实就是各种版本的V100）清一色使用了 HBM2 显存，V100 超高的显存位宽（4096-bit 对比 384-bit）相比于 TU102 极具优势。在位宽不足的情况下，使用 GDDR6 显存的 Turing 架构只有拉高显存频率、牺牲稳定性时，才能缩小自己在显存带宽（672 GB/s）上与 Volta GPU（900 GB/s）的差距。即使是阉割版的 TITAN V，稍微超一下显存就可以达到 900 GB/s 的显存带宽。

1.4 总结
Turing 架构可以认为是去年3月发布的 Volta 架构的改良版，主要在每个 SM 中添加了 RT Core 以提升计算光线反射/折射的性能（NV官方称其为「Giga Rays/s」），其他的组件变化不大。
所以，在执行传统图形运算，甚至是加速深度学习应用程序时，Turing 与 Volta 相比并不占优势。在执行访存密集型的图形计算（比如高分辨率、高材质）时，低位宽 Turing 架构相比于 Volta，在综合性能上甚至会处于劣势。当然，相比于两年前的 Pascal 架构，Turing 还是有很多提升的。
注，Turing 架构中实时光线追踪（Real-time Ray Traing）的实际实现比较复杂，远不止射线和三角形求交，还涉及到使用深度学习算法对渲染后的帧进行降噪，以及光栅、光追混合渲染。我将在之后的篇章为各位烧友进行详细的介绍。