城市网

英伟达 英特尔和ARM将他们的AI未来押在FP8上发布8位FP白皮书

导读 三大科技和人工智能公司Arm、英特尔和NVIDIA携手标准化全新的FP8或8位浮点标准。两家公司发布了一份新的白皮书,描述了8位浮点规范和相应变...

三大科技和人工智能公司Arm、英特尔和NVIDIA携手标准化全新的FP8或8位浮点标准。两家公司发布了一份新的白皮书,描述了8位浮点规范和相应变体的概念,称为FP8,具有变体E5M2和E4M3,以提供可用于人工智能(AI)推理和训练的标准可互换安排.

从理论上讲,这三个科技巨头之间的这种新的跨行业规范将允许人工智能模型在硬件平台上工作和运行,从而加速人工智能软件的开发。

人工智能创新在软件和硬件方面已经变得更加必要,以产生足够的计算吞吐量,从而使技术得以进步。在过去几年中,对AI计算的要求有所增加,但比前一年更多。在解决计算差距方面获得相当重要的AI研究领域之一是降低深度学习中对数值精度的要求,从而提高内存和计算效率。

英特尔打算在其涵盖处理器、显卡和众多AI加速器的路线图中支持AI格式的规范。该公司正在开发一种加速器,即HabanaGaudi深度学习加速器。降低精度方法的承诺允许在专注于提高计算效率的深度学习神经网络中挖掘固有的抗噪声特性。

新的FP8规范将减少与当前IEEE754浮点格式的偏差,在软件和硬件之间保持舒适的水平,利用当前的AI实现,加速采用并提高开发人员的生产力。

该论文将资助该原则,以利用英特尔、Arm和NVIDIA之间基于IEEE标准化构建的任何算法、概念或约定。在所有公司之间建立更一致的标准将为人工智能创新的未来提供最大的自由度,同时保持行业中的当前惯例。