乒乓球运动员与他的算力帝国
作者丨倪雨晴 编辑丨包芳鸣 图源丨21世纪经济报道 1972年，一个9岁的中国台湾男孩，被家人送往美国。在肯德基的家乡，肯塔基州的一家乡村寄宿学校读书。这是一所类似少管所的学校，据说这里每个孩子都有纹身， 黄仁勋手臂上的纹身 虽然中文不好，但他一直发挥着华人优势。 1960年到2000年的四十年之间，世界上最强大的芯片公司陆续成立。这些公司为后续整个互联网、人工智能、乃至整个人类文明世界的繁荣奠定基础，这一时期的技术爆发前无古人。 截至发稿，英伟达市值为22241亿美元。 1984年黄仁勋本科毕业，这一年第一台Mac电脑发布，个人电脑时代开启，相关领域就业蓬勃兴起，他将1984年称作“最适合毕业的年份”。正如2007年苹果手机发布，以及iPhone4发布后的几年，都是“最适合毕业的年份”。 黄仁勋先后于1983-1985年间和1985-1993年间在AMD（美国超威半导体公司）和巨积（LSILogicCorporation美国电子公司），做芯片设计师。边工边读花了8年时间，于1990年获得斯坦福大学电子工程硕士学位。 1993年，30岁的黄仁勋，为兑现对夫人的承诺，也为避免被职场淘汰，成立了英伟达。相比之下，两位比他大8岁的前辈显得更加疯狂——社区双非大学生乔布斯20岁创办苹果，麻省波市大学肄业生比尔盖茨19岁创办微软。 黄仁勋去年曾在台大演讲，核心内容是回顾他创业历程中的三个故事 游戏机时期是黄仁勋和比尔·盖茨的相爱相杀相助史。1995年，微软推出了PC史上划时代的Windows95，并同时推出了以Direct3D为核心的DirectX标准。黄仁勋看准这个机会，全面支持微软的DirectX接口，推出了Riva128芯片，整机厂商开始集成英伟达。那时候显卡还不是主角，戴尔和惠普这样的组装机才是行业热门玩家。这是英伟达与微软的蜜月期，英伟达的角色就是配合好微软卖系统。 2000年，微软开始进军游戏机。希望通过Xbox与索尼、任天堂一决雌雄。为了这个项目，微软大手笔，仅单个项目订单就支付英伟达5亿美元，当时英伟达一整年的销售额才5亿美元。 2001年，微软大打价格战，每卖出一个Xbox就要亏126美元。微软开始向英伟达压价，彼时“皮衣哥”黄仁勋虽然弱小，但不肯向甲方妥协，并与微软对簿公堂。随后微软将订单转向英伟达的对手ATI，导致英伟达股价大跌90%。 但这两条线并不完全划分清晰， 英伟达的架构演进相对清晰， 2024年3月20日，英伟达GTC发布了Blackwell架构，数学家Blackwell在贝叶斯统计方面的开创性工作推动了人工智能领域的发展。 从这些架构的命名习惯看，黄仁勋的偏好逐渐转向计算机和人工智能人物。 自OpenAI发布ChatGPT以来，生成式人工智能技术一直是备受关注的热门趋势。这项技术需要强大的算力来生成文本、图像、视频等内容。 在这个背景下，英伟达先后推出V100、A100和H100等多款用于AI训练的芯片。A100和H100一方面是限制对象的典型，另一方面也是ChatGPT训练能力的核心芯片，这也让A100与H100在民间名声大噪。 英伟达A100的官网价是1万美元，H100是3.6万美元。以英伟达的A100芯片的性能指标作为限制标准。后来又修改为以综合运算性能和性能密度为指标。 当前， 但英伟达可不只有硬件产品，英伟达官网上的软件目录比硬件还长。 对比来看，Linux开发者社区强，商业社区弱，Windows商业社区强，开发者生态管控能力弱。而CUDA，有强大的社区开发者、有广泛的商业应用、还有云。 虽然被诟病安装和维护繁琐，CUDA对开发者依然是友好的，特别是对于深度神经网络的资深玩家。对他们来说，最终的运算速度是痛点，其他麻烦都可以忽略。一位资深开发者告诉21世纪经济报道记者，实际上，目前几乎全部的深度学习框架都对CUDA进行了封装支持，包括pytorch，TensorFlow等，初学者学习pytorch的第一句话都是torch.cuda.is_available()。 CUDA的前身之一是Brook项目。最初是由斯坦福大学博士在IanBuck在2000前后创立，他们计划开发一个新的编程系统，让GPU可用于除了图形计算外的其他领域。 2000年，IanBuck将32张GeForce显卡并行，将GeForce显卡改造成了一台超级计算机。这一经典操作收入了维基百科。底层逻辑很简单，英伟达一直抛弃其他任务，让芯片干活更纯粹，不断地堆叠并行计算，特别是并行乘法计算。 黄仁勋希望CUDA运行在每一张英伟达的显卡上， 上述工作使用了大约1.6万个CPU，而AI大拿Sutskever和Krizhevsky却仅用2块英伟达GeForce。他们所在的GeoffreyHinton的研究小组，很早就开始使用英伟达CUDA平台训练神经网络。 英伟达则是碰巧遇到人工智能的发展主要依赖算力。需求依然是第一位的，不然它也不得不滑入技术过剩的境地。 Sutskever和Krizhevsky都是大名鼎鼎的GeoffreyHinton的博士。GeoffreyHinton被誉为深度学习之父，他和另外两位神经网络先驱YannLeCun、YoshuaBengio获得了2018年的图灵奖。而Sutskever是OpenAI的技术总监。Krizhevsky则是斩获ImageNet第一名的图像识别神经网络AlexNet的第一作者。 任何产品的推广最好方式都是KOL带货。GeoffreyHinton的推广和AlexNet的名声大噪使得GPU和CUDA开始出圈。到底是CUDA带火了英伟达的GPU，还是GPU带火了CUDA。就像到底是iOS让iPhone成功，还是iPhone让iOS成功。他们是孪生配套，缺一不可。 英伟达开发者项目副总裁GregEstes回忆道： 随着人工智能日新月异，黄仁勋缔造的算力帝国一路狂飙。而算力，也成为各家争夺的战略资源。 中国信通院算力指数发展白皮书2023显示，2022年中国算力规模达到180ExaFlops(Exa是10的18次方)，占全球总量的33%，其中基础算力为26%，智能算力分别为28%，超级算力为18%。美国占全球总量的34%，其中基础算力为27%，智能算力分别为45%，超级算力为48%。在存量算力上，中国和美国是唯二的世界强国。 近年来，中国也在加速算力网络的建设，2023年发布的《算力基础设施高质量发展行动计划》提出，到2025年，计算力方面，算力规模超过300EFLOPS，智能算力占比达到35%。 其中，粤港澳大湾区就是建设全国一体化算力网络的重要枢纽，在2023年，中国算力网粤港澳大湾区调度中心正式上线，这是韶关市与鹏城实验室共同建设的“中国算力网”项目全国首个区域级资源调度中心。 算力资源的竞赛，已经拉开帷幕。一位IT资深从业者对记者分析道，首先，算力在任何项目上都是重要但又极度短缺的。其次，计算设备有存量算力，且可以进行分布式全球化的采集，比电力、石油更容易跨空间部署。 理论、实验、计算被称为现代科学研究中的三大手段。 这就是为什么“我们需要的是飞行汽车，但时代却给我一个140字的推特”，“人类需要AI去洗碗，扫地，做家务。他们却在写诗画画搞音乐”，这类嘲笑不值一驳的原因。 假如没有社交网络，就没有那么多人在互联网上发表观点，就没有这么多的在线语料数据。没有语料数据，就没有大语言模型的数据基础，就没有ChatGPT的核心，也就没法和人类高智能的交互，迁移学习的思路也就不复存在，后面的洗碗扫地机器人也会大受影响。相反，自从有了大语言模型之后，很多家务机器人开始层出不穷。嘲笑并不都是坏事，这提供另一种角度，也为创造者提供动力。 从观望者悲观的角度看，人类历史从来都是资源争夺的“零和博弈”。从人类走出非洲大陆开始，争夺地盘、食物、能源从未停止。 从探索者乐观的角度看，从木头中激发火，从石头中发掘硅，人类一直在做大增量市场，每次资源短缺，新的技术总能及时涌现。 《流浪地球2》中，周喆直富有深意地说“有人，在帮我们”。 本期编辑黎雨桐实习生李洁