Anthropic首席执行官DarioAmodei在InGoodCompany播客中表示，目前开发的AI模型的训练成本可能高达10亿美元。ChatGPT-4o等现有模型的成本仅为1亿美元左右，但他预计，短短三年内，训练这些模型的成本将上升至100亿美元甚至1000亿美元。
“目前是1亿。目前训练的模型数量超过10亿。”Amodei还补充道，“我认为如果我们达到100亿或1000亿，我认为这将在2025年、2026年或2027年实现，并且算法改进和改进将继续保持一定速度，那么我认为到那时我们很有可能能够获得在大多数事情上都比大多数人类更好的模型。”
Anthropic首席执行官在讨论人工智能从生成式人工智能(如ChatGPT)发展到通用人工智能(AGI)时提到了这些数字。他说，我们不会在一个点上突然达到通用人工智能。相反，这将是一个渐进的发展过程，模型建立在过去模型的发展之上，就像人类儿童的学习方式一样。
因此，如果AI模型每年的性能提高十倍，我们可以合理地预期训练它们所需的硬件的性能也会至少提高十倍。因此，硬件可能是AI训练中最大的成本驱动因素。早在2023年，就有报道称ChatGPT需要超过30,000个GPU，SamAltman证实ChatGPT-4的训练成本为1亿美元。
去年，有超过380万个GPU被交付到数据中心。鉴于Nvidia最新的B200售价约为30,000至40,000美元，我们可以推测Dario的十亿美元估值将在2024年实现。如果模型/量化研究的进步以当前的指数级增长，那么我们预计硬件需求将保持同步，除非像搜狐这样的更高效的技术变得更加普及。
我们已经看到这种指数级增长正在发生。埃隆·马斯克希望购买30万块B200，而据报道，OpenAI和微软正在计划一个价值1000亿美元的AI数据中心。有了这么多的需求，如果Nvidia和其他供应商能够跟上市场步伐，我们明年的GPU数据中心交付量可能会激增至3800万。
然而，除了实际硬件的供应外，这些人工智能公司还需要关注电力供应和相关基础设施。仅去年一年售出的所有数据中心GPU的总耗电量就足以为130万户家庭供电。如果数据中心的电力需求继续呈指数级增长，那么我们可能会耗尽足够的经济实惠的电力。此外，虽然这些数据中心需要发电厂，但它们还需要一个完全升级的电网，以处理耗电的人工智能运行所需的所有电子。出于这个原因，包括微软在内的许多科技公司现在正在考虑为其数据中心配备模块化核电。
