华为云昇腾AI云服务实用指南 #科技 #能力 #海量数据 #成多 #模型 #训练

【华为云昇腾AI云服务实用指南】报告出品方：华为

人工智能产业发展经历三次浪潮。最近的一次是以 Transformer 架构为代表的大模型，生成式 AI 的兴起，将我们带入新的 AI 产业浪潮之中。大模型是人工智能历史的分水岭，此前，人们更多关注和讨论的是机器如何感知世界，例如识别日常生活中的各种物体；

而现在，人类则进入到通过大模型的生成能力创造数字世界，预测未来趋势。通过对海量数据的预训练，大模型可以在超高维度空间上对人类全部知识进行高度压缩，进行微调就可以完成多个应用场景任务的泛化，模型正在从专用走向通用。随着人工智能技术的日新月异，AI 将进一步驱动各行各业生产能力、生产效率从“量变到质变”，实现跨越式发展和新质生产力跃升，如何用好 AI 将成为国家、行业、企业的核心竞争力。

大模型的爆发引发全球算力需求的指数级增长。2024 年基于扩散的视频生成模型 Sora 的出现，其革命性的视频生成能力，不仅展示了 AI 在视觉内容创造上的突破，更预示着全球算力需求的新一轮激增。数据显示，过去 10 年 AI 算力需求翻了 30 万倍。而未来 10 年 AI 算力将再增长 500 倍。数据集规模将从目前的一两个 T 增长到 100T。此外，大模型还需要理解更长的上下文，Token 长度将从千级发展到十万级。视频生成类模型的算力消耗相比 LLM 提升 20 倍，意味着训练集群规模要扩大一个数量级。万卡训练集群将成为训练下一代生成式模型的必备条件。由于算力规模扩大，算力的调度和管理的难度将大幅提升，需要有一个算力平台可以整合管理，调度，自动故障隔离，checkpointing，自动任务恢复的任务。这些挑战相互影响、环环相扣。