我们从2011年坚守至今,只想做存粹的技术论坛。  由于网站在外面,点击附件后要很长世间才弹出下载,请耐心等待,勿重复点击不要用Edge和IE浏览器下载,否则提示不安全下载不了

 找回密码
 立即注册
搜索
查看: 555|回复: 5

[资料贡献] AIGC靠GPU还是CPU?高性能计算两大技术方向演变

[复制链接]

该用户从未签到

43

主题

0

回帖

55

积分

一级逆天

积分
55

终身成就奖特殊贡献奖金点子奖原创先锋奖

发表于 2023-6-29 15:11:41 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区

您需要 登录 才可以下载或查看,没有账号?立即注册

×
2023 年的 AI 产业可以用风起云涌来形容。ChatGPT 的横空出世让生成式 AI 技术一夜之间红遍全球,很多从未了解过人工智能的普通人也开始对大模型产生了浓厚的兴趣。媒体、调研机构纷纷推出长篇专题,论证 ChatGPT、StableDiffusion、Midjourney 等文本和图像大模型会对哪些行业产生颠覆式影响;甚至有很多员工和企业开始利用这些大模型提升日常工作中的生产力,乃至取代人类岗位。毫无疑问,2023 年将是高性能计算开始爆发的转折点,一场影响深远的技术革命正在徐徐拉开帷幕。


在 AI 行业内,虽然 OpenAI 凭借 ChatGPT 暂时处于领先地位,但巨大的市场前景已经吸引了一大批企业与科研机构加入大模型的战场。谷歌、Meta、百度、阿里、字节跳动、腾讯、京东、科大讯飞、盘古……一众互联网巨头、创业公司与院校纷纷发布了自己的大模型服务或计划。ChatGPT 掀起了一场 AI 军备竞赛,稍有实力的互联网企业都主动或被动地加入其中,希望牢牢把握住这一罕见的历史机遇。


突然爆发的大模型热潮也让业界对硬件基础设施的需求飙升。千亿甚至万亿级参数的超大模型需要庞大的算力支撑,运营一个典型的大模型服务一般需要数千台多 GPU 服务器。如此大的算力需求给企业带来了沉重的负担,而核心硬件的获取难度则让局面雪上加霜。


另一方面,像 ChatGPT 这样的超大通用模型在行业实践中的应用前景也受到了质疑。很多观点认为,在垂直行业中,专门为领域知识优化的中小模型可能有着更好的表现。这些中小模型所需的训练成本相比通用大模型大幅降低,并且也不会高度依赖昂贵、难以获取的 GPU 硬件,可以使用带有 AI 加速硬件的新一代 CPU 与专用的 AI 加速芯片等,更加适合行业特定用途与中小企业使用。


AI 生产力 GPU 并非唯一选项
在 AI 领域,GPU 经常被视为唯一的计算硬件选项。凭借庞大的并行计算资源,GPU 能够快速处理深度学习过程中的矩阵运算,大幅提升模型的训练和推理速度。


但由于 GPU 价格高昂、内存容量受限、供应链问题、扩展能力不足等问题,企业与开发人员开始意识到,他们可以使用 CPU 这样的解决方案,在一些 AI 生产力场景中获得更高的性价比。例如,Hugging Face 公司的首席 AI 布道者 Julien Simon 最近演示了的 70 亿参数语言模型 Q8-Chat 就运行在一个 32 核心的第四代英特尔® 至强® 可扩展处理器上,速度比 ChatGPT 快得多。Q8-Chat 是基于 MosaicML 公司开源的 MPT-7B 语言模型,并充分利用了第四代英特尔® 至强® 可扩展处理器的 AI 加速引擎来提升性能。由于 CPU 具有很好的串行计算能力,在更多依赖串行或混合计算的 AI 任务中,CPU 往往具有比 GPU 更好的性能表现。


此外,CPU 虽然在模型训练场景中的速度往往无法与 GPU 相提并论,但在推理场景中有能力提供类似的性能水平。与此同时,CPU 易于扩展内存、软件兼容与扩展能力优秀的特性,也让企业在选择 AI 推理系统的软件栈时有了更高的灵活度。正因如此,包括美团、阿里云、Meta 在内的互联网头部企业都在探索利用 CPU 提升 AI 推理与部分场景的训练性能、降低 AI 硬件采购成本、减小对特定 AI 软件栈依赖的路径。在 AI 行业,CPU 的重要性正在与日俱增。


从推荐系统到视觉推理 CPU 如何在 AI 领域大放异彩
谈到 AI 硬件,CPU 长期以来扮演的都是"绿叶"的角色。开发者一般只关心 CPU 能够支持多少 GPU 计算卡,是否能长期稳定运行,而基本不会考虑用 CPU 来承载 AI 应用的算力需求。原因也很简单,相比 GPU 来说,CPU 的并行算力实在太过低下了。


但这种局面在今天出现了转机。2022 年底,搭载 AMX 加速技术的第四代英特尔® 至强® 可扩展处理器上市,CPU 第一次在很多应用场景中获得了与高端 GPU 媲美的 AI 性能。AMX 可以被看作是 CPU 核心中专为 AI 计算设计的一种加速模块,其专为 INT8 与 BF16 计算优化,相比传统的 AVX 指令集可以提供高出一个数量级的单周期指令吞吐性能。在 AMX 的帮助下,第四代英特尔® 至强® 可扩展处理器的 AI 运算能力大幅提升,在部分领域中取得了相比 GPU 更高的性价比表现。
回复

使用道具 举报

  • TA的每日心情
    慵懒
    前天 21:57
  • 签到天数: 177 天

    [LV.7]常住居民III

    82

    主题

    1万

    回帖

    1万

    积分

    三级逆天

    积分
    10446

    社区居民社区劳模原创先锋奖终身成就奖特殊贡献奖优秀斑竹奖

    QQ
    发表于 2023-6-29 16:02:03 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    前天 08:11
  • 签到天数: 114 天

    [LV.6]常住居民II

    38

    主题

    1966

    回帖

    1774

    积分

    二级逆天

    积分
    1774

    终身成就奖特殊贡献奖原创先锋奖优秀斑竹奖

    发表于 2023-6-29 17:15:16 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    开心
    前天 08:33
  • 签到天数: 156 天

    [LV.7]常住居民III

    243

    主题

    3775

    回帖

    7266

    积分

    二级逆天

    积分
    7266

    社区居民忠实会员社区劳模终身成就奖社区明星宣传大使奖优秀斑竹奖特殊贡献奖原创先锋奖

    QQ
    发表于 2023-6-30 08:29:56 | 显示全部楼层
    回复

    使用道具 举报

  • TA的每日心情
    开心
    4 天前
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    16

    主题

    586

    回帖

    1690

    积分

    1元学习Allegro(230718)

    积分
    1690

    终身成就奖原创先锋奖

    发表于 2023-6-30 08:41:01 | 显示全部楼层
    回复

    使用道具 举报

    该用户从未签到

    10

    主题

    3481

    回帖

    11

    积分

    二级逆天

    积分
    11

    社区居民终身成就奖特殊贡献奖原创先锋奖优秀斑竹奖

    QQ
    发表于 2023-6-30 08:54:58 | 显示全部楼层
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    每日签到,有金币领取。


    Copyright ©2011-2024 NTpcb.com All Right Reserved.  Powered by Discuz! (NTpcb)

    本站信息均由会员发表,不代表NTpcb立场,如侵犯了您的权利请发帖投诉

    ( 闽ICP备2024076463号-1 ) 论坛技术支持QQ群171867948 ,论坛问题,充值问题请联系QQ1308068381

    平平安安
    TOP
    快速回复 返回顶部 返回列表