AI+HPC?人工智能高性能计算方向就业新路子
已有 1221 次阅读2023-5-24 15:53
刚刚过去的4月,GPT-4刷屏了。吃瓜群众一边津津乐道,一边瑟瑟发抖。随后国产大模型紧随其后,百度的“文心一言”、阿里的“通义千问”、复旦大学的“MOSS”、商汤的“商量”竞赛般的亮家伙,有点全民练模型,人人GPT的味道了。
暂且不论我们是否需要那么多大模型,客户场景是否足够,到底程序员会不会是第一批会被GPT干掉的职业,但是AIGC浪潮之下,[url=http://www.ydma.com]HPC[/url] 高性能计算,这一计算科学上的明珠却实实在在出圈了。现如今人工智能方向算法岗逐渐见顶、如何找到一条有前景且有钱景、且不被GPT替代的路子,相信是很多开发同学关注的重点。今天就和大家介绍一个人工智能方向就业的新路子——AI+HPC。
在大多数人的印象中,HPC([url=http://www.ydma.com]高性能计算[/url] )是一个专业度极高又相对冷寂的领域。大家平时做做超级计算机打打Top 500榜单,然后把这些庞然大物打包卖给高校和研究机构。
在很长一段时间内,“超算无用论”不绝于耳,而情况确实如此。
但随着大数据的发展,数据量的几何式增长让HPC的应用空间得到了极大的扩展,HPC市场的流动性也开始逐渐增强。HPC相关的岗位数量和待遇也水涨船高。
2019年五月底,惠普发起一桩有名的“超算收购案”。其以 13 亿美元买下了世界前五之一的超级计算机制造商 Cray(目前世界前五的超级计算机供应商就是联想、浪潮、曙光、Cray和HPE),折合每股价格27美金,比Cray股票一个月内的平均价格高出了27%的溢价。
惠普不做亏本生意,很显然他是通过在商用HPC市场的长期蛰伏,率先感知到了在五重奏(AI-HPC-IOT-大数据-5G的组合)影响下,企业层客户对更高效HPC的需求,因而发动了这次收购。
随着AI技术与IoT应用之间的互相驱动,数据量和计算方面的需求只会不断暴涨,而5G将数据传输管道大大拓宽之后,同样给了数据囤积量进一步拓展的空间。总之长远来看,工业、商业领域对于计算量的需求是长期看涨的,这也意味着,目前那些应用于基础科学研究、地震模拟等等领域的HPC能力,都将走出象牙塔进入商业市场。
在五重奏中,目前应用最为广泛的AI技术,起到了绝对的撬动力量。AI对计算的需求成就了英伟达,而AI对计算的需求很可能是无上限的。目前很多身处于HPC行业的企业已经感知到了这种变化,纷纷进行了相关的布局甚至转型。例如联想提出了“智慧超算”的概念,浪潮则在新产品i48中也强调了对AI场景应用的支持,就连Cray都成立了专门的AI部门。在近年的ASC、ISC等等HPC相关会议中,AI也成了常客。
在目前阶段,亚马逊云科技已经可以提供高度可定制的 HPC 计算平台,为用户带来多样化的异构计算资源以及定制化的计算实例。尤其值得注意的是,以软件生态丰富著称的亚马逊云科技在HPC领域同样提供了大量可用、低成本的软件,帮助用户解决管理与调度等领域的问题。
我们不得不认识到一个事实。[url=http://www.ydma.com]超算[/url] 的算力是AI的智力,AI训练对计算能力的需求每3.5个月增长一倍。从AlexNet(卷积神经网络)到AlphaGoZero,计算量上增长了30万倍。
AI训练越来越离不开大规模HPC计算的支撑。另一方面,AI计算在材料科学、生命科学和大气海洋等HPC应用领域发挥越来越重要的作用,推动HPC计算领域的科学发现,帮助人们进一步理解科学问题。例如,AlphaFold在蛋白质结构预测上取得了巨大的进步,以高精度预测蛋白质的立体结构,这项成果也入选Science的2020年度十大科学突破之一。AI和HPC的相爱相生使得HPC和AI的融合需求越来越强烈。
那么现如今,对于AI从业者、人工智能学习及从业者来说,HPC就是现如今最优的结构性机会。
我们看一组2022年11月份的数据,每一位求职Java开发的本科生,平均需要投递200个公司,才会收到3个面试邀约,不一定能收到offer,投录比为200:1甚至更低
然而投递HPC相关岗位,每投递20个公司,就会收到5个面试邀约,拿到2个offer,投录比为20:2
到了2023年,AIGC风潮来袭,相比于其他类型研发的裁员和降薪,HPC研发迎来了久违的春天。截止2022年底,国内新注册芯片类企业达14W+,大都需要HPC研发工程师,其他类型企业如字节、华为、小米、阿里、百度等纷纷开招HPC相关岗位,一时间也出现了很多新岗位:推理引擎优化工程师、AI平台优化工程师、人工智能解决方案架构师、高性能计算研究员等。
所以从这个角度看,同样是做研发,做HPC的成功率是其他方向的几倍甚至十几倍,而且做HPC研发因为更底层、更看重经验,因而更不易被年轻人替代
因此,对于人工智能专业或从事人工智能研发的同学来说,AI+HPC,可以说在一定程度上拓宽了在职程序员、甚至人工智能学习者和从业者的职业选择道路。
一起来看看AI+HPC可以去哪一类企业,有哪一类岗位,薪资又是多少呢?
首先可以选择的企业类型有五种,分别是芯片企业(如飞腾、景嘉微等)、互联网企业(我们熟知的BATH)、AI企业(商汤、旷视等)、应用型行业(生物医药、量化金融等)、研究机构和科研院所等(各类超算中心、智算中心、科研院所等)。
其实除了上面列举的这些大厂、中厂,也有不少创新创业型公司,比如研究做并行的、专门做异构计算的等,也会有很多机会。
岗位的话,我们从IT行业产业链的角度来看。是时候祭出这张图了,这张图适合IT行业的所有技术方向赛道,岗位类型越丰富、说明岗位越细分,证明行业发展越成熟。
很显然,HPC商用的征途才刚刚开始,一切皆有可能。目前HPC类型企业依然是以研发为主,其次销售、售前居多,也有超算运维岗位。但AI+HPC基本上是研发为主。
冬天终究会过去,但如何以更好的姿态过好冬天,需要的是智慧和眼光、以及运气。HPC无疑是当下这种“前后端已死”、“互联网已死”、“软件测试已死”等悲观灰暗氛围下的一抹光亮。
且由于HPC足够专业、足够垂直、足够底层,也许我们可以说,HPC是当下,帮助程序员或准程序员们重新打造了职业护城河的最好选择。