今天小编分享的科学经验:英特尔突袭英伟达H100,新AI芯片训练快40%,推理快50%,CEO蹦迪庆祝,欢迎阅读。
英特尔,开始正面硬刚英伟达了。
就在深夜,英特尔 CEO 帕特 · 基辛格手舞足蹈地亮出了最新 AI 芯片——Gaudi 3:
他为什么开心到现场直接蹦迪?
看下 Gaudi 3 的性能结果,就一目了然了:
训练大模型:比英伟达 H100 快40%
推理大模型:比英伟达 H100 快50%
不仅如此,虽然基辛格没有在现场给出直接的数据,但他还表示:
Gaudi 3 的性能将与英伟达 H200 相当,在某些领網域的性能甚至会更好。
如此直面对标英伟达,到底效果如何,我们继续往下看。
硬刚英伟达的 Gaudi 3
英特尔表示,Gaudi 3 已经在 Llama 上做了测试,可以有效地训练或部署 AI 大模型,包括文生图的 Stable Diffusion 和语音识别的 Whisper 等等。
在现场,基辛格也展示了集成最新英特尔芯片的 AI PC,能够快速处理的多项任务,例如快速处理邮件:
再如语音处理:
以及影像渲染:
英特尔演示操作的同事还非常调皮地展示了用 AI PC 生成的卡通版基辛格:
据了解,Gaudi 3 采用 5 纳米工艺制造,与历代 Gaudi 其它性能上的具体对比,如下表所示:
英特尔表示,Gaudi 3 芯片将在今年的第三季度向客户大规模提供,包括戴尔、惠普和超微电腦在内的公司将使用该芯片。
至于具体的价格,目前英特尔方面还并未透露。
不过更令人意外的是,Gaudi 3 还只是在这次英特尔 Vision 活动中发布的产品之一。
Xeon,步入第六代
没错,去年年底英特尔刚刚上市第五代 Xeon,仅时隔数个月,第六代 Xeon又来了!
(英特尔这次还真没有挤牙膏)
在现场,基辛格还亲切地叫它"little baby":
第六代 Xeon 包含两种架构,分别是Sierra Forest和Granite Rapids。
Sierra Forest 基于英特尔更小、低功耗的 E-cores,而 Granite Rapids 则由更大但性能更高的 P-cores 组成。
基辛格在现场称二者像双胞胎:
更具体而言,Sierra Forest 架构的英特尔 Xeon 6 处理器,其机架密度提高 2.7 倍。
客户能以近 3:1 的比例替换旧系统,大幅降低能耗,帮助其实现可持续发展目标。
而 Sierra Forest 架构的英特尔 Xeon 6 处理器包含了对 MXFP4 数据格式的軟體支持。
与使用 FP16 的第四代 Xeon 处理器相比,可将下一个 token 的延迟时间最多缩短 6.5 倍,能够运行 700 亿参数的 Llama-2 模型。
至于英特尔 Xeon 6 处理大模型的速度到底有多快,基辛格做了更加直接的对比。
他将第四代、第五代和最新的第六代 Xeon 放到了一起,来了一个现场速度的大比拼。
从直观的生成速度来看,第六代 Xeon 明显要比 " 前任们 " 快上许多。
具体到精确的延时数值,第六代 Xeon 运行 Llama 2 70B 只有82ms。
同等条件下,第六代 Xeon 与 " 前任们 " 的延时数值对比如下:
据了解,Sierra Forest 架构的第六代 Xeon 处理器将于今年第二季度推出。
网友揭秘英特尔 " 秘方 "
这场硬刚英伟达的发布会,同样也激起了不少网友们的热议。
例如 Gaudi 3 封装的一处细节,即使用 HBM2e 存储芯片,有网友对此表示惊讶:
他们使用的是 HBM2e,这是英伟达 A100 在 2020 年使用的。
而最先进的 HBM3e 英特尔原本也计划采用,但很可能因为供应不足,这次没能抢到足够的订单。
对此,这位网友进一步表示:
这是英特尔的秘方之一。
他们总能靠旧技术赶上 / 超越新技术,直到当前的技术在生产、获取和集成上变得更容易。
实际上,制造优势也是英特尔在半导体领網域的关键优势之一,作为半导体产业的开创者之一,英特尔几乎拥有芯片产业的所有资源和要素能力。
但何时能够和英伟达全面一较高下?这也是不少网友关注的问题:
这次英特尔硬刚的是 H100/H200,那什么时候可以对标英伟达最新的 " 核弹 "B200?
或许答案只有交给时间来回答。
但无论如何,英特尔此次的发布,确实是给 AIGC 时代的算力,多提供了一项 " 快好省 " 的选择。
参考链接:
[ 1 ] https://www.anandtech.com/show/21342/intel-introduces-gaudi-3-accelerator-going-bigger-and-aiming-higher
[ 2 ] https://www.servethehome.com/intel-vision-2024-keynote-live-coverage/
[ 3 ] https://news.ycombinator.com/item?id=39981032
— 完 —
【 火热报名中】中国 AIGC 产业峰会
定档 4 月 17 日
峰会已经邀请到数位代表技术、产品、投资、用户等领網域嘉宾,共论生成式 AI 产业最新变革趋势。
最新确认嘉宾包括:商汤科技杨帆、轻松集团高玉石、印象笔记唐毅、蚂蚁集团李建国等,。
峰会将全程线上下同步直播,欢迎预约直播 ⬇️
点这里关注我,记得标星噢
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>