英特尔锐炫显卡驱动升级,总经理高宇:轻薄本可跑160亿参数大模型
新浪科技讯 8月29日晚间消息,英特近日,尔锐英特尔宣布旗下锐炫显卡迎来驱动重要升级。炫显型与此同时,卡驱通过软件生态的动升大模构建和模型优化,英特尔正与PC产业伙伴合作推动生成式AI在轻薄本、总经理全能本、高宇游戏本等消费终端的轻薄应用,致力于让广大用户在日常生活和工作中,跑亿也能通过AI的参数辅助来提高效率。 当前,英特一谈到生成式AI,尔锐大家往往想到的炫显型是云端运行,基于英伟达等企业的卡驱大型GPU运行。那么,动升大模生成式AI能不能在PC端、轻薄笔记本上运行呢?在与新浪科技等媒体沟通中,英特尔中国区技术部总经理高宇给出了确定答案。 “肯定的,轻薄本也可以运营大模型,请大家拭目以待。”高宇表示。据他介绍,通过对模型优化,英特尔降低了模型对硬件资源的需求,进而提升了模型的推理速度,让社区开源模型能够很好地运行在个人电脑上。 以大语言模型为例,英特尔通过第13代英特尔酷睿处理器XPU的加速、low-bit量化以及其它软件层面的优化,让最高达160亿参数的大语言模型,运行在16GB及以上内存容量的个人电脑上。 此外,基于OpenVINO PyTorch后端方案,英特尔可以通过Pytorch API让社区开源模型运行在英特尔的客户端处理器、集成显卡、独立显卡和专用AI引擎上。 以图形视觉为例,由于集成了英特尔OpenVINO 工具包,Stable Diffusion实现的Automatic1111 WebUI,已经能通过上述方式,在英特尔客户端平台的CPU和GPU(包括集成显卡和独立显卡)上运行FP16精度的模型,用户可以在文字生成图片、图片生成图片以及局部修复等功能上获得良好的使用体验。 在现场演示中,英特尔展示了接入Stable Diffusion及基于ChatGLM-6b、Llama 2-13b模型的运行结果。其中,ChatGLM-6b可以做到首个token生成first latency 241.7ms,后续token平均生成率after latency 55.63ms/token。同时Llama 2-13b则执行了更为复杂的中文与英文生成,在几乎不影响阅读速度的情况下,笔记本也能够做到快速的生成效果。 一组由国外专业人士测评提供的数据显示,将集成英特尔OpenVINO工具包的Stable Diffusion WebUI与英特尔Arc A770 16GB显卡配合使用,可实现比未集成前54%的工作效率提升,在相同场景下,Arc A750同样实现了40%的提升。这一性能,已经超越了未集成OpenVINO工具包的英伟达RTX 4060显卡,且A770 16GB也紧随RTX 4060 Ti后。 据介绍,为适应当下快速发展的大语言模型生态,目前,英特尔已兼容了HuggingFace上的Transformers模型。已经验证过的模型包括但不限于LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen等。此外,英特尔还提供了Transformers、LangChain等易用API接口,并支持Windows、Linux操作系统。 “随着英特尔后续几代产品进一步扩展,规模和数量的大幅增长将让数亿人轻松享受AI加速体验,并实现更优的智能协作、更快的处理速度和更强的功能特性实现前所未有的体验变革。”英特尔表示。 生成式AI外,英特尔还通过对Game On驱动的升级发布,提升了锐炫显卡在运行一系列DirectX 11游戏的性能,为用户带来平均约19%的帧率提升,平均约20%的99th Percentile帧率流畅度提升。 此外,为帮游戏开发者、发烧友们更好地了解游戏运行及相关软硬件资源使用情况,英特尔还升级发布了名为“PresentMon”的工具,帮助衡量和评估系统性能,并根据个人需求进行优化。目前PresentMon首个Beta测试版已经放出,适用于评估所有 GPU厂商,并且可以在DirectX 9、11、12和Vulkan 上运行。 据介绍,自台式机显卡发布以来,英特尔已累积发布30次驱动更新,为57款新游戏提供发售首日(Game on)优化支持。由AI驱动的英特尔XeSS技术,现已获得超过70款游戏的支持。 (文猛)
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 铁路等部门守护春运平安顺畅出行路
- 长三角G60科创走廊九城市检察机关共同签署一体化高质量发展合作框架协议
- 空中客车航材服务负责人:将在中国搭建二手航材生态体系
- 中国科学院院士现场展示“隐身术”,是什么科学原理?
- 从春运新变化看中国经济新春“人面”
- 科普一下丨深秋为何会乍暖?
- 中俄青年科技论坛暨青年百人会论坛举办
- 哪吒汽车首次发往土耳其市场,首批车型哪吒U海外版
- 天业生态科技产品获中国绿色建材产品认证
- 第二十五届中国科协年会精彩瞬间全记录
- 香米的香气从何而来?如何辨真假?
- 新雪季各大雪场看好客流回升 全链条运营能力受重视
- 2023年央企完成总投资超6万亿元
- 山西太原:公积金贷款购二套房首付降至二成
- 中外专家学者青年代表共话应对气候与粮食危机
- 太空“穿针”有“慧眼”——中国交会对接激光雷达研发记
- 科学新发现|人类还有鳃吗?
- 100个科创项目“比武”第11届“珠江天使杯”科创大赛总决赛
- 我国力争2025年初步建立“以竹代塑”产业体系
- 把孩子拉出手机沉迷“黑洞”
- 搜索
-