微软『DeepSeek』-R1模型优化,Copilot+ PC本地化AI推理能力大提升

在科技日新月异的今天,人工智能正以前所未有的速度向边缘计算领域迈进,而Copilot+ PC在这一进程中占据了举足轻重的地位。近日,随着『DeepSeek』 R1模型的横空出世,微软也敏锐地捕捉到了这一变革的先机。

微软官方近日宣布,已正式推出针对NPU(神经网络处理器)深度优化的『DeepSeek』-R1模型。该模型现已在Azure AI Foundry和GitHub平台上架,首批将针对搭载高通『骁龙』X系列『芯片』的Copilot+ PC进行适配,随后将逐步扩展到英特尔酷睿Ultra 200V等其他平台。

据悉,『DeepSeek』-R1的首个版本——『DeepSeek』-R1-Distill-Qwen-1.5B,将率先在AI Toolkit中亮相。而7B和14B两个更大规模的版本也将紧随其后,助力开发者充分利用Copilot+ PC中强大的NPU性能。

今日霍州(www.jrhz.info)©️

微软方面表示,Copilot+ PC上的NPU开启了一种全新的工作模式。在这种模式下,生成式AI不仅能够按需执行,还能够支持半连续运行的服务。这一特性使得开发者能够利用AI推理引擎,打造出更加主动、持续的用户体验。

微软在Phi Silica项目上的研究成果,为『DeepSeek』模型的NPU优化提供了宝贵经验。通过高效的推理技术,『DeepSeek』在首次生成token的时间和吞吐率方面均表现出色,同时对电池续航和PC资源消耗的影响降到了最低。『DeepSeek』还借鉴了多项关键技术,包括模型分离以实现性能与效率的最佳平衡、低比特率量化以及Transformer到NPU的映射等。同时,微软还利用『Windows』 Copilot Runtime(WCR)通过ONNX QDQ格式在『Windows』生态系统中实现了广泛扩展。

对于想要体验『DeepSeek』的用户来说,只需下载AI Toolkit VS Code扩展即可。而经过ONNX QDQ格式优化的『DeepSeek』模型也将很快出现在AI Toolkit的模型目录中,用户可以直接从Azure AI Foundry中拉取。下载完成后,用户只需打开Playground加载“deepseek_r1_1_5”模型,并给出提示词,即可开始体验『DeepSeek』的强大功能。

今日霍州(www.jrhz.info)©️

除了为Copilot+ PC优化的ONNX模型外,用户还可以在Azure Foundry中尝试云托管的源模型。只需点击“『DeepSeek』 R1”下的“Try in Playground”按钮,即可轻松上手。

为了直观展示原始模型与NPU优化模型之间的差异,微软还提供了以下示例图。从图中可以看出,在相同提示下,原始模型与NPU优化模型的响应虽然大致相同,但在推理能力等方面仍存在微小但确实存在的差异。

特别声明:[微软『DeepSeek』-R1模型优化,Copilot+ PC本地化AI推理能力大提升] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

官方回应高铁商务座一擦全是黑印 清洁问题引热议(高铁商业)

近日,有网友发帖吐槽高铁商务座卫生问题,称其高价购买的皮沙发椅用湿纸巾一擦,便留下明显污渍,直呼“脏得意想不到”,引发网友热议。中国铁路12306对此回应称,已登记清洁建议。网友晒出的图片显示,湿纸巾擦拭后污迹清晰

官方回应高铁商务座一擦全是黑印 清洁问题引热议(高铁商业)

精神亢奋如何治疗(精神亢奋是什么病)

精神亢奋可以通过心理治疗、药物治疗、物理治疗、生活方式调整和中医调理等方式干预。这种情况可能与情绪波动、睡眠障碍、甲状腺功能亢进、双相情感障碍或中枢『神经系统』病变等因素有关

精神亢奋如何治疗(精神亢奋是什么病)

治疗抑郁症最好的药💊物是什么(治疗抑郁症最好的医院是哪里)

抑郁症的治疗药物选择需根据个体情况由医生评估决定,常用药物包括舍曲林片、氟西汀胶囊、帕罗西汀片、文拉法辛缓释片和米氮平片等。 舍曲林片属于选择性5-羟色胺再摄取抑制剂,适用于中重度抑郁症及伴随焦虑症状的患者

治疗抑郁症最好的药💊物是什么(治疗抑郁症最好的医院是哪里)

家用鸡粪发酵有机肥:定义、机制、应用及选择指南(家庭鸡粪发酵)

家用鸡粪发酵有机肥是通过自然发酵过程将鸡粪转化为适合蔬菜、果树及花卉生长的有机肥料。本文解析其定义、制作原理、应用范围及优缺点,并为用户选择合适的产品提供参考。进一步介绍其在不同作物上的具体应用,以及相关技术特性。

家用鸡粪发酵有机肥:定义、机制、应用及选择指南(家庭鸡粪发酵)

红薯当饭吃是增肥还是减肥(吃红薯当主食减肥还是发胖)

红薯当饭吃有助于减肥,因为它热量低且富含纤维,能增加饱腹感,减少总体热量摄入。红薯中的膳食纤维可以延缓胃排空时间,减少饥饿感,并促进肠道蠕动,帮助消化和代谢。红薯的血糖生成指数较低,不会引起血糖剧烈波动,有助于控制食欲

红薯当饭吃是增肥还是减肥(吃红薯当主食减肥还是发胖)