微软宣布优化『DeepSeek』-R1 模型,Copilot+ PC 实现本地化 AI 推理

1 月 30 日消息,人工智能正加速向着边缘计算领域发展,Copilot+ PC 在其中扮演着重要角色。随着 『DeepSeek』 R1 出现,微软也意识到了这一模型可能会带来了一系列变革。

微软今日发文,宣布推出针对 NPU 优化的 『DeepSeek』-R1( 注:已在 Azure AI Foundry 和 GitHub 上提供),首批将面向搭载高通『骁龙』 X 『芯片』的 Copilot+ PC 推出,随后是英特尔酷睿 Ultra 200V 等平台。

微软表示,首个版本 『DeepSeek』-R1-Distill-Qwen-1.5B将在 AI Toolkit 中提供,7B 和 14B 版本也将很快推出,从而帮助开发者充分利用 Copilot+ PC 中强大的 NPU 配置。

今日霍州(www.jrhz.info)©️

微软表示,Copilot+ PC 上的 NPU 开启了一种新的范式。在这种范式下,生成式 AI 不仅可以在被调用时执行,还可以支持半连续运行的服务。这使开发者能够利用 AI 推理引擎来构建主动和持续的体验。微软表示:

通过我们在 Phi Silica 上的工作,我们实现了高效的推理 —— 在首次生成 token 的时间和吞吐率方面表现出色,同时对电池续航和 PC 资源消耗的影响降至最低。针对 NPU 优化的 『DeepSeek』 模型借鉴了该项目的多项关键经验和技术,包括如何分离模型的各个部分以实现性能与效率的最佳平衡、低比特率量化以及将 Transformer 映射到 NPU。此外,我们还利用 『Windows』 Copilot Runtime(WCR)通过 ONNX QDQ 格式在多样化的 『Windows』 生态系统中实现扩展。

微软表示,要想在 Copilot+ PC 上体验 『DeepSeek』 只需下载 AI Toolkit VS Code 扩展即可;以 ONNX QDQ 格式优化的 『DeepSeek』 模型将很快出现在 AI Toolkit 的模型目录中(直接从 Azure AI Foundry 中拉取)。

今日霍州(www.jrhz.info)©️

用户可以通过点击“下载”按钮将其下载到本地。下载完成后,只需打开 Playground 加载“deepseek_r1_1_5”模型,并给出提示词即可开始实验。

除了为 Copilot+ PC 优化的 ONNX 模型外,您还可以通过点击“『DeepSeek』 R1”下的“Try in Playground”按钮,在 Azure Foundry 中尝试云托管的源模型。

如下图所示,微软还展示了原始模型和量化模型的示例,以展现两者之间微小但确实存在的差异:

▲ 相同提示下原始模型(左)与 NPU 优化模型(右)的响应示例,包括模型的推理能力

特别声明:[微软宣布优化『DeepSeek』-R1 模型,Copilot+ PC 实现本地化 AI 推理] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

恭喜!TVB小生迎娶富家女场面盛大,星光熠熠新娘金器劲夸张(tvb小生2020)

無綫(TVB)小生容天佑在無綫劇《法言人》演見習師爺「Tony仔」一角而入屋,日前終於大個仔,與富家女扶天恩拉埋天窗在RITZ CARLTON舉行婚禮,當中兄弟有TVB老死鄒兆霆及陳俊堅。宴會開始前新人及兄弟…

恭喜!TVB小生迎娶富家女场面盛大,星光熠熠新娘金器劲夸张(tvb小生2020)

Q620E冷拔无缝管Q620E冷拔无缝钢管(冷拔无缝钢管工艺流程)

在使用和维护方面,Q620E冷拔无缝钢管虽然性能优异,但仍需注意几个关键点:首先是在安装过程中要避免强力组对,防止产生附加应力;其次是定期进行腐蚀检查,特别是在化工等腐蚀性环境中使用时更需加强监测;再次是注…

Q620E冷拔无缝管Q620E冷拔无缝钢管(冷拔无缝钢管工艺流程)

口罩制作方法(口罩制作步骤)

面对新式新冠病毒肺炎疫情的严峻形势,市场上的医用外科口罩变得极为紧俏,不少民众发现购买口罩变得困难重重。在此背景下,掌握自制口罩的方法显得尤为重要

口罩制作方法(口罩制作步骤)

注射用炎琥宁的功效(注射用炎琥宁的作用与功效)

注射用炎琥宁具有清热解毒及抗病毒的功效,临床上主要用于病毒性肺炎和病毒性上呼吸道感染等疾病的治疗。该药物能够清除体内热毒邪气,减轻发热和咽喉肿痛等热性症状,通过抑制炎症介质的释放,降低毛细血管通透性,从而缓解组织红肿和疼痛表现

注射用炎琥宁的功效(注射用炎琥宁的作用与功效)

上海全面告别“拎马桶” 30年民生攻坚战收官

今年9月,上海完成了最后14082户零星“拎马桶”旧改任务,跨越30多年的无卫生设施旧住房改造宣告总体完成。改造后的房屋大多增加了独立卫生间🚻,提升了居住品质。小马桶连着大民生。中国式现代化的进程中,没有人应该被落在时代的后排

上海全面告别“拎马桶” 30年民生攻坚战收官