OpenAI 智能体被曝本月诞生:比谷歌 Anthropic 慢是担心 prompt 攻击

就在刚刚,OpenAI 在智能体上落后竞争对手的原因曝光了!2025 年,智能体将是 AI 领域最激烈的战场。然而,一直在 AI 领域「独占鳌头」的 OpenAI,却迟迟没有出手。

不过,外媒最近曝出了一条好消息 ——OpenAI 可能在本月就会发布自家的「计算机操作智能体」!

今日霍州(www.jrhz.info)©️

对此,网友们纷纷表示,已等待多时,望眼欲穿了!

今日霍州(www.jrhz.info)©️

今日霍州(www.jrhz.info)©️

今日霍州(www.jrhz.info)©️

计算机操作智能体

去年 10 月份,Anthropic 率先发布了基于 Claude 3.5 Sonnet 的「计算机操作智能体」。在当时的 Demo 中,Anthropic 首次实现了让模型自主操控电脑屏幕、移动光标、完成任务,并惊艳了所有人。

理论上,新功能可以根据简单的提示完成所有操作,而用户要做的就是写下提示,其他必要的步骤都将由模型来执行。

今日霍州(www.jrhz.info)©️

无独有偶,谷歌也在去年 4 月发布了用于简化 AI 智能体开发的工具 Vertex AI Agent Builder,并在 10 月被曝出正在秘密开发名为「Project Jarvis」的智能体。

根据爆料,谷歌采用的操作原理与 Anthropic 类似,也是通过截屏、解析屏幕内容,然后自动点击按钮,或输入文本,最终帮助人们完成基于网页的日常任务。

不过,它在执行不同操作时,中间会有几秒钟的思考时间。因此,在终端设备中运行还不太现实,仍然需要云上操作。

今日霍州(www.jrhz.info)©️

其实,OpenAI 也布局了研发此类软件。

去年 2 月份,OpenAI 就对媒体放风说,自己正在开发 AI 智能体。

去年 11 月时则透露称,将会在来年 1 月发布代号为「Operator」的 AI 智能体工具。

在最近的博客中,Altman 表示,OpenAI 已经掌握了传统上意义上的通用人工智能的创建方法。并且相信到 2025 年,会看到第一批 AI 智能体「加入劳动力队伍」,并极大地改变公司的产出。

如今 DDL 将近,外媒突然有下场爆料称,OpenAI 的智能体还得有个三四周才能发布。

而之所以会这样,竟是因为他们在担心「AI 安全问题」—— 遭到提示注入攻击!

今日霍州(www.jrhz.info)©️

提示注入攻击

想象一下,面对即将到来的节日聚会,你决定让智能体,寻找并订购一套新衣服。

结果一不小心,模型点开了一个恶意网站。然后,网站指示它忘记之前的指令,让它登录邮箱并窃取了你信用卡💳️信息。

在这个过程中,计算机操作智能体模型一般需要四个执行步骤:

1. 首先,模型接收用户的 API 请求

2. 根据提示,选择要使用的工具

3. 之后,截取桌面屏幕内容并评估任务是否完成

4. 如果没有,继续使用这些工具,直到实现目标

问题出现在第 3 步,截图内容可能被恶意利用,也就是所谓的「提示注入攻击」。对于正在开发此类计算机操控软件的 AI 实验室来说,这是一个非常现实的担忧。

因为,这类软件本质上是接管用户设备,为用户自动完成复杂的任务,比如在线购物或编辑电子表格等。这种攻击被称为「提示注入」(prompt injection),即『大语言模型』被用户诱导遵循恶意的指令。

提示注入并非新出现的威胁。几个月来,它一直是 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 等产品面临的问题。通过「提示注入」,这些产品曾生成了制造计算机病毒或炸弹的说明书。

但对于计算机操作智能体来说,提示注入构成了更大的威胁。

OpenAI 某员工表示:「这是因为当模型在浏览网络或控制用户计算机时,用户很难控制模型接收的信息。」

在一篇博客文章中,Anthropic 也承认了提示注入的风险。

今日霍州(www.jrhz.info)©️

然而,它并没有提供太多解决方案,只是敦促开发者采取「将 Claude 与敏感数据隔离的预防措施」,包括使用独立于主计算机系统和敏感数据的专用虚拟环境(即虚拟机)。

这种相对放任的态度让 OpenAI 的员工感到意外:「考虑到 Anthropic 过去一直在强调要自己十分注重 AI 安全,这次的操作令人非常困惑。」

但在去年 10 月份,Anthropic 毅然决然地发布了实验性计算机操控功能。这一点或许说明了,此类初创公司很难在安全发展 AI 与为股东创造利润之间取得平衡。

而 OpenAI 在发布 AI 智能体软件时,到底能不能提供更多的安全保障?能不能在功能上超越 Anthropic 和 Google 已经推出的方案?

参考资料:

https://x.com/steph_palazzolo/status/1876646459698991573

https://www.theinformation.com/articles/why-openai-is-taking-so-long-to-launch-agents?rc=epv9gi

https://www.datacamp.com/blog/what-is-anthropic-computer-use

特别声明:[OpenAI 智能体被曝本月诞生:比谷歌 Anthropic 慢是担心 prompt 攻击] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

男子假扮警察博流量被抓 诈骗陷阱曝光(男子假扮警察博客视频)

一身笔挺的警服,几段警务工作视频。短视频上的人,俨然一副正气凛然的形象。警察人设的背后,其实是一个精心编织的诈骗陷阱。前不久,黑龙江七台河警方破获了一起冒充人民警察的诈骗案件

男子假扮警察博流量被抓 诈骗陷阱曝光(男子假扮警察博客视频)

这一次,和罗康瑞一起露面的霍家兄弟,彻底撕下了父亲的体面

丈夫的忙碌工作,永远将她置于家庭之外,外界应酬、跨国会议占据了丈夫的生活,而她的名字却几乎从未出现在他的行程安排中。 她再次步入婚姻殿堂时,已经不再是依附于任何人,她选择了更加独立和沉稳的姿态,专注于摄影…

这一次,和罗康瑞一起露面的霍家兄弟,彻底撕下了父亲的体面

韩国电商 Coupang 泄露风暴再升级:新增 16.5 万受害账户(韩国电商Coupang迅速转涨)

在同一事件的后续调查中,确认存在约 16.5 万个账户的追加泄露情况。 Coupang 相关人士强调,此次并非新的泄露事件,而是在去年 11 月已公布案件基础上进一步核实出的内容。随着政府后续发布正式结果,最…

韩国电商 Coupang 泄露风暴再升级:新增 16.5 万受害账户(韩国电商Coupang迅速转涨)

微信投票怎么做?我家女装👚店选爆款全靠它(微信投票最简单方法)

我琢磨着,不如搞个微信投票,让老顾客、新粉丝都来帮我选选,选出来的款式我就多备点货,也顺便满足大家的喜好。 最后再跟大家说一句,赶紧去我发起的投票里投上一票,选中你最喜欢的款式,后续我会多备货,而且投票的姐妹…

微信投票怎么做?我家女装👚店选爆款全靠它(微信投票最简单方法)

埃隆马斯克为何误解《星际迷航》的主旨(埃隆马斯克为什么能获得一万亿美元💵薪酬)

在一场与美国国防部负责人皮特赫格塞斯共同出席的太空探索技术公司( SpaceX)活动中(当局希望大家将国防部称为战争部),埃隆马斯克提出,将人类送往其他行星是让我们迈向《星际迷航》所描绘宇宙的重要一步。 你…

埃隆马斯克为何误解《<strong>星际迷航</strong>》的主旨(埃隆马斯克为什么能获得一万亿美元💵薪酬)