AI 在你 Mac 后台自己干活:修图、做 PPT、填报价单,鼠标还归你

11 月 20 日上线,任务在独立窗口跑,随时能叫停

摘要:谷歌给 macOS 版 Gemini 加了「电脑操控」,能跨应用、本地文件和网页做多步操作;美国区订阅用户先能用,全程不抢鼠标。

11 月 20 日,谷歌给 macOS 版 Gemini 应用上线了「电脑操控」(Computer Use)。打开之后,AI 可以跨桌面应用、本地文件和网页,自己把一串多步骤任务做完。

关键设计是它不抢屏。所有任务都在独立的后台窗口里跑,你的主屏幕和鼠标光标不受影响;聊天界面里同步显示当前操作的实时预览,任何时候都能手动暂停或终止。

谷歌给的场景挺具体:批量处理和编辑照片;从本地 PDF 里抠出重量、尺寸、地址,自动填进运费报价单;把各区域仪表盘的数据指标连同截图汇总成一页 PPT;分析本地文件夹里的衣物照片,帮你在二手平台把商品挂上去。

权限分成几层来管

用户可以自己勾选允许 Gemini 访问哪些应用,执行关键动作前模型会先请求批准。授权范围能收窄到指定应用和文件夹,按每次请求配置。系统还会给透明提示,明确当前是不是有某个应用在控制另一个应用。

时间点也有讲究:它赶在 macOS 27.3 推送前上线。新系统正式发布后,会提示开放受限数据访问的风险,把 AI 代理能看什么、能做什么划得更清;已经装好并拿到 Mac 权限的应用,升级到 27.3 后不用重新授权,也不会被强制弹新说明。

门槛不低:目前只对美国地区的 Google AI Plus、Pro、Ultra 订阅用户开放,订阅起价每月 4.99 美元(约 35.7 元),机器要求 Apple silicon 的 Mac。

boxiyunAI的看法

  • 「不抢鼠标」是这轮真正的进步。这类功能前两年演示很酷,真用起来屏幕乱跳、你正打的字被顶掉,最后只能当玩具。后台窗口、实时预览、随时叫停三件事凑齐,才有资格进日常工作流。
  • 它吃下的是「跨应用搬数据」这种活。人不觉得难,但特别耗时间:PDF 里抠三个数字填进报价单,二十张截图拼成一页 PPT。这类活规则清楚、步骤固定,正好是 AI 现在能稳定干完的。
  • 可用范围还很窄。美国区、要订阅、要 Apple silicon,国内用户短期碰不到,做方案的别把它写进近期计划。
  • 权限设计比功能本身更值得看。「按次授权、关键动作确认、谁在控制谁要有提示」,这套东西后面所有桌面代理都得抄一遍。企业里还要能回答审计问题:哪个程序、什么时候、动了哪些文件。
  • 给做后台系统的人提个醒:AI 能点你的页面,意味着你的表单得能被脚本点。按钮位置乱飘、弹窗挡住关键字段、二次确认做成图片,这些以前只是体验问题,以后就是「AI 干不了活」的硬障碍。

桌面代理今年从「能演示」走到了「能在后台干活」,功能本身不算新鲜,决定成败的是工程细节:权限能不能收得住,任务能不能随时打断,出了问题能不能查。谁把这三样做扎实,谁的东西才留得住人。

咨询合作电话 / 微信同号,一键拨打

💡 行业在变,数字化转型正当时在 AI 技术的加持下,许多以前成本高、实现难的软件与小程序需求,现在都能高效落地。博曦云,专注软件定制开发、小程序开发及 AI 应用落地,欢迎随时交流探讨!

上一篇:把提示词改到天亮没用:谷歌让 AI 改自己的代码,成功率从 5% 跳到 40%

下一篇:亚马逊关上的门,Shopify 打开了:纳德拉说屏蔽 AI 购物代理,份额就往对手走