GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一个基于 Rust 的桌面计算机使用Computer Use框架它通过操作系统的辅助功能树Accessibility Tree读取任意应用真实的 UI 结构再对界面元素执行点击、输入等操作。在 macOS 上要让它真正看得见、点得动你需要正确授予Accessibility辅助功能、Screen Recording屏幕录制和Automation自动化三类系统权限。本文带你用一条命令自查授权状态并给出一份不踩坑的完整授权指南。为什么 agent-desktop 需要这三项 macOS 权限agent-desktop 不靠看像素猜界面而是直接调用原生系统 API 读取应用的可访问性结构因此每一项权限都对应一类具体能力权限作用没有它会怎样Accessibility读取应用 UI 树、执行点击/输入等命令几乎所有命令返回PERM_DENIEDScreen Recording截取屏幕画面screenshot命令无法出图Automation控制 System EventsApple Event通知中心打开/关闭等功能受限从架构上看agent-desktop 位于AI 代理和桌面应用之间代理发出命令它通过原生 API 读取 UI 树并返回结构化 JSON 与稳定的元素引用ref。权限正是打通原生 API这一环的前提。一键自查permissions 命令快速检查授权状态agent-desktop 自带权限体检功能普通检查绝不会弹出系统授权框只会如实报告状态agent-desktop permissions # 静默检查三项权限 agent-desktop permissions --request # 在受限隔离助手中逐项请求缺失权限输出是一个显式的 JSON 报告每个字段都是一个对象{ accessibility: { state: granted }, screen_recording: { state: denied, suggestion: Grant Screen Recording permission }, automation: { state: unknown } }state有四种取值granted已授权、denied被拒绝并附带suggestion修复建议、not_required当前不需要、unknown无法在不弹窗的情况下探测常见于 Automation。其中--request会在一个受限隔离助手中逐项触发系统弹窗而不是直接在你终端里连环弹窗。此外agent-desktop status也会顺带显示当前权限概览。三项权限的探测逻辑AXIsProcessTrusted、CGPreflightScreenCaptureAccess、Automation 权限探测以及被拒绝时的修复建议文案都定义在 permissions.rs 中。Accessibility 辅助功能权限如何正确授权这是最重要的一项——读取可访问性树和绝大多数命令都依赖它。macOS 要求任何跨应用读取或控制 UI 元素的过程都必须显式获得该权限。授权步骤打开系统设置 隐私与安全性 辅助功能点击左下角锁形图标以允许更改添加启动 agent-desktop 的那个应用如 Terminal、iTerm2、VS Code、Codex 等打开其开关两个容易踩的坑 ⚠️权限是给启动者的不是给命令本身的。如果你从 VS Code 终端里运行 agent-desktop授权对象是 VS Code换 iTerm 运行就得再给 iTerm 授权。重启终端才生效。授权后必须重启终端或重启那个启动应用权限才会被继承。如果没授权命令会返回结构化的PERM_DENIED错误并附上修复建议此时运行agent-desktop permissions --request即可触发系统弹窗。Screen Recording 屏幕录制权限截图功能的前提macOS 把读取屏幕内容归入屏幕录制权限管理所以 agent-desktop 的screenshot命令需要单独授权打开系统设置 隐私与安全性 屏幕录制添加启动 agent-desktop 的应用同上Terminal、iTerm、VS Code 等开关打开必要时按系统提示重启该应用不需要截图功能的场景可以忽略这项——snapshot等基于辅助功能树的命令只依赖 Accessibility。Automation 自动化权限让通知中心命令生效agent-desktop 的通知中心功能列出、等待、消除通知需要通过 Apple Event 驱动 System Events这属于 macOS 的 Automation自动化权限对应系统设置 隐私与安全性 自动化 System Events允许启动 agent-desktop 的应用控制它。Automation 比较特殊普通permissions检查只探测不弹窗permissions --request才会在隔离助手中触发授权询问状态可能是unknown——表示 macOS 需要弹窗询问或 System Events 当前无法探测。这不是报错只是暂时不确定权限探测与请求的实现可参考 permissions.rs。授权后验证与常见误区排查清单三项权限都就位后跑一次快照即可验证 agent-desktop 已能看懂界面。比如对 Slack 做骨架概览token 消耗只有完整快照的约 1.2%快速排查清单 ✅运行agent-desktop permissions确认accessibility为granted确认授权对象是当前启动终端而不是别的旧终端若系统设置里单独列出了构建好的 agent-desktop 二进制把它也加上授权后重启了终端截图功能可用screen_recording为granted通知功能可用automation不是deniedunknown可先运行一次permissions --request常见误区只授权了 agent-desktop 本身——macOS 看的是父进程你的终端/编辑器务必授权启动者授权后没重启终端——TCC 权限在进程启动时读取不重启不生效把unknown当错误——Automation 的unknown只表示需要弹窗探测并非拒绝完整的 macOS 平台行为、支持版本macOS 12 及以上Intel 与 Apple Silicon 均支持和故障排查表见官方平台文档 macos.md 与 README 权限章节。按照这份指南授权后你的 agent 就能在 macOS 桌面上安全、可靠地看与点了。赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐为什么ZLIB压缩库依然是现代数据处理的终极选择为什么ZLIB压缩库依然是现代数据处理的终极选择 在当今数据爆炸的时代高效的数据压缩技术已成为软件开发的基石。ZLIB压缩库这个诞生于1995年的开源项目数据工程noTunes与macOS系统权限如何正确配置应用访问权限noTunes与macOS系统权限如何正确配置应用访问权限 在macOS系统中应用程序权限管理是确保系统安全和隐私保护的重要环节。noTunes作为一款简单桌面应用终极指南Facebook Python SDK权限管理——如何正确处理用户授权的完整教程终极指南Facebook Python SDK权限管理——如何正确处理用户授权的完整教程 Facebook Python SDK是一款强大的工具用于与Fac后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考