Vercel Labs leva o agent-desktop à versão 1.0: agentes operam apps nativos pela árvore de acessibilidade
Publicado na edição nº 2 do Noticiário do Joãozinho ·
A ferramenta open source (Apache-2.0), escrita em Rust, chegou à versão 1.0 em 28/10 e à 1.0.2 em 30/10. Ela lê a árvore de acessibilidade do macOS, do Windows e do Linux e devolve um JSON com uma referência para cada elemento em que o agente pode agir; o agente age sobre essa referência e tira um novo retrato da tela para conferir, sem comparar pixels. O ciclo de decisão fica no agente que a chama.
Por que isso importa Uso de computador por agentes ainda falha muito com capturas de tela. Ler a estrutura real da interface tende a ser mais confiável e barato, e serve para qualquer agente, inclusive os rodando localmente.
Fonte original: GitHub (Vercel Labs) — https://github.com/vercel-labs/agent-desktop