agent-desktop dari Vercel Labs: CLI agar agen AI bisa mengendalikan komputer

Agen AI yang bisa mengklik tombol dan mengisi formulir di aplikasi desktop biasanya mengandalkan tangkapan layar. Repositori vercel-labs/agent-desktop memakai cara lain. Per 4 November 2026, repo ini memiliki sekitar 12,6 ribu bintang di GitHub dan menjadi salah satu yang naik paling cepat di daftar trending harian, dengan tambahan sekitar 3,8 ribu bintang dalam sehari.

Apa fungsinya

Agent-desktop adalah antarmuka baris perintah (CLI) sekaligus pustaka C untuk “computer use” oleh agen AI. Alat ini membaca aplikasi lewat pohon aksesibilitas bawaan sistem operasi, yaitu fitur yang biasanya dipakai pembaca layar, bukan lewat pencocokan piksel. Hasilnya berupa JSON berisi daftar elemen antarmuka, dan tiap elemen yang bisa dioperasikan mendapat rujukan (ref).

Alurnya sederhana: agen mengambil snapshot, bertindak pada sebuah ref, membaca ulang tampilan untuk memastikan hasilnya, lalu mengulang. Alat ini sendiri tidak berisi model AI; perulangan itu dijalankan oleh agen Anda. Menurut README, ada sekitar 56 perintah, mencakup membaca tampilan, klik, papan ketik dan mouse, jendela aplikasi, notifikasi, papan klip, dan sesi. Secara bawaan aksi berjalan tanpa menggerakkan kursor atau memindahkan fokus. Kalau target sudah usang atau ambigu, alat mengembalikan galat sehingga agen perlu mengambil snapshot baru.

Untuk siapa dan cara mulai

Cocok bagi pengembang yang membangun agen otomasi atau ingin menguji aplikasi desktop secara otomatis. Platform yang didukung adalah macOS 13 ke atas, Windows 10 versi 1809 ke atas, dan Ubuntu 24.04 ke atas (X11 atau Wayland).

Pemasangan lewat npm:

npm install -g agent-desktop
agent-desktop status
agent-desktop snapshot --app Finder -i
agent-desktop click @<ref-dari-snapshot>

Di macOS, perintah agent-desktop permissions --guide memandu pemberian izin Accessibility. Lisensinya Apache-2.0. Repo ini berlabel Vercel Labs, jadi sebaiknya dianggap eksperimental. README juga memperingatkan bahwa snapshot, isi papan klip, dan tangkapan layar bisa memuat data pribadi di desktop, sehingga jangan masuk ke log atau unggahan publik.

Artinya bagi pemilik rumah di Jabodetabek

Alat ini ditujukan bagi pengembang, bukan pembeli rumah. Namun bagi arsitek, kontraktor, dan developer yang masih mengerjakan banyak hal manual di aplikasi desktop, misalnya memindahkan data antar aplikasi gambar, spreadsheet, dan pelaporan, agen seperti ini menunjukkan arah otomasi yang mulai realistis. Kami belum menguji alatnya sendiri; uraian di atas bersumber dari README repo.

Kehati-hatiannya jelas: agen yang mengendalikan komputer bisa melihat dokumen kontrak, gambar kerja, dan data klien. Jalankan di mesin terpisah atau akun khusus, batasi izin, dan baca kode sebelum memasangnya. Untuk pemakaian AI lain yang lebih membumi di proyek, lihat laporan kami tentang Procore AI Go.