想象一下：你对 AI 说「帮我订明天北京到上海的机票，要最便宜的」，它就自动打开浏览器、搜索、比较、下单——整个过程不需要你碰一下鼠标。这不再是科幻，字节跳动已经把它做出来了。UI-TARS Desktop 是一款开源的多模态 AI Agent 桌面应用，GitHub 已斩获 33.4K+ star，它能让 AI 通过视觉理解 + 自然语言，像真人一样操控你的电脑。

项目首页

01 它是什么？

UI-TARS Desktop 是字节跳动开源的多模态 AI Agent 解决方案之一（另一款是 Agent TARS 终端版）。它基于自研的 UI-TARS 视觉语言模型构建，是一个真正能「看见屏幕、理解界面、执行操作」的智能助手。

与其竞品（如 Anthropic 的 Computer Use）相比，UI-TARS Desktop 的核心差异在于：

  • 本地 + 远程双模式：
    不仅能在本地电脑上运行，还支持远程控制任意电脑或浏览器，零配置即可使用
  • 跨平台原生：
    支持 Windows、macOS、浏览器，真正的多端统一体验
  • 模型能力开放：
    基于 Hugging Face 开源的 UI-TARS-1.5 系列模型，开发者可自由集成

02 核心原理/亮点

UI-TARS Desktop 的实现依赖于几个关键能力：

  • 视觉感知 + DOM 解析：
    AI 能同时理解屏幕截图的视觉信息网页 DOM 结构，实现精准定位
  • 多模型驱动：
    默认支持 Seed-1.5-VL/1.6 系列，也可接入本地模型或云端 API
  • MCP 协议集成：
    内置 MCP Server 支持，可扩展连接各类工具和服务


核心亮点：

  • 精确控制：
    不仅能点击，还能执行复杂的组合操作（如快捷键、拖拽）
  • 实时反馈：
    操作过程实时展示，状态一目了然
  • 隐私安全：
    本地模式完全离线处理，数据不出本地

03 应用场景

场景
说明
自动化办公
自动完成邮件撰写、日程管理、文档处理等重复性任务
网页数据采集
一句话让 AI 抓取指定网站的商品信息、新闻资讯
软件配置助手
「帮我把 VS Code 的自动保存开启，延迟 500ms」，AI 自动搞定
远程技术支持
分享远程 Operator 链接，对方无需安装即可让你控制他的电脑

▶️ 观看演示视频（https://github.com/bytedance/UI-TARS-desktop）

04 快速上手

远程模式（开箱即用）

无需安装配置，直接使用远程 Operator：

#1. 下载最新 release
#2. 选择 Remote Operator，粘贴目标电脑地址
#3. 输入自然语言指令，如「帮我打开 Chrome 并搜索 AI 新闻」

本地模式（需要模型）

#克隆仓库
git clone https://github.com/bytedance/UI-TARS-desktop.git

#安装依赖
cd UI-TARS-desktop
npm install

#启动应用（确保本地有 UI-TARS 模型权重）
npm run dev

详细配置可参考 官方快速开始文档（https://github.com/bytedance/UI-TARS-desktop/blob/main/docs/quick-start.md）。

写在最后

UI-TARS Desktop 代表了一种新趋势：AI 不再只是聊天，而是真正能替你「动手干活」。33.4K star 的社区认可证明了这条路线的可行性。

无论你是想自动化日常任务，还是构建下一代 AI 应用，这个开源项目都值得一试。

Star History

相关链接

  • GitHub 仓库（https://github.com/bytedance/UI-TARS-desktop）
  • 官网（https://agent-tars.com）
  • UI-TARS 论文（https://arxiv.org/abs/2501.12326）
  • Hugging Face 模型（https://huggingface.co/ByteDance-Seed/UI-TARS-1.5-7B）
  • Discord 社区（https://discord.gg/pTXwYVjfcs）