在数字时代，图形用户界面（Graphical User Interface，GUI）作为一项颠覆性创新，极大简化了人机交互的复杂性。自简单图标、按钮，到复杂的多应用工作流程，GUI为用户提供了直观而友好的体验。然而，随着自动化和智能化的不断进步，传统的GUI操作方式却面临不少挑战，尤其是在动态和高度复杂的现代应用环境中。自动化的脚本化方法和规则驱动方法在特定场景中仍有其价值，但其局限性随着技术的进 ...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本论文的主要作者 Chaoyun ...

OpenAI于2025年1月24日发布了其首款AI智能体Operator，这是一款能够在浏览器上执行简单在线任务的网络应用，如预订音乐会门票、在线订购杂货等。 Operator由基于GPT-4o构建的新模型Computer-Using Agent（CUA）提供支持，目前仅对注册ChatGPT Pro（每月200美元高级服务）的美国用户开放，未来计划向其他用户推出。

CogAgent 的核心是利用 VLM 来解释 GUI 组件及其功能。通过处理视觉布局和语义信息，它可以精确可靠地执行按钮单击、文本输入和菜单导航等任务。