微软发布开源OmniParser V2.0，秒变操控电脑AI智能体

微软推出的OmniParser V2.0是一个新型的解析工具，其主要功能是将用户界面（UI）截图转换为结构化数据。这一工具的目的是提升基于大型语言模型（LLM）的用户操作体验，使AI模型能够更好地理解和操作用户界面。OmniParser V2.0通过对数据集和算法进行改进，显著提高了图标识别的准确性和处理速度，从而提升了用户在操作虚拟机时的效率。

OmniParser V2.0的主要特点

• 高精度识别：OmniParser V2.0在检测较小的可交互UI元素时，准确率显著提高。在高分辨率Agent基准测试ScreenSpot Pro中，V2.0与GPT-4o的结合准确率达到了39.6%，而GPT-4o单独使用时准确率仅为0.8%。
• 快速处理：与上一代产品相比，OmniParser V2.0的推理延迟降低了60%，在高配置GPU（如A100和4090型号）上的平均处理时间分别仅为0.6秒和0.8秒。
• 多平台支持：支持来自Windows、移动设备和Web应用等多个平台的屏幕截图。
• 与LLM无缝集成：通过统一的OmniTool接口，OmniParser V2.0可与OpenAI的GPT-4o、DeepSeek R1、Qwen 2.5VL和Anthropic Sonnet等多种AI模型集成。

OmniParser V2.0的应用场景

• 办公自动化：OmniParser V2.0可以将AI模型转化为能够操控计算机的智能体，从而实现自动化办公，提高工作效率。
• 智能辅助工具：通过将屏幕截图转化为结构化数据，OmniParser V2.0可以帮助创建智能辅助工具，提升用户与计算机的交互体验。
• 游戏自动化：在游戏领域，OmniParser V2.0可以用于自动化游戏操作，提升游戏体验。

OmniParser V2.0的性能提升

• 数据集扩展：OmniParser V2.0的交互元素检测数据集规模较前代扩大了3倍，图标功能描述数据量提升了5倍。
• 算法优化：通过压缩输入图像分辨率，OmniParser V2.0的推理延迟降低了60%，显著提高了处理速度。
• 多模态支持：OmniParser V2.0支持多模态输入，包括图像、文本和语音等，进一步提升了模型的适用性和灵活性。

地址：https://huggingface.co/microsoft/OmniParser-v2.0