【新智元导读】多模态模子代码写得像老司机，却在数手指、量柱子时频频翻车？UniPat AI用五百行代码打造的SWE-Vision，让模子「掏出Python尺子」自我考证，一举拿下五大视觉研究基准SOTA。

模态大模子在代码才略上稀奇惊东说念主，但在基础视觉任务上却时常不实。

UniPat AI构建了一个极简的视觉智能体框架——SWE-Vision，让模子可以编写并扩充Python代码来处理和考证我方的视觉判断。

在五个主流视觉基准测试中，SWE-Vision均达到了现时最优水平。

模子看得见，却没法精准处理

在曩昔一年，多模态大模子的代码才略得到了惊东说念主进展——寥落搭建神色、排查bug、完成复杂重构，进展已可并排资深工程师。

可是，在「连结视觉寰球」这件事上，它们的进展远莫得代码才略那样可靠。

UniPat AI此前发布的多模态基准BabyVision就揭示了这一自傲：模子频频给出大段看似合理的推理，却在最基础的计量、计数和空间关系判断上出错。

UniPat AI此前发布的多模态连结benchmark BabyVision已被多个近期发布的重磅模子居品纳入评测体系，并在其本领证明中被援用，体现了社区对这一问题的泛泛蔼然。

当咱们仔细注视BabyVision中模子出错的案例时，可以发现一个重要点：问题经常是「模子看见了，却无法精准处理」：

阅读柱状图时，模子能感知到「约莫75%」，但无法精准计较比值；

在复杂场景入网数时，模子可能识别了每一个物体，但在一一盘点时出错；

形容空间位置时，模子能给出定性判断，但难以解析进行距离计较和几何推理。

濒临这些漏洞，东说念主类普通会若何作念？

掏出器具：画援救线、作出记号、用尺测量、用笔计较。

这个不雅察激励了一个重要算计：既然模子一经极其擅长编程，能否让它用代码——这个它最闇练的器具——来弥补视觉处理中的精度短板？

SWE-Vision恰是对这一算计的系统性考证。

其成果令东说念主顾惜：在五个不同的视觉基准测试中——涵盖基础感知、图表推理、数常识题惩办、空间连结和复杂的多神态视觉挑战——SWE-Vision恒久考订了前沿LLM，如GPT-5.2-xhigh和Seed-2.0-Pro，并得到了起初进的成果：

在BabyVision上达到64.4，

在MathVision上达到94.0，

在Zero-Bench-Sub上达到50.1，

在OmniSpatial上达到69.0，

在CharXiv-RQ上达到82.5。

SWE-Vision是什么

一个「极简视觉智能体」

SWE-Vision并不需要再造一堆专用视觉器具，而是把要作念的事压缩到极简：

器具层：只保留两个器具

config.py里界说的器具惟一两个：execute_code和finish。

execute_code：让模子在一个可不时保留现象的Jupyter环境里扩充Python

finish：当模子信赖谜底正确时输出最终谜底

这里最重要的不是「能扩充代码」，而是器具接口自己相配小、相配通用。SWE-Vision莫得给模子塞一堆专用视觉API，UEDBETapp注册而是只显露一个模子正本就很闇练的动作：写Python。

摈弃层：一个模范的agentic loop

agent.py里的VLMToolCallAgent杀青了完好的轮回：

先把用户问题和图片组织成音讯；

然后调用营救tool use的聊天接口；

若是模子发起execute_code，就把代码送到notebook内核扩充；

再把扩充成果行动tool message回流给模子；

模子据此决定连接调用器具照旧finish。

repo里默许tool_choice="auto"，并营救reasoning模式；在开启时会把推理effort设为高等，并允许最多100轮迭代。

扩充层：Docker里的耐久化Jupyter kernel

kernel.py不是精炼exec一段代码，而是庄重启动一个Docker容器，再在容器里拉起ipykernel。宿主侧通过jupyter_client.BlockingKernelClient连结这个内核，并从IOPub/shell通说念齐集扩充成果。

内核是耐久化的，变量、导入、图像对象和中间成果皆能跨屡次execute_code保留；同期代码启动在终止的Docker环境里，宿主与容器通过挂载目次交换文献。

kernel.py还会在启动后作念health check，并把matplotlib后端树立成inline，以便握取图像输出。

精炼来说，SWE-Vision不免强模子每题皆写代码，但给它一个随时可用何况闇练的「视觉器具库」。

央求到底若何流动

从看图推理到带图轮回考证

SWE-Vision像一个会看图的数据科学家，其完好职责流如下：

用户给问题+图片

模子先念念考：这题能不成径直答？需不需要计较/考证？

需要就调用execute_code：在Notebook里用PIL/NumPy/matplotlib等作念分析

代码输出（数值/报错/可视化图）回流给模子

模子连接迭代，直到调用finish给最终谜底

它有几个重要诡计：

有现象的扩充环境：变量、导入、图片加载皆能跨屡次调用保留

Docker沙箱：确保可控安全环境+复现性；

Image-in/Image-out：意味着模子不仅能读取输入图像，还能将我方生成的可视化成果回传给自身进行考证——这是杀青自我纠错的重要；

OpenAI function calling模范接口：保证了与主流模子的开箱即用兼容性。

这套诡计的价值在于：允许模子像一个委果的科学家相通，先作念实践再下论断。

为何stateful notebook比一次性code executor更重要？

好多东说念主第一次看SWE-Vision会以为，米兰app官网它不外是在VLM外面加了个Python器具。

委果的永诀其实在于stateful。

在SWE-Vision中，内核现象会在屡次调用间保留。

这意味着模子可以像东说念主类分析师那样分步职责：

第一轮先读图、查验尺寸；

第二轮编著局部、看旯旮；

第三轮统计表情或测距离；

第四轮画援救线作念证据；

临了再生成谜底。

若是代码扩充是无现象的，这种多步分析会相配繁重：每一步皆要从头导入库、重载图片、重建变量，模子也更难贵重中间假定。

SWE-Vision通过耐久化kernel，把「多轮器具调用」变成了「归并个notebook会话里的连气儿实践」。

从工程杀青上看，这亦然它为什么能处理图表测量、空间关系和复杂多步视觉任务，而不仅仅作念一次性的OCR或检测。

SWE-Vision的重要

在于「能考证我方的视觉判断」

在SWE-Vision「不雅察科学图表、细致规章」的案例中，咱们看到了一种毫不调换的步履模式。

如下图所示，这是科研场景中常见的图表分析任务：咱们条款模子判断，在Quarters=15时，哪一张子图中红色虚线与玄色实线之间的差距最大。

SWE-Vision智能体给出了一套极其严谨且可讲明的解法。

最初，它摒除了不存在红色虚线的子图（d）；

随后，对每一张候选子图在Quarters=15处精准绘图援救线，定位红线与黑线的交点；

接着，通过可扩充代码精准计较两条弧线在该位置的数值差距；

最终基于计较成果给出正确谜底。

这种「先结构化分析、再轨范化测量、临了数值考证」的念念维与步履闭环，与传统视觉谈话模子依赖直观式「怒目不雅察」径直给出谜底的方法造成显著对比。

它不仅显耀提高了成果的可靠性与可讲明性，也展示出更高的才略上限与更强的泛化后劲。

为什么极简诡计反而更强

SWE-Vision的一个要紧论断是：对视觉任务而言，加入通用代码器具，是提高前沿多模态模子视觉才略的一个灵验test-time scaling标的。

它之是以灵验，正值在于其极简：

器具数目少，决策界限明晰；

器具语义与模子已有才略高度一致；

营救多轮迭代和现象蕴蓄；

中间成果可被再次不雅察，而不是一次性复返文本；

不绑定某个特定benchmark的专用手工战略。

这与好多「为了某类视觉任务单独发明一套器具接口」的步履不同。

这些步履经常在某些窄任务上能提高，但泛化性不及。而SWE-Vision的筹商，是提供一个尽可能通用的视觉增强框架，让模子我方决定何时调用代码、如何组织分析神态。

五大基准全线提高

愈加通用的「视觉才略增强器」

SWE-Vision在五个袒护面很广的视觉基准上进行了评测（基础感知、图表、数学、空间、空洞多步推理），中枢发现高度一致：引入代码扩充才略，能系统性地抬升前沿模子的视觉进展上限。

在对比实践中（归并模子vsSWE-Vision），SWE-Vision对两个前沿的视觉谈话模子（GPT-5.2，Seed-2.0）皆带来显耀提高：

「反直观」的少许是：提高幅度最大的，经常不是最复杂的高阶推理任务，而是最基础的感知和精准处理才略——举例BabyVision中的计数、表情识别和空间关系判断。

这类任务东说念主类靠直观加精炼器具就能解析完成，而模子仅凭「谈话化视觉」则极易忽略细节、数错个数、枯竭考证妙技。

SWE-Vision的成果也给咱们揭示了另一种可能：

关于视觉来说，测试时膨大（test-time scaling，TTS）不一定只可靠「多想几段翰墨」，也可以靠「多写几行代码」来看得更良好。

改日，「代码增强视觉」成视觉智能体原生才略

与用于西宾多模态LLMs的传统数据（基本上是问题，图片，谜底三元组）不同，西宾视觉智能体模子需要多模态交错的智能体轨迹。

它还需要一个交互式环境来营救强化学习、器具使用和评估，使模子不仅能学习回应问题，还能学习感知、步履和反念念，要澈底开释「器具增强视觉」的后劲，模子需要更多深度交汇的视觉-编程SFT/RL数据与环境，来学会感知、步履和反念念。

具体而言，下一步的重要标的包括：

判断时机：学会识别何时视觉推理需要代码援救，何时可以径直回应

中间考证：在多步推理经由中主动考试中间成果的正确性

失败规复：在代码决策无效时实时跳出，切换到替代战略

原生交融：让「不雅察」与「计较」不再是两个寥落神态，而是深度交融，一体两面

SWE-Vision的开源代码已在GitHub发布。编程援救的精准视觉连结是一个值得社区共同探索的标的——五百行代码的极简框架米兰app官网，也许是这段旅程一个可以的起初。

• 几件
• 米兰app官网
• 开源
• 框架
• 500行