从前年开始,我反复听到这样一句话:
“这个功能很简单。我自己打开 DeepSeek、豆包,把这个问题输进去,它能够很好地回答。为什么到了我们系统里的AI,它就做不好了?”
一开始,这确实是模型能力的问题——开源模型追不上闭源,效果差一大截。
但这两年,这个问题变了。大家不再问模型什么时候够强,而是在问:模型已经够强了,我怎么把它放进自己的网络里?
第一个问题是能力问题,第二个问题是基础设施问题。
能力问题已经有了答案,但基础设施问题目前看来没有捷径。
一、不是模型不行,是数据出不去
医疗、金融、政务这些行业,不是不想用最强的模型,而是用不了。
患者病历不能出医院内网。交易记录不能落到外部服务器。政务文档有数据分级保护。每一类数据都有明确的合规边界,第三方 API 再强也接不进来。
为什么到了院内就做不好了?不是因为模型不够,而是数据出不去,外面的模型也进不来。
这不是某家医院的特殊保守。公开资料里,医疗、金融、政务等行业反复把私有化、本地化部署和几个关键词放在一起:数据安全、隐私保护、业务定制、自主可控。医疗场景更直接,院内数据、权限、审计和等保要求,决定了很多 AI 能力必须先回答一个问题:
能不能安全合规地在院内跑?
所以过去这些行业只能用 7B、14B、32B 这个级别的开源模型。这个级别的模型,能做的事仍然有限:写个摘要、做个简单分类、在单个环节跑一段自动化。
你想让它连续调用工具、读完一份几十页的报告再做决策、跑一个多轮 Agent 工作流?跑不起来。模型太小,理解力不够,工具调用容易出错,上下文一长就丢信息,而且极易产生幻觉。
不是不想做通用 Agent,是做不了。
我在医疗信息化行业待了十年。过去几年,单点能用,整体不成。
二、这次不只是打分好看
最近几个月,从 GLM 5.1 到 Kimi K3、DeepSeek V4,新一代开源模型在公开榜单上表现突出,但它们改变的不止是打分。
开源模型越过够用线后,首先改变的是定价权——闭源模型不能再只卖”更强”,它必须证明自己贵得有道理。但对很多企业来说,变化远不止价格。
它们真正改变的,是开源模型第一次在企业关心的规模上,进入了”可以认真考虑部署”的区间。
以前是”开源能做点小事”。现在变成了”开源可以做我们之前只敢交给闭源 API 的事”。
对很多企业来说,这意味着一个根本性的变化:以前被合规线挡在门外的 Agent 工作流,第一次变成了可落地的项目。
这不是省钱的问题。省钱是锦上添花。真正的改变是:以前不能做的事,现在能做了。
一家医院以前用不了高水平闭源模型来做多科室辅助决策,因为数据出不去。现在如果一个开源大模型能在本地跑起来,那这件事的前提条件就变了。
比如一个院内重点患者筛查、跨科室辅助决策或出院后随访预警类 Agent,就不是简单问答。
它要先读患者画像和预聚合数据,做第一轮候选筛选;再按规则下钻到检验、诊断、病历、用药等原子明细;遇到非结构化病程记录,还要交给 LLM 摘要、比对标准、生成理由;最后把高风险或低置信结果交给人工确认。
这类流程过去最难的不是写 prompt,而是每一步都要在院内系统里跑。数据权限要对,字段口径要对,工具调用要可追踪,审计日志要留得住,人工接管也要闭环。
小模型只能做其中一段。数据不能出内网,外部大模型 API 用不了。开源模型真正解锁的,是整条工作流。
对很多企业来说,真正的对手不是 OpenAI,而是”昨天的自己”——昨天的自己受限于模型能力和合规边界,什么都做不了。
三、模型到位了,但路还没修好
模型能力到了,不等于马上能部署。
企业要把一个大模型跑在自己的机房里,至少需要四样东西同时到位。每一样都在进步,但没有一样已经到位:
硬件。 能跑几百亿参数模型的 GPU 依然贵,而且不是想买就能买——尤其在国内,信创合规还要考虑芯片来源。
部署。 把一个大模型从下载到跑起来、从跑起来到稳定提供服务,中间的工具链在快速进步,但和”开箱即用”之间还有距离。
运维。 大多数企业的 IT 团队,还没管过大模型推理服务。
安全审计。 等保、数据合规、访问控制,每一层都要重新过。这一环往往才是真正卡脖子的——硬件有预算路径,审计没有快车道。
更麻烦的是,这四样东西不能分开看。硬件不够,模型只能降级,工作流会断;部署链不稳,医生和业务人员不敢把关键流程交给它;权限没有接好,模型看不到该看的数据,也可能看到不该看的数据;审计没有闭环,哪怕结果正确,也很难进入正式系统。
企业 AI 不是把一个模型下载到服务器上就结束了。真正的交付,是把模型、数据、工具、权限和人工确认串成一条能被监管、能被运维、能被业务人员信任的链路。
换句话说:方向确定了,但路还在修。
四、路没修好,但先行者已经出发了
两三年前,公司战略技术领导跟我讨论过一个判断:先按当时最好的闭源模型水平做产品设计,不等开源追上来。因为一到两年后,开源模型大概率能达到同等水平。
事实证明,能力确实追上来了,而且用了不到 2 年。但当时没料到的是,硬件和部署成本没跟上——模型是够了,但医院和我们自己都承受不了把它跑在本地的代价。
现在是一个更好的节点。模型能力比当年又强了一个台阶,硬件成本在下降,部署工具链在成熟。虽然没有哪一项已经完美,但整体条件比两年前好了不少。
彼时彼刻,此时此刻。条件变了,但策略没变。
先用当前最经济的方式把 Agent 产品原型搭起来,验证业务流程、打磨工具链、积累领域数据。等硬件和合规条件完全到位,直接切换。
这不是赌博。这是在模型能力确定的前提下,用时间换空间。
等所有条件成熟再动手?那时候先行者已经跑了两年——两年的流程验证、工具链打磨和领域数据积累,不是买一块 GPU 就能追回来的。
五、现在卡住的不是模型了
企业 AI 的瓶颈正在从模型能力转向基础设施成熟速度。
开源模型改变格局的方式,不是在每个 benchmark 上拿第一,而是越过够用线之后,让一批原本被锁在合规线外的企业,第一次看到了自主部署的可能性。过去闭源模型的默认地位,一部分因为能力领先,另一部分因为——反正你也用不了别的。
现在,企业有别的选择了。能力有了,价格有了,方法也有了。
下一步要看的是:硬件、部署和运维这条路,谁先修好。先行者不是在赌路会通,而是在路通之前,先把车造好了。
