MIT Technology Review Insights在一篇赞助内容中指出，公共部门正面临加快采用AI的压力，但政府机构在安全、治理和运维上的约束，与企业环境明显不同。在这种条件下，面向特定任务的小型语言模型，可能比大模型更适合真正落地。
文章援引Capgemini研究称，全球79%的公共部门高管担心AI带来的数据安全问题。由于政府数据通常更敏感、监管要求更严格，机构往往无法接受把核心信息大量送到外部网络或云端的常规做法。
除了数据控制，基础设施也是现实瓶颈。政府机构往往不像大型企业那样习惯采购和管理GPU资源，因此在训练或运行复杂模型时更容易受限。网络环境有限、离线或低连接状态下运行系统的需求，也进一步增加了部署难度。
为什么小模型更适合公共部门
文章认为，大模型在很多公共部门场景中并不现实，而可以本地部署的小型语言模型更容易满足安全与控制要求。这类模型通常只使用数十亿级参数，而不是数千亿级参数，计算需求显著更低，同时更方便在受限环境中运行。
作者还指出，公共部门不必执着于构建越来越大的通用模型。经验研究显示，小模型在特定任务上可以达到甚至超过大模型的效果。只要把数据安全地保存在模型外，并通过检索、向量搜索和可验证来源等方法把最相关的信息接入系统，就能构建更贴合政府需求的AI应用。
文章最后提出，公共部门AI的下一阶段，可能不是把数据送去云端，而是把AI工具带到数据所在的位置。按照Gartner的预测，到2027年，小型专用模型的使用量将达到大模型的三倍，这种趋势也可能成为政府机构从试点走向运营化的关键。
