Will a third-party LLM gateway see my prompts and my data?
先给一个直接的回答:会的,至少在转发的那一刻会。网关要替你选路和计费,就必须读到请求里的模型名和提示词,否则它没法把请求送到正确的厂商。真正值得追问的不是“会不会看到”,而是“看到之后会怎么处理”:会不会写进日志、留存多久、谁能调阅、会不会拿去训练、以及你能不能验证这些说法。本文把这几个问题拆开讲,帮你判断一家网关在数据这件事上到底可不可信。
网关在技术上必须看到什么?
网关必须看到三样东西才能工作:你要调用的模型名、提示词正文、以及返回结果的去向。路由依赖模型名,计费依赖调用量,转发依赖正文内容。这三样在转发瞬间都是明文经过网关的,这是中间层的结构决定的,不是某家网关的个别做法。任何声称“完全看不到你的提示词”的托管网关,都值得你追问一句:它不看内容,怎么路由、怎么计费、出了问题怎么排查。结构上说不通的承诺,不应该成为信任的依据。反过来,一家网关如果能直说自己在转发瞬间会看到什么、又会在哪些环节主动不记录什么,这种坦白本身就是可信度的信号;遮遮掩掩的说法,反而说明它没有准备好被追问。
看到之后,数据会落到哪里?
看到和留存是两回事,留存才是风险的起点。有的网关只在内存里转发一次,不落盘;有的会把请求写进日志,用于调试、客服和用量统计;还有的会把脱敏后的调用记录保留一段时间,用于改进路由。留存的范围、期限和调阅权限,决定了数据泄露的面有多大。签约之前要问清三点:正文会不会落盘、日志保留多久、哪些人能调阅。写进文档的承诺才算数,口头承诺在出事时没有任何约束力。
日志会不会被拿去训练模型?
这是最常被问、也最容易含糊带过的一点。网关厂商和模型厂商的政策要分开看:网关说不训练,不等于它转发到的模型厂商也不训练;模型厂商说企业级调用不训练,也要看这条政策覆盖的是直连客户还是经网关的调用。核实的办法是分别读两家的政策原文,并且确认你的调用走的是哪一档服务。如果两家的说法对不上,或者网关答不上来它转发到的是哪一档,那就不要把敏感内容放进这个路径。
有哪些办法能减少网关看到的东西?
减少暴露的办法有四种,各有代价。第一是内容侧的自我约束:不把密钥、密码、客户隐私和商业机密写进提示词,这是成本最低的一条。第二是自托管网关:把转发层放在自己的基础设施里,网关厂商就看不到内容了,但运维归你。第三是直连厂商:关键调用绕过网关,敏感路径和普通路径分开走。第四是按密钥分流:实验项目和正式项目用不同的密钥和网关,泄露时只影响一侧。这四种办法可以组合,但没有一种能让托管网关在“看不到”的前提下替你路由。
客服和调试环节会不会扩大可见面?
会的,而且这是最容易被忽略的一环。出了问题报修时,客服为了复现故障,常常会要求你提供完整的请求和返回;调试日志一旦被导出、截图或者贴进工单,可见面就从网关内部扩大到了工单系统和聊天记录。稳妥的做法是报修时先脱敏:把真实的客户信息和密钥替换成占位符,只保留能复现问题的结构。网关侧也要问一句:客服调阅日志需不需要你的授权、调阅记录会不会留痕。没有留痕的调阅权限,等于没有约束的后门。还有一个容易被忽略的环节是工单的留存期限:故障解决了,工单里的脱敏前原始记录会不会跟着工单一直留着。报修流程里最好默认脱敏后提交、并且约定工单关闭后原始记录的清理方式,这样调试环节的可见面才不会无限期扩大。
怎么验证一家网关的数据说法?
验证要分三步走。第一步读文档:关于页、安全说明和隐私政策里有没有写清留存范围、期限和训练政策,写得越具体越可信,含糊其辞本身就是信号。第二步做实测:用不敏感的测试提示词走一遍完整调用,确认返回里有没有多余的改动,再看账单和看板里记了哪些字段。第三步做泄露演练:吊销一把测试密钥,确认旧密钥立刻失效,并且确认看板上的调用记录能不能按密钥拆开。文档、实测、演练三者一致的说法,才值得采信。
哪些内容无论如何不应该走网关?
有几类内容不应该经过任何一家托管网关:客户的个人隐私、合同里限定流向的商业数据、以及你自己都说不清来源合规性的资料。还有一种情况是你的客户合同里写明数据只能发给指定厂商,中间多一家网关就等于违约。这些内容要么直连厂商、要么留在本地处理,网关再方便也不能成为绕过合规的捷径。判断的标准很简单:如果这段内容泄露了你没法向客户交代,那就不要让它经过第三只手。
这篇判断有哪些局限?
本文只讲了数据可见性的判断方法,没有替任何一家网关的政策背书,因为隐私和训练政策会随时间变化,今天读到的版本不能自动延续到下个季度。托管网关的内部实现你看不到,只能通过文档和实测来推断,推断本身就有边界。另外,不同行业和地区的合规要求差别很大,落到具体项目时要以合同和法务意见为准,本文不能代替法务判断。
简而言之,网关会看到,但你可以控制它看到什么?
网关在转发时一定会看到你的提示词,关键是你能不能控制它看到什么、留存什么、以及谁能调阅。控制的办法是四条:内容上不放敏感信息、路径上敏感调用直连或自托管、密钥上按项目分流、报修时先脱敏再提供。把这四条做齐,再用文档、实测和演练三步去验证网关的说法,数据风险就是可管理的;反过来,只要有一条含糊,就先不要把重要内容放进这个路径。
来源与延伸阅读:FreeModel 关于页:它是什么、不是什么、FreeModel、实测免费网关对比、十四家网关公开模型清单实读、网关对比、网关排名指南。