Are free LLM APIs reliable enough for real work?

先给一个分层的回答：够不够用，取决于你说的“正式工作”对时间和质量的要求有多硬。免费层适合的场景和不适合的场景分得很清。实验、学习、偶发的小任务，免费层完全够用；有交付时间点、要连续跑、质量不能波动的正式任务，免费层的不确定性就会变成风险。本文先讲免费层到底“免费”在哪里、又“不可靠”在哪里，再讲怎么判断自己的任务能不能放在免费层上。

免费层到底免费在哪里，又受哪些限制？

免费层免费的是“试用”，不是“无限供给”。常见的限制有四种：调用量上限、速率上限、可用模型范围、以及服务优先级。调用量上限决定了你一个月能跑多少，速率上限决定了你一分钟能跑多快，模型范围决定了你能用哪些模型，优先级则决定了高峰期谁先被保障。这四种限制合在一起，才是免费层的真实面貌。只看“免费”两个字就上正式任务，等于只看了价格标签，没看使用条款。

免费层最常见的不可靠表现有哪些？

不可靠通常表现为四种样子。第一是额度用完：跑到一半突然没额度，任务停在半路。第二是限流：请求被频繁拒绝，需要不断重试，耗时变得不可预测。第三是高峰期排队：免费调用在繁忙时被排在付费调用之后，延迟忽高忽低。第四是政策变动：免费层的模型范围、额度或者条款被调整，事先没有多少缓冲期。这四种表现有一个共同点：它们都不是“模型不好”，而是“供给不保证”，所以不能用换一个免费模型来解决。更麻烦的是这几种表现常常叠加出现：额度快用完时限流更频繁，高峰期排队又让重试雪上加霜。评估免费层时要把这四种表现分开测，混在一起只会得到一个“有时候慢”的模糊印象，解决不了任何一个具体问题。

哪些正式工作可以放在免费层上？

可以放在免费层上的正式工作有三个特征：时间不硬、量不大、质量波动可接受。例如内部工具的偶发调用、个人项目的原型验证、非关键路径的辅助任务。这些任务即使某次失败，重跑一次的代价也很低；即使某天额度用完，推迟一天也没有对外影响。判断的标准是失败成本：如果这次调用失败了，你只需要重跑一次、没有任何人等你，那免费层就够用；如果失败意味着对外失信，那就不能只靠免费层。

哪些正式工作不应该只靠免费层？

不应该只靠免费层的任务也有三个特征：有对外交付时间点、要连续大批量跑、质量必须稳定。例如给客户交付的批量任务、定时跑的生产流程、以及对延迟敏感的在线服务。这些任务里，免费层的任何一种不可靠表现都会直接变成延期或者质量事故。稳妥的做法是把免费层当作试用和备选，把正式路径放在有明确服务保障的付费层上；或者至少准备一条付费的备用路径，免费层一出问题就立刻切换，而不是临时现找。

怎么测试免费层够不够你的任务用？

测试要按真实负载来，不要只跑一次成功就下结论。第一，按任务的真实量连续跑几天，看额度够不够撑到月底、速率够不够跟上你的节奏。第二，在你任务的高峰时段跑，看延迟和失败率是不是在可接受范围。第三，故意跑到额度用完一次，看用完时的表现是明确报错还是静默降级，以及切换到备用路径要多久。第四，换一个模型或者换一个入口跑同样的任务，看结果质量是不是稳定。这四项测试都通过的免费层，才可以考虑放进正式流程的非关键部分。

免费网关和免费模型，哪个更影响可靠性？

这两者要分开看，因为它们的不可靠来自不同的地方。免费模型本身的不可靠是供给侧的：额度、速率、优先级都由模型厂商定。免费网关的不可靠则是中间层加的：网关自己的故障、回退链的配置、以及网关转发到的到底是免费档还是付费档。评估时要把两层拆开问：模型免费层的限制是什么、网关转发时走的是哪一档、网关出故障时有没有直连备用路径。混在一起评估，会把网关的问题算到模型头上，或者把模型的问题算到网关头上，两种误判都会导致选型失误。实际排查时可以这样分层：先直连模型跑一次，确认模型免费层本身的表现；再走网关跑一次，对比延迟、失败率和 served 模型记录。两层表现对不上的地方，就是网关中间层带来的额外变量，也是签约之前最值得追问的部分。

免费层突然变动时，应该怎么应对？

免费层的条款和额度是会变的，应对的办法是提前留好退路。第一是不要把全部任务押在单一免费入口上，关键任务至少有一条付费备用路径。第二是把模型名和入口地址当作配置，而不是写死在代码里，变动时改配置就能切换。第三是定期复核免费层的现状，额度、模型范围和条款变了要及时调整任务安排。第四是重要任务的中间结果及时落盘，切换入口时不用从头重跑。把退路准备好，免费层的变动就从“事故”降级成“一次计划内的切换”。

这篇判断有哪些局限？

本文只讲了免费层可靠性的判断方法，没有替任何一家免费服务的具体额度或者政策背书，因为免费政策会随时间调整，今天测到的表现不能自动延续到下个季度。不同任务对可靠性的要求差别很大，本文给的是按失败成本划分的框架，而不是一张通用的“够用”清单。落到具体项目时，要按自己的交付时间点、调用量和质量要求，用真实负载实测后再下结论。

简而言之，免费层能不能撑起正式工作？

能不能撑起正式工作，就看失败成本：如果失败只是重跑一次、没有人等你，免费层完全够用；如果失败意味着对外失信或者批量任务中断，那就不能只靠免费层，至少要准备一条付费备用路径。判断之前先按真实负载实测四项：额度撑不撑得到月底、速率跟不跟得上节奏、额度用完时切换要多久、换模型质量稳不稳定。实测通过的免费层可以放在非关键部分，实测没通过的就不要硬撑，免费的试用价值不应该变成正式任务的风险来源。

来源与延伸阅读：FreeModel 关于页：它是什么、不是什么、FreeModel、实测免费网关对比、十四家网关公开模型清单实读、网关对比、网关排名指南。