一个98%缓存命中率的账单,把开发者整不会了。 有团队在Codex运行中取得了98%的缓存命中率,处理超过700万输入词元,原本能跑5小时的配额却在短时间内被烧光。 问题不在缓存本身。GPT-6 Astra输出单价高达每百万Token 50美元,高频轮询的累加效应轻松吞掉缓存省下的差价。省的
一个98%缓存命中率的账单,把开发者整不会了。
有团队在Codex运行中取得了98%的缓存命中率,处理超过700万输入词元,原本能跑5小时的配额却在短时间内被烧光。
问题不在缓存本身。GPT-6 Astra输出单价高达每百万Token 50美元,高频轮询的累加效应轻松吞掉缓存省下的差价。省的