aihuge2026头像

Agent 工具调用的 token 账单:全量记录 vs 滑动窗口 vs 摘要,实测对比

Agent 跑起来之后,账单往往比报错来得更晚、也更疼。

一次工具调用本身可能只花几分钱,但 Agent 有个习惯:每调一次工具,就把之前全部的对话历史再发一遍。10 轮调用下来,你付的不是 10 次调用的钱,而是 1+2+3+…+10 次历史的钱。更糟的是,调用失败重试一次,重试的那次也要重新带一遍当轮的上下文——失败的成本是双倍的。

今天不讲概念,讲三招真实做法:同一个 10 轮工具调用任务,三种上下文记录策略各跑一遍,对比 token 数和账单。代码全部跑通,数字都是实测的。

一、先说清楚两个前提:token 怎么算,价目怎么定

不先定这两个数,后面的对比没有意义。

token 估算器(写在代码里,不藏着): 中文每 1.5 字约 1 token,其余字符每 4 字符约 1 token。这是估算,不是真实分词器的结果——但同一个估算器量三种策略,对比的结论不受影响。真要精确数字,把 estimate_tokens 换成厂商的 tokenizer 就行,策略排序不会变。

价目(示例价目): 输入 4 元/百万 tokens,输出 16 元/百万 tokens。换任何一家厂商的价目表,只改代码里 PRICE_IN / PRICE_OUT 两个常数,结论不变。

任务设定: 一个 Agent 任务,10 轮工具调用,每轮查一项空气质量指标,工具返回固定长度的结果(约 7 天 AQI 数据 + 防护建议),Agent 每轮回一句短确认。第 3 轮和第 7 轮各失败 1 次、重试 1 次——重试能救瞬时失败,但重试本身也要花钱。

三种策略:

  • A:全量历史——每轮都把之前全部的工具结果和回复再发一遍,最省事的默认做法。
  • B:滑动窗口——只留最近 3 轮, older 的直接丢掉。
  • C:摘要 + 最近 2 轮——每 5 轮做一次固定长度的摘要,只带摘要和最近 2 轮(这正是 11-11 那篇《Agent 记忆怎么做》里摘要压缩的思路,落到账单上)。

二、实测结果:全量历史最贵,摘要最便宜,差一倍

两遍运行,结果完全一致:

策略输入 tokens输出 tokens单任务成本跑 1000 次任务
A 全量历史5693(含重试多花的 866)120¥0.02469¥24.69
B 滑动窗口(3 轮)3311(含重试多花的 568)120¥0.01516¥15.16
C 摘要 + 最近 2 轮2673(含重试多花的 495)120¥0.01261¥12.61

三点结论,都是数字推出来的:

1. 全量历史的账单是线性增长的假象,实际是平方增长。

A 的输入 5693 tokens,是 C 的 2.1 倍。第 1 轮只带几十 tokens,第 10 轮要带前面 9 轮的全部结果——10 轮任务的总输入是 1+2+…+10 的等差数列。任务轮数翻一倍,全量历史的账单差不多翻四倍。C 比 A 省 3020 个输入 tokens(53.0%),1000 次任务省 ¥12.08。任务越长,这个差距越大;10 轮只是个小任务,真实 Agent 动不动几十轮。

2. 重试的成本不在重试本身,在它重新带的那遍上下文。

A 的 5693 个输入 tokens 里,866 个是两次重试多花的,占总输入的 15.2%。重试 1 次不是多花一次工具调用的钱,是把当轮的全部上下文再付费发一遍——轮数越靠后,重试越贵。重试只给瞬时失败,账单上还要加一句:越到后面的轮次,越要先想想这次重试值不值,因为上下文已经很长了。

3. 输出 token 三种策略一模一样,省钱只能从输入下手。

三者输出都是 120 tokens——Agent 每轮的回复长度没变。所以别在“让模型少说两句”上抠,输入才是大头。B 比 A 省 41.8%,只改了一行代码(history 切片从全部改成 [-3:]);C 再进一步,摘要那一步多花一点实现成本,换来 53% 的节省。

三、生产环境的三条落地规则

规则一:先给每次工具调用记账,再谈优化。

记什么:每轮的输入 tokens、输出 tokens、重试次数、单轮成本。四个数,写进日志就行。没有这四个数,你连“哪轮最贵”都不知道,优化就是蒙的。这篇文章的代码就是最小可用的记账模板。

规则二:默认用滑动窗口,任务超过 10 轮再上摘要。

窗口是性价比最高的改动:一行切片,输入省 41.8%、成本省 38.6%。摘要省得更多,但摘要本身要调一次模型(那次调用也要花钱),还要处理摘要丢信息的风险——10 轮以内不值得,轮数长了再上。这和 11-11 那篇的结论是一致的:截断便宜、摘要保真,按长度选。

规则三:重试预算和 token 预算是同一笔钱,分开管会漏。

重试策略定 3 次之前,先算一笔账:第 10 轮重试 1 次,要重发前面 9 轮的上下文。重试次数、上下文长度、单价,三个数乘在一起才是重试的真实成本。重试预算应该按 token 封顶,而不是按次数封顶。

四、完整代码(可直接跑)

"""Agent 工具调用的 token 账单:三种上下文记录策略的成本对比(确定性,可复现)。

估算器说明(写进文章正文,不藏着):
- 中文:每 1.5 字约 1 token;其余字符:每 4 字符约 1 token。
- 这是估算,不是真实分词器的结果;同一估算器量三种策略,对比结论不受影响。
价目说明:输入 4 元/百万 tokens、输出 16 元/百万 tokens,为示例价目;
换任何一家厂商的价目表,只改 PRICE_IN / PRICE_OUT 两个常数,策略排序不变。
"""
import math

PRICE_IN = 4.0    # 元 / 百万输入 tokens(示例价目)
PRICE_OUT = 16.0  # 元 / 百万输出 tokens(示例价目)
ROUNDS = 10
RETRY_ROUNDS = {3, 7}  # 这两轮各失败 1 次,重试 1 次;每次重试都重新带当轮上下文


def estimate_tokens(text):
    zh = sum(1 for ch in text if "\u4e00" <= ch <= "\u9fff")
    rest = len(text) - zh
    return math.ceil(zh / 1.5) + math.ceil(rest / 4)


SYSTEM = "你是一个数据查询助手,只能调用工具回答问题,不要编造数字。"
TASK = "查一下最近 7 天北京的空气质量变化,并给出三条防护建议。"
TOOL_RESULT = (
    "工具返回:2026-11-10 北京 AQI 82 良,PM2.5 浓度 58 微克每立方米;"
    "11-11 AQI 96 良,PM2.5 浓度 71;11-12 AQI 134 轻度污染,PM2.5 浓度 98;"
    "11-13 AQI 88 良,PM2.5 浓度 61;11-14 AQI 76 良,PM2.5 浓度 52;"
    "11-15 AQI 103 轻度污染,PM2.5 浓度 78;11-16 AQI 91 良,PM2.5 浓度 66。"
    "建议:污染日减少户外运动,佩戴口罩,室内通风避开早晚高峰。"
)
AGENT_REPLY = "已记录当日数据,继续查询下一项指标。"
SUMMARY = "摘要:已查 5 日空气质量,AQI 在 76 至 134 之间波动,11-12 最差为轻度污染;建议已整理两条。"


def run(strategy):
    history = []  # 每轮 (tool_result, agent_reply)
    total_in = total_out = retry_extra_in = 0
    for r in range(1, ROUNDS + 1):
        if strategy == "A":  # 全量历史,每轮都带上
            ctx = "".join(t + a for t, a in history)
        elif strategy == "B":  # 滑动窗口,只留最近 3 轮
            ctx = "".join(t + a for t, a in history[-3:])
        else:  # C:每 5 轮摘要一次 + 最近 2 轮
            ctx = "".join(t + a for t, a in history[-2:])
            if r > 5:
                ctx = SUMMARY + ctx
        prompt = SYSTEM + TASK + ctx
        prompt_tokens = estimate_tokens(prompt)
        total_in += prompt_tokens
        total_out += estimate_tokens(AGENT_REPLY)
        if r in RETRY_ROUNDS:  # 重试 1 次:当轮上下文原样再发一遍
            retry_extra_in += prompt_tokens
        history.append((TOOL_RESULT, AGENT_REPLY))
    total_in += retry_extra_in
    cost = total_in / 1_000_000 * PRICE_IN + total_out / 1_000_000 * PRICE_OUT
    return {
        "in": total_in, "out": total_out, "retry_in": retry_extra_in,
        "cost": cost, "cost_1000": cost * 1000,
    }


if __name__ == "__main__":
    print(f"单任务 {ROUNDS} 轮工具调用;第 {sorted(RETRY_ROUNDS)} 轮各重试 1 次")
    print(f"估算器:中文 1.5 字/token,其余 4 字符/token;价目:输入 {PRICE_IN} 元/百万,输出 {PRICE_OUT} 元/百万")
    names = {"A": "A 全量历史", "B": "B 滑动窗口(3轮)", "C": "C 摘要+最近2轮"}
    results = {}
    for s in "ABC":
        r = run(s)
        results[s] = r
        print(f"{names[s]}:输入 {r['in']} tokens(含重试多花的 {r['retry_in']}),"
              f"输出 {r['out']} tokens,单任务 ¥{r['cost']:.5f},"
              f"跑 1000 次任务 ¥{r['cost_1000']:.2f}")
    a, c = results["A"], results["C"]
    print(f"C 比 A 省输入 tokens:{a['in'] - c['in']}({(1 - c['in'] / a['in']) * 100:.1f}%),"
          f"1000 次任务省 ¥{a['cost_1000'] - c['cost_1000']:.2f}")
    print(f"重试多花的输入 tokens 占 A 总输入的 {a['retry_in'] / a['in'] * 100:.1f}%")

运行结果(两遍一致):

单任务 10 轮工具调用;第 [3, 7] 轮各重试 1 次
估算器:中文 1.5 字/token,其余 4 字符/token;价目:输入 4.0 元/百万,输出 16.0 元/百万
A 全量历史:输入 5693 tokens(含重试多花的 866),输出 120 tokens,单任务 ¥0.02469,跑 1000 次任务 ¥24.69
B 滑动窗口(3轮):输入 3311 tokens(含重试多花的 568),输出 120 tokens,单任务 ¥0.01516,跑 1000 次任务 ¥15.16
C 摘要+最近2轮:输入 2673 tokens(含重试多花的 495),输出 120 tokens,单任务 ¥0.01261,跑 1000 次任务 ¥12.61
C 比 A 省输入 tokens:3020(53.0%),1000 次任务省 ¥12.08
重试多花的输入 tokens 占 A 总输入的 15.2%

五、下一篇预告

账单能记了,下一个真问题是:Agent 调用的工具越来越多,工具描述本身也在吃 token。下一篇写工具 schema 怎么瘦身——同一个工具,描述写长写短,账单差多少。


系列:大模型应用落地 RAG / Agent / MCP 实战。上一篇《Agent 记忆怎么做:对话历史截断 vs 摘要压缩,实测对比》已发。demo 代码:csdn-2026-11-17-token-cost-demo.py(纯标准库,离线可跑)。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/aihuge2026/article/details/170892479

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--