Prompt caching với Claude API

from pathlib import Path
 
import anthropic
 
client = anthropic.Anthropic()
RUNBOOK = Path("runbook-bgp.md").read_text()   # tài liệu dài, ít đổi
 
SYSTEM = [
    {"type": "text", "text": "Bạn là trợ lý NOC. Trả lời ngắn, dẫn mục runbook."},
    {
        "type": "text",
        "text": RUNBOOK,
        "cache_control": {"type": "ephemeral"},   # breakpoint: cache tools + toàn bộ system
    },
]
 
 
def ask(question: str) -> str:
    resp = client.messages.create(
        model="claude-sonnet-5-5",
        max_tokens=1024,
        system=SYSTEM,
        messages=[{"role": "user", "content": question}],
    )
    u = resp.usage
    print(f"write={u.cache_creation_input_tokens} read={u.cache_read_input_tokens} "
          f"uncached={u.input_tokens} out={u.output_tokens}")
    return resp.content[0].text
 
 
ask("Peer BGP flap liên tục thì kiểm tra gì trước?")   # lần 1: write > 0
ask("Khi nào được clear bgp soft?")                    # lần 2: read > 0

resp = client.messages.create(model="claude-sonnet-5-5", max_tokens=2048,
                              cache_control={"type": "ephemeral"},
                              system=SYSTEM, tools=TOOLS, messages=messages)

def with_cache_on_last(messages):
    """Gắn cache_control vào block cuối của message cuối, không sửa list gốc."""
    msgs = [dict(m) for m in messages]
    last = msgs[-1]
    content = last["content"]
    if isinstance(content, str):
        content = [{"type": "text", "text": content}]
    content = [dict(b) if isinstance(b, dict) else b.model_dump(exclude_none=True) for b in content]
    content[-1]["cache_control"] = {"type": "ephemeral"}
    last["content"] = content
    return msgs
 
resp = client.messages.create(model="claude-sonnet-5-5", max_tokens=2048,
                              system=SYSTEM, tools=TOOLS,
                              messages=with_cache_on_last(messages))