Kimi开放平台“上下文缓存”公测启动

      备受瞩目的AI技术提供商月之暗面正式宣布，其Kimi开放平台的核心功能“上下文缓存”（Context Caching）正式开启公测。这一创新技术的推出，标志着AI大模型在应对长文本处理和频繁请求场景时，将迎来一次性能与成本效率的双重飞跃。

      据官方介绍，上下文缓存技术通过预先存储可能被频繁请求的大量数据或信息，极大地缩短了模型处理时间，降低了运算成本。在保持现有API价格不变的前提下，该技术能够为开发者带来最高90%的长文本旗舰大模型使用成本降低，并显著提升了模型的响应速度，首Token延迟降低幅度高达83%。

      1.技术亮点与适用场景：

      预设内容丰富的QA Bot：如Kimi API小助手，能够快速响应用户提问，提供精准答案。

      固定文档集合的频繁查询：如上市公司信息披露问答工具，确保信息快速准确获取。

      静态代码库或知识库的周期性分析：各类Copilot Agent能更高效地进行代码审查和知识检索。

      瞬时流量巨大的AI应用：如哄哄模拟器、LLM Riddles等爆款应用，确保在高并发下依然流畅运行。

      交互规则复杂的Agent类应用：提升用户体验，减少等待时间。

      2.计费模式详解：

      为了平衡技术成本与用户体验，月之暗面为上下文缓存功能设计了详尽的计费模式，主要包括三个部分：

      Cache创建费用：成功创建Cache后，按Cache中的Tokens实际量计费，费用为24元/M token。

      Cache存储费用：在Cache存活期间，按分钟收取存储费用，费用为10元/M token/分钟。

      Cache调用费用：分为增量token收费和调用次数收费两部分。增量token按模型原价计费，而调用次数则在Cache存活时间内，用户通过chat接口请求已创建的Cache，若匹配成功，则按0.02元/次收费。

      3.公测安排与资格：

      本次公测为期3个月，自功能上线之日起开始。公测期间，Context Caching功能将优先开放给Tier5等级用户，其他用户的具体开放时间将另行通知。此外，公测期间的价格可能根据反馈和市场需求进行调整，以确保技术的持续优化和用户体验的不断提升。

      月之暗面Kimi开放平台此次推出的上下文缓存功能，无疑为AI大模型在文本处理领域的应用开辟了新的可能。随着公测的深入，相信这一技术将引领AI领域的新一轮变革，为开发者带来更加高效、经济的解决方案。