转载：https://ai.zol.com.cn/881/8811225.html
2024-07-02 09:34:42·[??中关村在线 原创??]·作者：薄荷糖的夏天
7月1日，月之暗面宣布了Kimi开放平台上下文缓存功能的公测。该技术能够在保持API价格不变的前提下，为开发者降低最高90%的长文本旗舰大模型使用成本，并提高模型的响应速度。
上下文缓存是一种数据管理技术，允许系统预先存储会被频繁请求的大量数据或信息。当用户请求相同信息时，系统可以直接从缓存中提供，无需重新计算或从原始数据源中检索。
适用场景包括提供大量预设内容的QA Bot、针对固定的文档集合的频繁查询以及对静态代码库或知识库的周期性分析等。同时，在瞬时流量巨大的爆款AI应用和交互规则复杂的Agent类应用方面也有广泛应用前景。
收费模式主要分为三个部分：Cache创建费用、Cache存储费用和Cache调用费用。其中，Cache创建费用为24元/M token，Cache存储费用为10元/M token/分钟，而Cache调用费用根据模型原价进行收取。
公测时间为3个月，在此期间可能随时调整价格。公测资格仅优先开放给Tier5等级用户，其他用户范围有待确定。
相关阅读：《月之暗面Kimi开放平台将启动Context Caching内测：提供预设内容QA Bot、固定文档集合查询》
相关论坛
热门广告
