
做客服或者自动报价的老板都知道,跟AI聊久了它会变慢。因为每回一句话,系统都要把前面所有聊天记录重新发一遍。十一月二日,Claude平台推出了一个叫message threads的新功能,正在公测。简单说就是以后不用每次重发全部记录,只发新内容就行。官方数据是,当对话积累到五十万至一百万个词元时,等待时间缩短了约百分之三十五。这对需要长时间连续干活的AI工具是个实在的进步。
但这事目前跟你的生意还隔着一层。这个功能是给写代码的程序员用的,不是直接给老板点开的按钮。打个比方,一家做定制家具的厂子,老板想让AI帮客户在线选配方案。聊了几十轮后,每次等回复都要卡很久,客户早跑了。如果这家厂的软件团队把这个新功能接进自家系统,卡顿就能缓解。但要注意的是,虽然传的数据少了,AI该读的记录一点没少读,所以按字算钱的账单并不会变薄。而且对话一旦停五分钟,线程就会过期,又得从头来。
既然现在还不能直接点开用,老板明天能做什么?你可以找帮你做小程序或网站的技术人员问一句:咱们对接的AI接口,有没有用上类似只传新消息的功能?如果你的业务确实需要AI跟客户连聊几十句,比如售后排查或者复杂询价,就把这个信息丢给技术去评估。如果你们只是偶尔让AI写段文案,那完全不用管它,现有的速度够用了。
底层技术跑得再快,也得等技术把它装进你每天用的那个软件里,才算真正省了你的时间。
信息来源
原始链接:Make long-running agents faster with message threads | Claude by Anthropic
