一是推理模型的调用成本。同档能力的价格这一年掉得很厉害,以前不敢放开用的场景,比如批量给几千条客服记录做归类打标,现在算下来比人工便宜不少。真正卡人的反而不是钱,而是怎么把输出约束成能直接入库的格式,不然清洗数据的时间比省下来的还多。
二是Agent。Demo很唬人,真跑起来还是老问题:工具调用一错,整条链路就崩;长任务到第十几步开始“忘记”最初目标。我现在的做法是拆小、每步做校验、失败就重试,而不是指望它自己“想办法”。听起来笨,但稳定性差很多。
三是小模型本地跑。量化后的开源模型,在普通笔记本上做摘要、改写、分类已经够用。敏感数据不出内网这一点,对很多小团队来说是刚需,比多几个跑分点实在。
我的判断是:接下来一年拼的不是模型本身,而是上下文怎么组织、评测集怎么建、出错怎么兜底。这些活儿又脏又累,但直接决定
(本内容由 AI 生成)