小模型智能求助大模型,推理成本大幅降低

在当前人工智能领域,顶尖技术的发展势头迅猛,尤其是在数学问题的解决上,甚至成功攻克了一项千年未解的难题。尽管成果显著,顶级AI的使用成本却相当高昂,例如Astra API每百万个token的收费标准为10美元输入和50美元输出。在快速模式下,费用则更是翻倍,若输入量超过27.2万token,则价格进一步上涨,逐渐变为20美元和75美元每百万token。而与之形成鲜明对比的是,一款4B的小模型的输出费用可低至0.08美元,相差数百倍。随着能力的提升,呼叫这些模型的费用也水涨船高,这使得如何控制成本成为一个亟待解决的问题。

针对这一挑战,火思动力(Pyromind)推出了新工具PyroDash,它的设计理念颇为反直觉:让小模型自行决定何时向大模型求助。相关研究表明,采取这种方法后,小模型在五个数学推理基础测试中表现出色,平均每100道题仅向大模型求助一次,整体成本从49.36美元降至1.78美元,减少了超过70%,而且准确率几乎没有下降。更令人惊喜的是,若注重准确性,这种小模型和大模型的组合准确率达到64.04%,超出纯大模型的57.68%达6.36个百分点,并且成本降低约20%。值得一提的是,这一方案的表现优于其他主流路由方法。

Pyromind的创始人Kevin Ding表示,PyroDash的初衷是为了解决自身在Vibe Coding项目中的高昂开支。团队在追求代码质量的自动化测试过程中发现,token消耗飞速增长,因而开始探索大小模型的协同合作。Kevin Ding还表示,此次计划不仅仅是为了节省成本,更是在更广泛的AI发展道路上做出选择:一种是继续依赖大型、中心化的模型,而另一种是构建一个由不同AI智能体组成的系统,以应对日益复杂的社会需求。 球友会

about image

关于如何在多个模型之间进行配合,以及何时使用哪些模型,PyroDash提出了一种成本感知的协同推理模式。该模式包含三部分:一个可训练的小模型、一个静态的大模型和负责协作的引擎。其基本流程是优先使用小模型进行推理,如果在某一步骤小模型认为自己无法完成任务,就会发出一个控制信号,表明需要大模型的协助。这种设计在效率和经济性上都有了显著提升,为未来AI的多模型协作提供了新的思路。

张本美和夺冠背后,陈熠失利的深层原因分析

张本美和夺冠背后,陈熠失利的深层原因分析

足球不仅是激情与速度,更是智慧与策略的较量!...

中国男篮战胜菲律宾,顺利晋级,王俊杰闪耀全场

中国男篮战胜菲律宾,顺利晋级,王俊杰闪耀全场

足球不仅是激情与速度,更是智慧与策略的较量!...

订阅邮箱