复合AI系统凭借其多模型、多工具的协同方式,展现出传统单一AI难以匹敌的应对复杂问题的能力,引发了广泛关注和讨论。
本文从单体架构和微服务架构的演变切入,揭示了复合AI系统如何通过模块化的方式优化任务执行,提升灵活性与精准度。以Databricks Mosaic AI平台为例,作者Yared Gudeta分析了复合AI在维护系统中的应用实例,展示了该系统如何整合向量嵌入、图数据库和大语言模型以高效解决复杂问题。
(本文由OneFlow编译发布,转载请联系授权。原文:https://www.databricks.com/blog/generalists-specialists-evolution-ai-systems-toward-compound-ai)
作者 | Yared Gudeta
翻译|张雪聃
OneFlow编译
题图由SiliconCloud平台生成
复合AI系统引起了广泛的关注与热议,且并不是空穴来风。复合AI系统将多个AI模型、工具和系统的最佳部分结合起来,以解决单一AI(无论其多么强大)可能难以有效应对的复杂问题。
1
在深入探讨复合 AI 系统的奥秘之前,让我们稍微回顾一下应用程序开发的演变。还记得单体应用的时代吗?庞大的、一体化的软件系统,处理所有的前端交互、后端处理和数据库管理,全部都在一个代码库中进行。虽然它功能强大,但也存在一些弊端。
更新缓慢:对应用的某个部分进行微小修改时,需要重新部署整个系统。
扩展问题:如果系统的某个区域负载过重,整个系统都必须扩展。
单点故障:如果一个组件崩溃,整个系统可能都会受到影响。
这为微服务架构铺平了道路,微服务架构彻底改变了应用开发方式,允许企业将大型单体应用拆分为更小的、更独立的服务。每个微服务专注于某个特定的业务功能,如用户身份验证或库存管理,提供了单体系统无法匹敌的灵活性和可扩展性。
更新更快:只需更新或部署某个微服务,不涉及其他部分。
可扩展性:根据需求扩展各个服务。
故障隔离:即使一个服务崩溃,其他服务仍然可以继续运行。
然而,微服务也并非没有挑战:
开销更高:管理多个服务需要更多的协调处理和基础设施。
时延:服务之间的通信可能会降低系统响应速度。
一致性问题:保持跨服务数据同步变得棘手。
2
在AI领域,我们正在目睹类似的演变。像GPT-4和Llama这样的大语言模型(LLM)已经成为强大的通才,能够处理各种各样的任务。但就像单体应用一样,它们并不适合所有工作任务。
复合AI系统就是生成式AI版本的微服务架构。这些系统将AI任务分解为专业化的部分,而不是依赖一个庞大的模型来完成所有工作。相反,复合AI系统部署了多个模型、工具和组件,每个都针对特定任务进行优化。
泛与专结合:大型基础模型提供广泛的见解,而专用模型则处理细分任务,如医疗诊断或实时网络安全威胁检测。
模块化:需要新模型?只需替换模型,而不必重新训练整个系统。
优化:模型和工具可以针对任务的特定部分进行微调,使整个系统更高效、更准确。
3
那么,复合AI系统在实践中是什么样?我们可以想象一组AI模型,每个模型在特定领域表现出色,共同合作解决复杂任务:
1.多个模型:可以使用不同的语言模型,每个模型都针对特定任务或领域进行了优化;
2.外部工具:搜索引擎、API或数据检索系统可以向AI流水线提供丰富的信息;
3.任务协调器:决定何时以及如何使用各个模型或工具来完成手头的任务。
就像微服务革新了传统应用程序开发一样,这种模块化的方法使复合AI系统能够将复杂的挑战分解为更小、更易管理的步骤。
4
Mosaic AI引领复合AI系统发展的平台之一。它为企业提供构建生产级复合AI系统的工具,通过整合多个AI模型、数据检索系统和外部API来实现。
无缝集成:能够安全且轻松地连接内部数据源和外部工具,为模型提供丰富的上下文数据进行处理;
可扩展性:通过Mosaic AI的模型服务,单个组件可以根据需求扩展;
定制化:每个组件可以在自定义数据上进行微调,以确保更准确的结果。
5
为了更具体地说明,下图展示了一个由Databricks Mosaic AI驱动的维护系统。该系统旨在帮助故障排查机械设备、访问维修手册并提供上下文见解。
1.手册拆分与存储:
手册被拆分为小板块,并通过Databricks的嵌入模型转换为向量嵌入。这些嵌入存储在向量搜索索引中,以便快速检索。
2.历史数据收集与存储:
系统收集维护日志、服务请求、库存数据以及来自工厂设备的物联网传感器读数。这些数据经过清洗和汇总后,存储在Medallion架构中,丰富的数据则会存储在图数据库中,其中存储了机器、零件、缺陷和错误代码等之间的关系。
3.构建复合AI系统:
通过DsPy框架,AI协调多个组件:
用户的问题(如“如何修复错误DF-3466?”)被转换为向量嵌入,并在向量数据库中的手册数据中进行搜索。
同时,该问题通过微调的text-to-cypher Llama模型(https://huggingface.co/collections/tomasonjo/llama3-text2cypher-demo-6647a9eae51e5310c9cfddcf)转换为Cipher查询,用于查询图数据库,查看该错误是否曾被报告过以及如何修复,从而提供上下文见解。
4.响应总结:
DsPy框架结合了手册和图数据库的响应,并且使用Llama基础模型为用户总结结果。
5.使用Mosaic AI进行部署:
协调复合AI系统的DsPy框架会被部署在Databricks的模型服务上,以确保AI系统的可扩展性和安全性。Mosaic AI Gateway管理端点访问和安全性。
6.使用NLP生成常见问题解答:
用户请求和响应的日志存储在Delta表中。通过NLP技术,系统识别、排序常见问题,并在类似问题出现时向用户提供解答。
这个维护系统是复合AI系统的完美示例,结合了向量嵌入、图数据库和大语言模型,能够高效、智能地解决复杂的用户问题。
6
就像微服务改变了我们构建应用程序的方式一样,复合AI系统正在改变我们使用AI解决复杂问题的方式。通过多个专用模型和工具的协同工作,我们能够构建更灵活、高效且强大的AI系统。
借助像Databricks Mosaic AI这样的平台,企业可以大规模部署这些系统,确保其AI解决方案不仅处在前沿,而且是生产环境可用的。当可以拥有多个顶尖AI“天才”一起工作,一个“大脑”又怎么足够呢?AI的未来属于复合系统,新的阶段已经到来。
其他人都在看
大模型成本效益对比
AI不是另一场“互联网泡沫”
用初中数学理解LLM工作原理
LLM量化效果评估:50万次实测后的发现
10倍工程师编码工具:Cursor x SiliconCloud
超越SD3,比肩MJ v6,生图模型FLUX.1开源
最大的顶级数据集开源,HuggingFace排名第一
让超级产品开发者实现“Token自由”
邀请好友体验SiliconCloud,狂送2000万Token/人
邀请越多,Token奖励越多
siliconflow.cn/zh-cn/siliconcloud
版权说明:如非注明,本站文章均为 扬州驻场服务-网络设备调试-监控维修-南京泽同信息科技有限公司 原创,转载请注明出处和附带本文链接。
请在这里放置你的在线分享代码