解决更复杂的问题

  单个LLM的能力其实有限，难以处理复杂任务。这是因为复杂任务通常涉及多个相互关联的子任务和决策点，超出了单个AI模型的处理范围。通过工作流，我们可以将复杂问题分解为一系列较小且可管理的子任务，每个子任务都由专门的AI组件或规则负责处理。这种模块化方法不仅让问题解决更加系统化，还能确保每个环节都得到最优处理。
现在我们已经了解了工作流的两个关键作用：提升质量和解决更复杂的问题。这些功能是普通agent目前无法实现的。接下来，让我们探讨如何设计工作流。

工作流应该怎么设计

  工作流的设计本质反映了我们如何科学地进行任务拆分和组织。就像处理复杂项目时会将其分解成更小、更易管理的部分，工作流设计也遵循相似的逻辑原则，通过系统化的任务划分来提升效率和可控性。这种拆分方法不仅让我们能更清晰地理解整个流程，还能帮助我们更有效地分配资源和监控进度。工作流主要有两种基本设计方式：水平拆分、垂直拆分，这两种方式各有其适用场景和优点。但是，在实际应用中，我们通常不会单独选择其中一种，而是采用混合拆分的方式。

水平拆分

  水平拆分是一种适用于大规模任务处理的策略，它将一个复杂的大任务分解成多个平行的、同级别的小任务，最后将所有子任务结果进行汇总。我们采用水平拆分主要有两个原因：首先，LLM的输入上下文长度有限，无法一次性处理所有内容；其次，即使在允许范围内，LLM处理长上下文时也会出现明显的性能下降。因此，在实际应用中我们常常需要对任务进行合理拆分。
我们来看下需要做任务拆分的一些具体例子：

• 长文本处理： 比如一本书有几百页，我们需要对其内容进行总结或分析时，就需要先将内容按章节或段落进行拆分，每个部分独立处理后再整合结果。这种方式不仅能确保每个部分都得到充分的处理，还能通过并行处理提高效率。同样的策略也适用于其他长文本处理场景，如论文分析、新闻聚合等。
• 大规模数据处理： 在处理海量数据时，如用户行为分析或日志处理，我们可以按时间段、地域或用户群体等维度进行水平拆分，每个部分独立分析后再汇总结果。这种方式不仅能提高处理效率，还能更好地发现数据中的特定模式和趋势。
    以上是水平拆分在实际应用中的典型场景。通过合理的任务划分和并行处理，我们可以有效地处理那些规模较大或数据量庞大的任务。接下来让我们看看另一种重要的拆分方式——垂直拆分，它适用于那些需要按照特定顺序执行的任务流程。

  垂直拆分

  

  垂直拆分是将一个长流程任务拆分成多个按顺序执行的短任务。这种方式特别适用于需要多个步骤依次完成的任务，每个步骤都以前一步骤的结果为基础。垂直拆分的主要目的是降低任务复杂性。通过将复杂任务分解为一系列清晰的步骤，不仅让每个环节更容易理解和执行，也便于进行质量控制和错误排查。这种方式既降低了单个步骤的复杂度，又能确保整个流程的稳定性和可靠性。

  这就像工厂里的月饼生产线，每个工序都很简单明确——和面、填馅、压模、烘烤、打包，通过这些简单工序的组合，工厂就可以快速高质量的生产月饼。
  相信通过月饼的例子，垂直拆分的概念就变得清晰易懂：每个步骤的输出会自然成为下一步骤的输入。这种串行处理方式虽然简单直接，但在处理复杂任务链时非常有效。在很多场景中，我们都可以使用垂直拆分来显著提升AI的处理能力和效果。
我们还是来看下具体的一些场景：

• AI内容生产： 以写一篇完整的博客文章为例，我们可以将任务垂直拆分为以下步骤：主题研究和大纲规划、初稿撰写、内容优化和润色、SEO优化、最终审核。每个步骤都可以由专门的AI模型或工具来完成，确保最终输出的内容质量。
• 数据分析和报告生成： 数据分析任务也可以进行垂直拆分，包括数据清洗和预处理、初步分析、深度挖掘、可视化图表生成、报告撰写等步骤。每个步骤都需要特定的专业知识和工具，通过垂直拆分可以确保每个环节都得到专业处理，最终生成高质量的分析报告
• AI辅助决策系统： 在构建复杂的AI决策支持系统时，垂直拆分可以将决策过程分解为数据收集、风险评估、方案生成、结果预测和建议输出等步骤。每个步骤都可以使用专门的AI模型或算法来处理，通过严格的流程控制确保决策的准确性和可靠性。
    在实际的AI决策系统中，这种垂直拆分的方式不仅能提高决策的准确性，还能让整个过程更加透明和可控。每个步骤的输出都可以被记录和验证，便于追踪决策链并进行必要的调整和优化。这种系统化的处理方式为复杂决策提供了可靠的框架支持。

  混合拆分

  
    在实际应用中，我们通常会结合水平拆分和垂直拆分的优势，构建混合拆分的工作流方案。这种混合模式不仅能灵活应对复杂的业务场景，还能在保证处理效率的同时确保质量控制。
  我们看一些混合拆分的典型应用场景：

• 大规模文档处理系统： 首先通过水平拆分将文档分成多个部分，然后每个部分都经过垂直的处理流程（如文本提取、格式转换、内容分析、质量检查等）。这种方式既解决了处理规模的问题，又保证了处理质量。
• 智能客服系统： 系统可以水平拆分处理多个用户的请求，而每个请求都需要经过垂直的处理流程（意图识别、信息提取、答案生成、情感分析等）。这样既能并行处理多个用户的需求，又能确保每个用户得到完整的服务流程。
• 数据分析平台： 可以按照不同的数据源或时间段进行水平拆分，每个分片数据再经过垂直的分析流程（数据清洗、特征提取、模型分析、可视化等）。这种方式既能处理海量数据，又能保证分析的深度和质量。

  混合拆分的关键在于找到合适的平衡点，既要考虑任务的并行处理效率，又要确保每个处理环节的质量和连贯性。通过合理的混合拆分设计，我们可以构建出既高效又可靠的AI应用系统。
  简单总结下，水平拆分是为了解决规模性问题，垂直拆分是为了解决复杂性问题，而混合拆分二者兼而有之。

实践

  现在我们已经掌握了工作流拆分的理论知识，让我们通过一个具体的实践案例来加深理解。我将使用Dify搭建一个超长文本分析的工作流，展示如何运用混合拆分方法来处理长文本。这个案例会清晰地演示如何将大型文本处理任务拆分为多个可管理的子任务，并通过合理的工作流设计来提高处理效率。
  这里我找到了古腾堡上的《爱丽丝梦游仙境》英文版（https://www.gutenberg.org/cache/epub/11/pg11.txt ），由于其内容长度超出了大模型的输入限制，直接尝试总结全文，提交会直接报错。
  如果我直接把url给大模型，很多模型其实并不支持主动抓取网页内容，也没法直接识别，即便支持主动抓取，它也会对文本内容做截断，导致信息损失。
  虽然长文本总结这个任务表面上看起来简单，但实际实现时面临两个主要挑战：首先是需要多个处理步骤，其次是由于数据规模过大需要进行拆分处理。 这里很明显就需要用到混合拆分的策略，我这里拆分构思的整体的流程如下图：

最终在Dify中构建出来的workflow如下，很明确和上面的流程图有一致性：

  文本下载和切分是一个代码执行模块，其中包含一段Python代码，用于从URL下载文本内容，并将其按字数分段后输出为数组。 这里我用了工作流中的迭代模块来对切分后的文档完成分段总结。 结果汇总是一个模板转换模块，作用就是将所有分段的结果简单粗暴拼接起来，然后给到最后的汇总总结节点。

结语

  善于沟通的人能充分发挥 LLM 的潜力，因为和LLM沟通和与人沟通并没有本质的区别。同样，那些擅长解决复杂问题的人往往具备出色的系统思维，能设计出高效实用的工作流程，将复杂任务分解为可管理的步骤。
  最后总结下本文的核心观点，在AI应用中，合理的工作流设计是提升系统效能的关键，通过任务的水平拆分和垂直拆分，我们可以构建出既能处理大规模数据又能保证质量的混合工作流体系。工作流不仅仅是一种技术实现方式，更是一种系统化思维的体现，它能帮助我们更好地应对复杂的AI应用场景，实现更高效的任务处理和更可靠的质量控制。