优化 IDP 解决方案的性能效率

关键要点

在开发生产就绪的智能文档处理（IDP）工作负载时，企业需要平衡开发资源、成本、时间和用户体验，以实现预期的业务成果。为此，AWS Well- Architected Framework 提供了一种系统的方式来学习最佳实践，通过六个支柱审查解决方案，针对特定的 AI 或机器学习（ML）用例提供指导。

本篇文章将重点讨论 IDP 解决方案的性能效率支柱，包括常见的风险指标、设计原则和解决方案的技术关注点，以优化吞吐量、延迟和整体性能。

当客户有一个生产就绪的智能文档处理（IDP）工作负载时，我们经常收到对 Well-Architected评审的请求。为了构建企业解决方案，开发者资源、成本、时间和用户体验必须平衡，从而实现期望的商业成果。AWS Well-ArchitectedFramework 提供了一种系统化的方法，使组织能够学习云中设计和运营可靠、安全、高效、经济和可持续工作负载的最佳实践。

IDP Well-Architected Custom Lens 遵循 AWS Well-Architected Framework，针对特定的 AI 或 ML 使用案例，使用六个支柱审查解决方案，并提供解决常见挑战的指导。在 中，IDP Well-ArchitectedCustom Lens 包含有关每个支柱的问题。通过回答这些问题，您可以识别潜在风险，并通过改进计划解决它们。

本篇文章集中讨论 IDP 工作负载的 。我们深入探讨设计和实施解决方案以优化吞吐量、延迟和整体性能。我们将首先讨论应进行 Well- Architected 评审的一些常见指标，然后介绍基本的设计原则。随后，我们从技术角度逐一探讨每个关注领域。

在开始阅读之前，请确保您熟悉本系列的前几篇文章（ 和 ），以及 中的指导。这些资源介绍了 IDP 工作负载的常用 AWS服务和建议的工作流程。了解这些知识后，您可以更好地学习如何将工作负载投入生产。

常见指标

以下是您应考虑进行 Well-Architected Framework 评审的性能效率支柱的一些常见指标：

设计原则

本篇文章讨论了三项设计原则：委派复杂 AI任务、基础设施即代码（IaC）架构和无服务器架构。当您在两种实现之间进行权衡时，可以通过组织的业务优先级重新审视这些设计原则，以便有效做出决策。

• 委派复杂 AI 任务 - 通过将 ML 模型开发生命周期委托给托管服务，您可以加快组织内 AI 的采用，利用 AWS 提供的模型开发和基础设施。您可以使用预训练的 AI 服务来自动化任务，而不是让数据科学和 IT 团队构建和维护 AI 模型。这使得您的团队能够专注于更具价值的工作，从而提升业务差异化，同时云服务提供商处理训练、部署和扩展 AI 模型的复杂性。
• 基础设施即代码架构 - 在运行 IDP 解决方案时，该解决方案包括多个 AI 服务按时间顺序执行端到端工作流程。您可以使用 设计具有工作流管道的解决方案，以增强容错能力、并行处理、可视性和可扩展性。这些优势可以让您优化底层 AI 服务的使用和成本。
• 无服务器架构 - IDP 通常是由用户上传或按计划运行的事件驱动解决方案。该方案可以通过增加 AI 服务的调用率来横向扩展，包括 和参与的其他服务。无服务器方法在不额外配备资源的情况下提供可扩展性，避免不必要的开支。无服务器设计背后的监控有助于检测性能问题。

删除)

牢记这三项设计原则，组织可以为 AI/ML 在云平台的采用奠定有效基础。通过委派复杂性、实施弹性基础设施和设计可扩展性，组织可以优化其 AI/ML解决方案。

在接下来的部分中，我们将讨论如何解决技术关注领域中常见的挑战。

关注领域

在审查性能效率时，我们从五个关注领域审查解决方案：架构设计、数据管理、错误处理、系统监控和模型监控。通过这些关注领域，您可以从不同方面进行架构审查，以提高 AI/ML 项目三个组成部分（数据、模型或业务目标）的有效性、可观察性和可扩展性。

架构设计

通过该领域中的问题，您将审查现有工作流是否符合最佳实践。建议的工作流提供了组织可以遵循的常见模式，从而避免试错成本。

根据 ，工作流遵循数据捕获、分类、提取、丰富、审查与验证、消耗六个阶段。在前面讨论的常见指标中，三分之二源于架构设计问题。这是因为当您以即兴的方式开始一个项目时，可能会在试图使基础设施与解决方案保持一致时遇到项目限制。通过架构设计审查，可以将即兴设计分开为各个阶段，重新评估和重新排序每个阶段。

通过在工作流中实施 ，您可以节省时间、金钱和劳动力，文档根据文档类型发送至下游应用程序和 API。这增强了文档处理的可观察性，并使添加新文档类型时解决方案易于维护。

数据管理

IDP解决方案的性能包括延迟、吞吐量和端到端用户体验。如何管理文档及其提取的信息是确保数据一致性、安全性和隐私性的关键。此外，解决方案必须以低延迟和高吞吐量处理大量数据。

浏览该领域中的问题时，您将审查文档工作流程。这包括数据采集、数据预处理、将文档转换为 Amazon Textract接受的文档类型、处理入站文档流、按类型路由文档以及实施访问控制和保留策略。

例如，通过在不同处理阶段存储文档，可以在需要时将处理逆转回上一步。数据生命周期确保工作负载的可靠性和合规性。通过使用 （见下图），以及 Amazon Textract、Lambda、StepFunctions、（AmazonSQS）和 （AmazonSNS）上的异步功能，组织可以自动化并扩展文档处理任务，以满足特定的工作负载需求。

![Amazon Textract删除)

错误处理

强大的错误处理对跟踪文档处理状态至关重要，它为操作团队提供了时间，以应对异常行为，如意外文档数量、新文档类型或来自第三方服务的其他计划外问题。从组织的角度来看，适当的错误处理可以提高系统的正常运行时间和性能。

您可以将错误处理分为两个关键方面：

• AWS 服务配置 - 可以实现带有指数回退的重试逻辑来处理瞬态错误，例如限流。当您开始通过调用异步 Start 操作（如）进行处理时，可以在 配置中指定请求的完成状态发布到 SNS 主题。这可以帮助您避免因轮询 Get API 而导致的 API 调用限流。您还可以在 中实施警报和触发器，以在发生异常错误激增时发出警报。
• 错误报告增强 - 包括按错误类型和错误处理响应的描述提供详细消息。在正确的错误处理设置下，系统可以通过实施常见模式（如自动重试间歇性错误，使用断路器处理级联故障，以及监控服务以获取错误洞察）提高弹性。这使得解决方案在重试限制之间保持平衡，避免无休止的电路循环。

模型监控

机器学习模型的性能会随着时间的推移而下降。随着数据和系统条件的变化，跟踪模型的性能和效率指标，以确保在需要时进行重新训练。

IDP 工作流程中的 ML 模型可以是 OCR 模型、实体识别模型或分类模型。该模型可以来自 AWS AI 服务、、 或其他第三方服务。您必须了解每个服务的局限性和用例，以便识别改善模型的方式，收集人类反馈并提高服务性能。

一种常见的方法是使用服务日志了解不同水平的准确性。这些日志可以帮助数据科学团队识别和了解模型重新训练的需求。您的组织可以选择重新训练机制——可以是季度、每月或基于科学指标，例如在准确性低于给定阈值时。

监控的目标不仅是检测问题，而且是持续改进模型，确保 IDP 解决方案随着外部环境的变化而不断优化。

系统监控

在将 IDP解决方案投入生产后，监控关键指标和自动化性能以识别改进领域是非常重要的。监控指标应包括业务指标和技术指标。这使得公司能够评估系统的性能、识别问题并随着时间的推移对模型、规则和工作流程进行调整，以提高自动化率并理解运营影响。

在业务方面，像重要字段的提取准确性、表示未经人工干预处理的文档百分比的整体自动化率以及每个文档的平均处理时间等指标尤为关键。这些业务指标有助于量化终端用户体验和运营效率提升。

从工程的角度来看，技术指标包括工作流程中发生的错误和异常率至关重要。这些技术指标还可以从端到端的每个级别进行监控，提供复杂工作负载的全面视图。您可以将指标分解为不同的级别，例如解决方案级别、端到端工作流程级别、文档类型级别、文档级别、实体识别级别和 OCR 级别。

在您审查了此支柱中的所有问题后，可以评估其他支柱，并为您的 IDP 工作负载制定改进计划。

结论

在本篇文章中，我们讨论了对于 IDP 工作负载，您可能需要进行性能效率支柱的 Well-Architected Framework评审的常见指标。接着，我们提供了设计原则，以便让您对解决方案目标有一个高层的概述。遵循这些与 IDP Well-Architected CustomLens 相关的建议，通过聚焦领域中的问题审查，您现在应该有了一个项目改进计划。

要了解有关 IDP Well-Architected Custom Lens 的更多信息，请探讨本系列中的以下文章：

• 使用自定义视角构建良架构的 IDP 解决方案 – 第 4 部分：性能效率

关于作者

Mia Chang 是 AWS 的 ML 解决方案架构师，她与 EMEA 的客户合作，并分享在云端运行 AI/ML工作负载的最佳实践。她拥有应用数学、计算机科学和 AI/ML背景，专注于自然语言处理（NLP）特定工作负载，并担任会议演讲者和书籍作者。业余时间，她喜欢徒步旅行、玩桌游和冲泡咖啡。

Brijesh Pati 是 AWS的企业解决方案架构师，主要致力于帮助企业客户采用云技术处理工作负载。他在应用程序开发和企业架构方面有背景，曾为体育、金融、能源和专业服务等各个行业的客户服务。他的兴趣包括无服务器架构和 AI/ML。

Rui Cardoso 是 AWS 的合作伙伴解决方案架构师，专注于 AI/ML 和物联网。他与 AWS 合作伙伴合作，支持他们在 AWS中开发解决方案。闲暇时，他喜欢骑自行车、徒步旅行和学习新事物。

Tim Condello 是 AWS的高级人工智能（AI）与机器学习（ML）解决方案架构师，专注于自然语言处理和计算机视觉。他喜欢将客户想法转化为可扩展解决方案。

Sherry Ding 是 AWS的高级人工智能（AI）与机器学习（ML）解决方案架构师，在机器学习方面拥有丰富经验，具有计算机科学博士学位。她主要与公共部门客户合作，帮助他们解决各种 AI/ML 相关的商业挑战，助力他们在 AWS 云上加速机器学习之旅。闲暇时，她喜欢户外活动。

Suyin Wang 是 AWS 的 AI/ML解决方案架构师，拥有机器学习、金融信息服务和经济学的跨学科教育背景，以及多年构建解决现实业务问题的数据科学和机器学习应用的经验。她喜欢帮助客户识别合适的业务问题，并构建适合的 AI/ML 解决方案。业余时间，她喜欢唱歌和烹饪。

标签: , ,