使用 Amazon Rekognition 进行 Amazon IVS 直播内容审核

重点总结

在本篇文章中，我们探讨了如何利用 Amazon Rekognition 实现对 Amazon IVS 直播内容的自动审核。通过将用户生成内容 (UGC) 的审查自动化，企业可以提高审核效率，降低人工干预的需求。

前言

在直播流媒体日益普及的今天，有效的内容审核显得愈加重要。用户生成内容 (UGC) 给安全性带来了复杂的挑战，许多公司依赖人工审核来监控视频流，这不仅耗时且易出错，并且随着业务增长难以扩展。因此，越来越需要一种支持人工干预 (HITL) 的自动审核解决方案。

，作为 的一项功能，能在无需机器学习 (ML) 经验的情况下，自动化并简化图像和视频审核工作流。本文将解释如何利用 Amazon Rekognition 的图像 API 来对直播流进行审核。您可以使用 (AWS CDK) 将此解决方案部署到您的 AWS 账户，源代码可在我们的 中找到。

直播流内容审核

对 UGC直播内容的审核通常以从流中采样图像并使用图像审核技术来获得几乎实时的结果为基础。直播平台可以实施灵活的审核规则。例如，面向年轻观众的平台可能对成人内容及某些产品有严格的限制，而其他平台则可能专注于仇恨符号。这些平台制定不同的规则以有效地符合其政策。

结合人工与自动审查的混合过程是常见的设计方案，某些直播流会被自动停止，而人类审核员会评估该流是否违反平台政策并应予以停用。

以下是近实时审核系统的概念工作流图。


该工作流包含以下步骤：

1. 直播服务（或客户端应用）按特定间隔从视频流中采样图像帧。
2. 规则引擎评估审核指南，决定流采样的频率及适用的审核类别。
3. 一旦检测到视频流中的违规内容，规则引擎会及时提醒人工审核员。
4. 人工审核员评估结果并决定是否停用直播流。

审核 UGC 直播流的流程与传统媒体中的视频审核存在显著不同，它需要遵循多样化的规定。图像采样频率通常由平台的信任与安全政策及服务质量协议 (SLA) 决定。例如，若直播平台希望在 3 分钟内停止违规频道，合理的策略是每 1-2 分钟进行一次采样，以便给予人工审核员足够的时间来确认并采取措施。

成本也是直播内容审核解决方案中的一个重要考虑因素。随着 UGC直播平台的快速扩张，高频率审核并发流会带来成本压力。本文提出的解决方案旨在通过定义审核规则、定制采样频率、忽略相似图像帧等技术来优化成本。

将 Amazon IVS 流内容录制到 Amazon S3

Amazon IVS 提供了将直播内容 到 Amazon 简单存储服务 (S3) 桶的原生解决方案，并生成缩略图，即视频流中的图像帧。默认情况下，它每 60 秒生成一次缩略图，并提供用户自定义图像质量和频率的选项。使用 ，您可以 并将其链接到 Amazon IVS 频道。当录制配置与频道关联后，该频道的直播流会自动录制到指定的 S3桶中。

使用自动录制到 Amazon S3 功能无需支付 Amazon IVS 费用，写入 Amazon S3 的操作也不收费。关于存储、API调用及视频分发费用的详细信息，可参考 。

Amazon Rekognition 审核 API

在此解决方案中，利用 对 Amazon IVS 缩略图进行近实时审核。Amazon Rekognition 内容审核提供预训练 API，能够分析多种不当或冒犯性内容，例如暴力、裸露、仇恨符号等。有关 Amazon Rekognition 内容审核分类法的全面列表，请参见 。

以下代码示例展示如何在 函数中使用 Python Boto3 库调用 Amazon Rekognition DetectModerationLabel API 来审核图像：

# 初始化 Amazon Rekognition 客户端对象

rekognition = boto3.client('rekognition')

# 调用 Rekognition 图像审核 API

response = rekognition.detect_moderation_labels( Image={'S3Object': {'Bucket':
data_bucket,'Name': s3_key}} ) ```

以下是 Amazon Rekognition 图像审核 API 的示例响应：

`json { "ModerationLabels": 。

## 解决方案概述

该解决方案通过从 S3 桶中读取缩略图并将图像发送到 Amazon Rekognition 图像审核 API 实现与 Amazon IVS的集成。解决方案提供暂停直播和人工审核的选择，您可以为系统配置规则，以根据条件自动停止直播流。它还包括一个轻量级的人工审核门户，使审核员能够实时监控流、管理违规警报并在必要时停止直播。

接下来简要介绍系统架构。更详细的信息，请参考 。

以下屏幕录制展示了审核员用户界面，使其能够监控活动流并进行警告管理，如停止流或忽略警告。

![监控UI](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2023/11/11/ml-15283-screen-
recording-moderator.gif)

用户可以定制审核规则，控制每个频道的视频流采样频率，配置 Amazon Rekognition审核类别及其置信度阈值，并启用相似性检查，确保性能和成本优化，避免处理冗余图像。

以下屏幕录制展示了全局配置管理的用户界面。

![配置管理UI](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2023/11/11/ml-15283-screen-
recording-config.gif)

本解决方案采用微服务架构，由两个主要组件与 Amazon IVS 松耦合组成。

删除)

### 规则引擎

规则引擎是直播流审核系统的核心。它是一个实时处理服务，使近实时审核成为可能。利用 Amazon Rekognition审核图像，验证结果与可定制规则，并利用图像哈希算法识别和排除相似图像。同时，此服务还可在规则违规时自动停止直播流或通知人工审核子系统。该服务通过
Amazon S3 阅读图像并助力 API 调用，整合了 。

下图展示了近实时审核工作流架构。

![规则引擎](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2023/11/11/ml-15283-rules-
删除)

触发规则引擎处理工作的有两种方法：

  * **S3 文件触发器** – 当新的图像添加到 S3 桶时，工作流将启动。这是推荐的 Amazon IVS 集成方式。
  * **REST API 调用** – 您可以通过 API 网关对带有图像字节的请求进行 RESTful API 调用。API 将图像存储到 S3 桶中，触发近实时处理。这种方法适用于客户端直播应用直接捕获的图像。

图像处理工作流由 
管理，包含以下几个步骤：

  1. 检查采样频率规则。如果上次采样时间过于接近，处理将会停止。
  2. 如果在配置中启用，进行相似性检查，利用图像哈希算法。如果接收到的新图像与之前的图像相似，处理将跳过该图像。
  3. 使用 Amazon Rekognition 图像审核 API 根据配置规则对图像进行评估，应用置信度阈值并忽略不必要的类别。
  4. 如果审核结果违反任何规则，向 [Amazon 简单通知服务 (SNS)](http://aws.amazon.com/sns) 主旨发送通知，警告下游系统。
  5. 如果自动停止审核规则被违规触发，Amazon IVS 流将被自动停止。

该设计通过 Step Functions 状态机管理规则，提供可视化的拖放界面来定义灵活的工作流。您可以扩展规则引擎，加入更多的 StepFunctions 工作流。

### 监控与管理仪表板

监控与管理仪表板是一个 Web 应用，其用户界面使人工审核员能够监控 Amazon IVS直播流。它提供近实时的审核警报，使审核员可以停止流或者忽略警告。该网页门户还使管理员能够管理规则引擎的审核规则。系统支持两种类型的配置：

  * **频道规则** – 您可以为特定频道定义规则。
  * **全局规则** – 此规则适用于所有或部分缺乏特定配置的 Amazon IVS 频道。您可以定义正则表达式将全局规则应用于满足特定模式的 Amazon IVS 频道名称。例如，.* 将适用于所有频道。/^test-/ 将适用于以 test- 开头的频道。

该系统是一个无服务器的 web 应用，包含一个托管在 Amazon S3 上的静态 React 前端，并通过  进行缓存。身份验证通过  实现，数据通过 API 网关和 Lambda 提供，状态存储在
 中。以下图示展示了这一架构。

![Web应用架构](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2023/11/11/ml-15283-web-
删除)

监控仪表板是一个轻量级的演示应用，提供了审核员所需的基本功能。若需增强功能，您可以扩展实现以支持多个审核员管理系统，并通过实现 WebSockets的推送机制降低延迟。

## 审核延迟

该解决方案设计为近实时审核，其延迟在两个独立的子系统中进行测量：

  * **规则引擎工作流** – 从接收图像到通过 Amazon SNS 发送通知的规则引擎工作流平均在 2 秒内。该服务通过 Step Functions 状态机迅速处理图像，Amazon Rekognition 图像审核 API 对于小于 1 MB 的平均文件大小处理时间不到 500 毫秒。（这些测试基于样本应用进行，以满足近实时要求。）在 Amazon IVS 中，您可以选择不同的  来调整图像大小。
  * **监控网页门户** – 监控网页门户订阅规则引擎的 SNS 主题，将警告记录在 DynamoDB 表中，而网站 UI 每 10 秒提取最新警告。该设计展示了审核员视图的轻量级演示。如需进一步降低延迟，您可以考虑通过 Amazon SNS 实现 WebSocket，立即将警告推送到 UI。

## 扩展解决方案

本篇文章聚焦于直播流的视觉内容审核。然而，解决方案具有灵活性，能够容纳复杂的业务规则，还可以扩展支持其他媒体类型，包括直播中的聊天消息和音频审核。您可以通过引入新的
Step Functions 状态机工作流及上游分发逻辑来增强规则引擎。在后续的文章中，我们将深入探讨使用 AWS AI服务执行直播流文本和音频审核的内容。

## 总结

在本文中，我们提供了一个示例解决方案的概述，展示了如何利用 Amazon Rekognition 对 Amazon IVS直播视频进行审核。您可以通过遵循我们在  中的说明，体验该示例应用并将其部署到您的 AWS 账户中。

了解有关  的更多信息。迈出实现 。

* * *

### 作者信息

**Lana Zhang** 是 AWS WWSO AI 服务团队的高级解决方案架构师，专注于内容审核、计算机视觉、自然语言处理和生成性
AI 的 AI 和 ML。凭借她的专业知识，她致力于推动 AWS AI/ML解决方案并协助客户在社交媒体、游戏、电子商务、媒体、广告与市场等多个行业转型其商业解决方案。

**Tony Vu** 是 Twitch 的高级合作工程师，他专注于评估合作伙伴技术与 Amazon 互动视频服务 (IVS)
的集成，旨在为我们的 IVS 客户开发和提供全面的联合解决方案。