谷歌云 | Dataflow 和 Vertex AI：可扩展高效的模型服务

部署模型到 Vertex AI 端点

首先，我们需要在 Vertex AI 模型注册表中存储一个经过训练的模型，然后才能实施服务解决方案。这可以通过在 Vertex AI 中训练模型或导入预训练模型来完成。

现在，只需点击几下（或使用 API 调用），您就可以将模型部署到 Vertex AI 中的端点，以便进行在线预测。您可以在不编写任何额外自定义代码的情况下启用模型监控，以确保训练数据和服务数据之间没有偏差。

除了将模型部署到端点外，您还可以使用 RunInference API 在 Apache Beam 管道中为机器学习模型提供服务。这种方法有几个优势，包括灵活性和可移植性。然而，在 Vertex AI 中部署模型还提供了许多额外的好处，例如平台内置的模型监控工具、TensorBoard 和模型注册表管理。

Vertex AI 还提供了在端点中使用优化的 TensorFlow 运行时的功能。要做到这一点，只需在部署模型时指定 TensorFlow 运行时容器。

优化的 TensorFlow 运行时是一种可以提高 TensorFlow 模型性能和降低成本的运行时。

数据处理 Dataflow 管道

Apache Beam 内置支持通过使用 VertexAIModelHandlerJSON 类向远程部署的 Vertex AI 端点发送请求。只需几行代码，我们就可以发送预处理消息进行推断。

model_handler = VertexAIModelHandlerJSON(
        endpoint_id=known_args.endpoint_id,
        project=known_args.project_id,
        location=known_args.location,
    )

现在，我们将使用 Dataflow 进行数据预处理部分。下面是一个 Python Apache Beam 管道的代码片段，其中包括以下内容：

1. 从 Pub/Sub 读取消息

2. 对消息进行预处理，可能包括以下内容：

• 清理数据
• 处理缺失值
• 对分类数据进行编码
• 特征缩放

3. 使用 Vertex AI 模型处理程序向 Vertex AI 端点发送预测请求

4. 处理输出：将模型的原始输出转换为易于解释的格式

5. 写入BigQuery：将输出存储在 BigQuery 中，以便可以轻松检索

with beam.Pipeline(options=pipeline_options) as p:
        elements = (  
            p  | "Read PubSub"  >> beam.io.ReadFromPubSub(
                subscription=known_args.subscription
            ).with_output_types(bytes)
            | "Preprocess" >> beam.ParDo(Preprocess())
            | "Run Vertex Inference" >> RunInference(model_handler)
            | "Process Output" >> beam.ParDo(Postprocess())
            | "Write to BigQuery"
            >> beam.io.WriteToBigQuery(
            table=f"{known_args.bq_location}"
            )
        )

Dataflow + Vertex AI 是为批处理和流式预测请求提供机器学习模型的强大组合。Dataflow 可以以实时和批处理模式处理数据，并且非常适合需要高吞吐量和低延迟的用例。Vertex AI 提供了一个部署和管理模型的平台，还提供了许多额外的好处，如用于模型监控的内置工具、利用优化的 Tensorflow 运行时和模型注册表。

启航

如果您想要了解如何使用 Dataflow 和 Vertex AI 为机器学习模型提供服务，了解谷歌云如何帮助您实施端到端解决方案，欢迎联系我们一起讨论您的云需求！