Google¶
Airflow 支援 Google 服務。
所有 hooks 都基於 airflow.providers.google.common.hooks.base_google.GoogleBaseHook。一些整合也使用了 airflow.providers.google.common.hooks.discovery_api。
請參閱 Google Cloud 連線型別 文件，瞭解如何配置與 Google 服務的連線。
Google Cloud¶
Airflow 對 Google Cloud 提供了廣泛支援。
注意
您可以透過分析 Google Cloud 示例 dags 的原始碼來了解如何使用 Google Cloud 整合
服務¶
這些整合允許您在 Google Cloud 中執行各種操作。
Google AutoML¶
Google BigQuery¶
Google BigQuery Data Transfer Service¶
Google Bigtable¶
Google Campaign Manager¶
Google Cloud AlloyDB¶
Google Cloud Build¶
Google Cloud Common¶
Google Cloud Data Loss Prevention (DLP)¶
Google Cloud Firestore¶
Google Cloud Functions¶
Google Cloud Key Management Service (KMS)¶
Google Cloud Life Sciences¶
Google Cloud Managed Service for Apache Kafka¶
Google Cloud Memorystore¶
Google Cloud Natural Language¶
Google Cloud OS Login¶
Google Cloud Pub/Sub¶
Google Cloud Secret Manager¶
Google Cloud Spanner¶
Google Cloud Speech-to-Text¶
Google Cloud SQL¶
Google Cloud Stackdriver¶
Google Cloud Storage (GCS)¶
Google Cloud Storage Transfer Service¶
Google Cloud Tasks¶
Google Cloud Text-to-Speech¶
Google Cloud Translation¶
Google Cloud Video Intelligence¶
Google Cloud Vision¶
Google Cloud Workflows¶
Google Compute Engine¶
Google Data Catalog¶
Google Data Fusion¶
Google Dataflow¶
Google Dataplex¶
Google Dataprep¶
Google Dataproc¶
Google Dataproc Metastore¶
- 運算元：
airflow.providers.google.cloud.operators.dataproc_metastore.- 鉤子：
- 感測器：
- 指南：
- 提供程式：
- 產品文件：
Google Datastore¶
Google Deployment Manager¶
Google Kubernetes Engine¶
Google Looker¶
Google Machine Learning Engine¶
Google Vertex AI¶
- 運算元：
airflow.providers.google.cloud.operators.vertex_ai.dataset,airflow.providers.google.cloud.operators.vertex_ai.custom_job,airflow.providers.google.cloud.operators.vertex_ai.auto_ml,airflow.providers.google.cloud.operators.vertex_ai.batch_prediction_job,airflow.providers.google.cloud.operators.vertex_ai.endpoint_service,airflow.providers.google.cloud.operators.vertex_ai.hyperparameter_tuning_job,airflow.providers.google.cloud.operators.vertex_ai.model_service,airflow.providers.google.cloud.operators.vertex_ai.pipeline_job,airflow.providers.google.cloud.operators.vertex_ai.generative_model,airflow.providers.google.cloud.operators.vertex_ai.feature_store。- 鉤子：
airflow.providers.google.cloud.hooks.vertex_ai.dataset,airflow.providers.google.cloud.hooks.vertex_ai.custom_job,airflow.providers.google.cloud.hooks.vertex_ai.auto_ml,airflow.providers.google.cloud.hooks.vertex_ai.batch_prediction_job,airflow.providers.google.cloud.hooks.vertex_ai.endpoint_service,airflow.providers.google.cloud.hooks.vertex_ai.hyperparameter_tuning_job,airflow.providers.google.cloud.hooks.vertex_ai.model_service,airflow.providers.google.cloud.hooks.vertex_ai.pipeline_job,airflow.providers.google.cloud.hooks.vertex_ai.generative_model,airflow.providers.google.cloud.hooks.vertex_ai.prediction_service,airflow.providers.google.cloud.hooks.vertex_ai.feature_store。- 感測器：
airflow.providers.google.cloud.sensors.vertex_ai.feature_store.- 指南：
- 提供程式：
- 產品文件：
傳輸¶
這些整合允許您在 Google Cloud 之間複製資料。
Google Cloud Storage (GCS) 到 Amazon Simple Storage Service (S3)¶
Amazon Glacier 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Presto 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Trino 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Common SQL 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- Python API：
- 提供程式：
Google Cloud Storage (GCS) 到 Google Drive¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Drive 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Apache Cassandra 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- Python API：
- 提供程式：
Google Calendar 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Spreadsheet 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Amazon Simple Storage Service (S3) 到 Google Cloud Storage (GCS)¶
Google Cloud Storage (GCS) 到 SSH File Transfer Protocol (SFTP)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
PostgreSQL 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google BigQuery 到 Common SQL¶
- 源產品文件：
- 目標產品文件：
- Python API：
- 提供程式：
Google BigQuery 到 MySQL¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google BigQuery 到 Microsoft SQL Server (MSSQL)¶
Google BigQuery 到 PostgreSQL¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
airflow.providers.google.cloud.transfers.bigquery_to_postgres- 提供程式：
Google Cloud Storage (GCS) 到 Google BigQuery¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Cloud Storage (GCS) 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Facebook Ads 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
airflow.providers.google.cloud.transfers.facebook_ads_to_gcs- 提供程式：
SSH File Transfer Protocol (SFTP) 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Microsoft Azure Data Lake Storage 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- Python API：
- 提供程式：
Google BigQuery 到 Google BigQuery¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
airflow.providers.google.cloud.transfers.bigquery_to_bigquery- 提供程式：
MySQL 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Oracle 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Cloud Storage (GCS) 到 Google Spreadsheet¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
本地到 Google Cloud Storage (GCS)¶
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google BigQuery 到 Google Cloud Storage (GCS)¶
Google Cloud Storage (GCS) 到本地¶
Salesforce 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Ads 到 Google Cloud Storage (GCS)¶
- 源產品文件：
- 目標產品文件：
- Python API：
- 提供程式：
Microsoft SQL Server (MSSQL) 到 Google Cloud Storage (GCS)¶
Microsoft Azure Blob Storage 到 Google Cloud Storage (GCS)¶
Google Cloud Storage (GCS) 到 Presto¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Cloud Storage (GCS) 到 Samba¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Cloud Storage (GCS) 到 Snowflake¶
- 源產品文件：
- 目標產品文件：
- Python API：
- 提供程式：
Google Cloud Storage (GCS) 到 Trino¶
- 源產品文件：
- 目標產品文件：
- 運算元指南：
- Python API：
- 提供程式：
Google Marketing Platform¶
注意
您可以透過分析示例 DAG 的原始碼來了解如何使用 Google Marketing Platform 整合。