Azure Synapse Operators¶

Azure Synapse Analytics 是一項無限分析服務，它將資料整合、企業資料倉庫和大資料分析融為一體。它讓你能夠按照自己的方式自由地查詢資料，無論使用無伺服器選項還是專用選項，都能實現大規模查詢。Azure Synapse 透過統一的體驗將這些世界連線起來，以引入、探索、準備、轉換、管理和提供資料，滿足即時的 BI 和機器學習需求。

AzureSynapseRunSparkBatchOperator¶

使用 AzureSynapseRunSparkBatchOperator 來在 Synapse Analytics 中執行 Spark 應用程式。預設情況下，此 Operator 將定期檢查執行的 Spark 作業狀態，直到其終止並顯示“成功”狀態。

以下是使用此 Operator 在 Azure Synapse 上執行 Spark 應用程式的示例。

tests/system/microsoft/azure/example_azure_synapse.py

run_spark_job = AzureSynapseRunSparkBatchOperator(
    task_id="run_spark_job",
    spark_pool="provsparkpool",
    payload=SPARK_JOB_PAYLOAD,  # type: ignore
)

AzureSynapseRunPipelineOperator¶

使用 :class:~airflow.providers.microsoft.azure.operators.synapse.AzureSynapseRunPipelineOperator 來在 Synapse Analytics 中執行管道應用程式。此 Operator 將執行 Synapse 管道。

tests/system/microsoft/azure/example_synapse_run_pipeline.py

run_pipeline1 = AzureSynapseRunPipelineOperator(
    task_id="run_pipeline1",
    azure_synapse_conn_id="azure_synapse_connection",
    pipeline_name="Pipeline 1",
    azure_synapse_workspace_dev_endpoint="azure_synapse_workspace_dev_endpoint",
)

參考資料¶

欲瞭解更多資訊，請參閱 Microsoft 文件

Azure Synapse Analytics 文件