亞馬遜 S3 到 Azure Blob 儲存傳輸運算子¶

Blob 服務在雲中將文字和二進位制資料儲存為物件。Blob 服務提供以下三種資源：儲存賬戶、容器和 Blob。在您的儲存賬戶中，容器提供了一種組織 Blob 集的方式。有關該服務的更多資訊，請訪問 Azure Blob Storage API 文件。本頁展示瞭如何將資料從本地檔案系統上傳到 Azure Blob 儲存。

使用 S3ToWasbOperator 傳輸將資料從 Amazon Simple Storage Service (S3) 複製到 Azure Blob 儲存。

先決條件任務¶

要使用這些運算子，您必須完成幾項工作

使用 AZURE PORTAL 或 AZURE CLI 建立必要的資源。
透過 pip 安裝 API 庫。
pip install 'apache-airflow[azure]'
詳細資訊請參閱安裝 Airflow®
設定連線.

運算子¶

將資料從 Amazon S3 傳輸到 Blob 儲存¶

要將資料從 Amazon AWS S3 桶複製到 Azure Blob 儲存容器，可以使用以下運算子：S3ToWasbOperator

使用示例

tests/system/microsoft/azure/example_s3_to_wasb.py

s3_to_wasb = S3ToAzureBlobStorageOperator(
    task_id="s3_to_wasb",
    s3_bucket=s3_bucket_name,
    container_name=wasb_container_name,
    s3_key=S3_KEY,
    blob_prefix=BLOB_PREFIX,  # Using a prefix for this
    trigger_rule=TriggerRule.ALL_DONE,
    replace=True,
)

參考¶

如需更多資訊，請參考以下連結