airflow.providers.microsoft.azure.transfers.s3_to_wasb¶

異常¶

`TooManyFilesToMoveException`	嘗試將多個檔案從 S3 移動到單個 Azure Blob 時丟擲的自定義異常。
`InvalidAzureBlobParameters`	當未向運算元傳遞 blob_prefix 或 blob_name 時引發的自定義異常。
`InvalidKeyComponents`	當未向 _create_key 提供 full_path 或 file_name + prefix 時引發的自定義異常。

類¶

S3ToAzureBlobStorageOperator

用於將資料從 AWS S3 儲存桶移動到 Microsoft Azure Blob 儲存的運算元。

模組內容¶

異常 airflow.providers.microsoft.azure.transfers.s3_to_wasb.TooManyFilesToMoveException(number_of_files)[source]¶

基類: Exception

嘗試將多個檔案從 S3 移動到單個 Azure Blob 時丟擲的自定義異常。

異常 airflow.providers.microsoft.azure.transfers.s3_to_wasb.InvalidAzureBlobParameters[source]¶

基類: Exception

當未向運算元傳遞 blob_prefix 或 blob_name 時引發的自定義異常。

異常 airflow.providers.microsoft.azure.transfers.s3_to_wasb.InvalidKeyComponents[source]¶

基類: Exception

當未向 _create_key 提供 full_path 或 file_name + prefix 時引發的自定義異常。

類 airflow.providers.microsoft.azure.transfers.s3_to_wasb.S3ToAzureBlobStorageOperator(*, aws_conn_id='aws_default', wasb_conn_id='wasb_default', s3_bucket, container_name, s3_prefix=None, s3_key=None, blob_prefix=None, blob_name=None, create_container=False, replace=False, s3_verify=False, s3_extra_args=None, wasb_extra_args=None, **kwargs)[source]¶

基類: airflow.models.BaseOperator

用於將資料從 AWS S3 儲存桶移動到 Microsoft Azure Blob 儲存的運算元。

存在一個類似的類，用於將資料從 Microsoft Azure Blob 儲存移動到 AWS S3 儲存桶，位於 airflow/providers/amazon/aws/transfers/azure_blob_to_s3.py 檔案中

可以提供顯式的 S3 key，或者包含要傳輸到 Azure blob 儲存的檔案的 S3 字首。Blob 名稱也是如此；可以傳遞顯式名稱，或者為要儲存的檔案提供 Blob 字首。

引數:

aws_conn_id (str) – 要使用的 AWS S3 連線 ID。
wasb_conn_id (str) – 要使用的 Azure Blob 儲存連線 ID。
s3_bucket (str) – 要從中傳輸物件（或多個物件）的 AWS S3 儲存桶的名稱。(templated)
container_name (str) – 要將物件（或多個物件）傳輸到的 Azure 儲存 Blob 容器的名稱。(templated)
s3_prefix (str | None) – 用於過濾以此外字首開頭的任何 S3 物件的字串字首。(templated)
s3_key (str | None) – 要傳輸的顯式 S3 key（物件）。(templated)
blob_prefix (str | None) – 一個字串字首，用於在 Azure 儲存 Blob 容器中為要移動的物件（或多個物件）提供路徑。(templated)
blob_name (str | None) – 要將物件傳輸到的顯式 blob 名稱。這隻能在移動單個檔案時使用。如果要將 S3 儲存桶中的多個檔案移動到單個 Azure blob，則會引發異常。(templated)
create_container (bool) – 如果容器不存在則應建立，為 True；否則為 False。
replace (bool) – 如果容器中存在 blob 且 replace 的值為 true，則會覆蓋它。如果 replace 為 False 且容器中存在 blob，則檔案將不會被覆蓋。
s3_verify (bool) –
是否驗證 S3 連線的 SSL 證書。預設情況下，會驗證 SSL 證書。您可以提供以下值
- False: 不驗證 SSL 證書。SSL 仍將使用
  （除非 use_ssl 為 False），但 SSL 證書將不會被驗證。
- path/to/cert/bundle.pem: 要使用的 CA 證書包的檔名。
  如果您想使用與 botocore 使用的不同的 CA 證書包，可以指定此引數。
s3_extra_args (dict | None) – 要傳遞給 S3Hook 的 kwargs。
wasb_extra_args (dict | None) – 要傳遞給 WasbHook 的 kwargs。

template_fields: collections.abc.Sequence[str] = ('s3_bucket', 'container_name', 's3_prefix', 's3_key', 'blob_prefix', 'blob_name')[source]¶

aws_conn_id = 'aws_default'[source]¶

wasb_conn_id = 'wasb_default'[source]¶

s3_bucket[source]¶

container_name[source]¶

s3_prefix = None[source]¶

s3_key = None[source]¶

blob_prefix = None[source]¶

blob_name = None[source]¶

create_container = False[source]¶

replace = False[source]¶

s3_verify = False[source]¶

s3_extra_args[source]¶

wasb_extra_args[source]¶

屬性 s3_hook: airflow.providers.amazon.aws.hooks.s3.S3Hook[source]¶

建立並返回 S3Hook。

屬性 wasb_hook: airflow.providers.microsoft.azure.hooks.wasb.WasbHook[source]¶

建立並返回 WasbHook。

execute(context)[source]¶

當運算元作為任務執行時，執行以下邏輯。

get_files_to_move()[source]¶

確定需要移動的檔案列表，並返回名稱。

move_file(file_name)[source]¶

將檔案從 S3 移動到 Azure Blob 儲存。