apache-airflow-providers-microsoft-azure
更新日誌¶
12.3.1¶
雜項¶
remove superfluous else block (#49199)
12.3.0¶
新特性¶
add message_id, reply_to, and message_headers to send message operator (#47522)
雜項¶
Add 'ti' to the RemoteLogIO read and upload methods (#48804)Rework remote task log handling for the structlog era. (#48491)Updated msgraph-core and kiota libraries (#48589)
12.2.2¶
雜項¶
Add lower-binding for microsoft azure/winrm providers (#47990)AIP-72: Handle Custom XCom Backend on Task SDK (#47339)Remove default_view property from DAG class and model (#47616)
12.2.1¶
錯誤修復¶
Remove extra string interpolation from fstrings (#47436)Fix support for old method signature of pagination_function in MSGraphAsyncOperator (#47101)
雜項¶
AIP-72: Moving BaseOperatorLink to task sdk (#47008)Render structured logs in the new UI rather than showing raw JSON (#46827)Upgrade flit to 3.11.0 (#46938)
12.2.0¶
注意
此版本沒有程式碼更改。由於打包問題，之前的版本被撤回，因此釋出此版本。
12.1.0¶
新特性¶
Added support for certificate authentication with MSGraphAsyncOperator (#45935)
錯誤修復¶
fix: 'KiotaRequestAdapterHook' make sure proxy config parameter is parsed correctly, even if it is a string or json (#46145)fix: retry of PowerBIDatasetRefreshOperator when dataset refresh wasn't directly available (#45513)fix: compat issue HTTPX proxy configuration in KiotaRequestAdapterHook and fixed retry in MSGraphSensor (#45746)fix: assignment of proxies parameter in KiotaRequestAdapterHook (#45741)fix: Updated instantiated of httpx AsyncClient as the proxies parameter is deprecated and mounts parameter should be used instead (#45464)fix: return type for azure hook 'run_query' (#45470)
雜項¶
Refactor result_processor and event_handler signatures in MSGraphAsyncOperator (#46637)AIP-72: Improving Operator Links Interface to Prevent User Code Execution in Webserver (#46613)AIP-83 amendment: Add logic for generating run_id when logical date is None. (#46616)Add dynamic task mapping into TaskSDK runtime (#46032)Move update subscription from 'AzureServiceBusTopicCreateOperator' to 'AdminClientHook' (#45367)Move create topic from 'AzureServiceBusTopicCreateOperator' to 'AdminClientHook' (#45297)Refactor Azure Service Bus: move create_subscription to hook (#45125)
12.0.0¶
注意
如Apache Airflow 提供者支援策略中所述，此提供者版本僅適用於 Airflow 2.9+。
破壞性更改¶
警告
所有已棄用的類、引數和特性已從 microsoft azure provider 包中移除。引入了以下破壞性更改：
移除 azure 連線 extra 中已棄用的
extra__azure_data_explorer__foo。移除 azure 連線 extra 中已棄用的
extra__azure__tenantId。請改用tenantId。移除已棄用的
get_state_exitcode_details方法。請改用get_state。移除已棄用的
get_messages方法。請改用get_state。移除 azure 連線 extra 中已棄用的
extra__azure_data_factory__foo。在
AzureSynapsePipelineHook中使用 default_conn_name=azure_synapse_connection 已棄用。請改用default_conn_name=azure_synapse_default。移除已棄用的
get_hook方法以獲取AzureDataExplorerHook例項。請改用hook屬性。移除已棄用的
get_hook方法以獲取AzureBatchHook例項。請改用hook屬性。移除已棄用的
AzureKeyVaultBackend.get_conn_uri方法。請改用get_conn_value。移除已棄用的
WasbBlobAsyncSensor類。請改用帶有deferrable=True的WasbBlobSensor。移除已棄用的 operator AzureBlobStorageToGCSOperator。請改用
airflow.providers.google.cloud.transfers.azure_blob_to_gcs.AzureBlobStorageToGCSOperator。
Remove Provider Deprecations in Microsoft-AZURE (#44763)
錯誤修復¶
fix callable values in path and query parameters of MSGraphAsyncOperator (#43799)PowerBIDatasetRefreshOperator should fail when refresh fails (#44696)
雜項¶
Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)Move triggers to standard provider (#43608)Remove XCom pickling (#43905)Update DAG example links in multiple providers documents (#44034)Update path of example dags in docs (#45069)Avoid 1.1.8 version of msgraph-core (#45044)refactor: Added MS Graph connection type (#45006)
11.1.0¶
新特性¶
Add copy_object functionality for wasbhook (#43037)
錯誤修復¶
Fix Power BI trigger fetch status (#43494)
雜項¶
Add min version to ipykernel,scrapbook, pywinrm (#43603)
11.0.0¶
破壞性更改¶
警告
我們將 Azure Service Bus 訊息的訊息回撥更改為接受兩個引數：訊息和上下文，而不是隻接受訊息。這允許將訊息資訊推送到 XComs 中。要從僅接受訊息的先前版本升級，請將您的回撥更新為接受上下文作為第二個引數。
Add context to Azure Service Bus Message callback (#43370)
新特性¶
Feature: Added event_handler parameter in MSGraphAsyncOperator (#42539)
雜項¶
Add documentation for the PowerBIDatasetRefresh Operator. (#42754)Add upperbound to microsoft-kiota-abstractions (#43021)Restrict looker-sdk version 24.18.0 and microsoft-kiota-http 1.3.4 (#42954)
10.5.1¶
錯誤修復¶
(bugfix): Paginated results in MSGraphAsyncOperator (#42414)
雜項¶
Workaround pin azure kusto data (#42576)Removed conditional check for task context logging in airflow version 2.8.0 and above (#42764)
10.5.0¶
新特性¶
Allow custom api versions in MSGraphAsyncOperator (#41331)`` Add callback to process Azure Service Bus message contents (#41601)``
雜項¶
remove deprecated soft_fail from providers (#41710)Remove deprecated log handler argument filename_template (#41552)
10.4.0¶
注意
如Apache Airflow 提供者支援策略中所述，此提供者版本僅適用於 Airflow 2.8+。
新特性¶
Microsoft Power BI operator to refresh the dataset (#40356)Export Azure Container Instance log messages to XCOM (#41142)
錯誤修復¶
Fix mypy checks for new azure libraries (#41386)
雜項¶
Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)
10.3.0¶
新特性¶
Added priority to Azure Container Instances (#40616)
雜項¶
Bump minimum version for azure containerinstance. (#40767)
10.2.0¶
新特性¶
Add S3ToAzureBlobStorageOperator (#40511)
10.1.2¶
錯誤修復¶
Switch AzureDataLakeStorageV2Hook to use DefaultAzureCredential for managed identity/workload auth (#38497)BUGFIX: Make sure XComs work correctly in MSGraphAsyncOperator with paged results and dynamic task mapping (#40301)
雜項¶
implement per-provider tests with lowest-direct dependency resolution (#39946)
10.1.1¶
雜項¶
Remove unused backward compatibility _read function in WasbTaskHandler (#39827)Update example AzureContainerInstancesOperator (#39466)
10.1.0¶
注意
如Apache Airflow 提供者支援策略中所述，此提供者版本僅適用於 Airflow 2.7+。
新特性¶
add dns_config and diagnostics parameters to AzureContainerInstancesOperator (#39156)Add stacklevel into the 'AzureSynapsePipelineHook' deprecation warnings (#39192)Adding MSGraphOperator in Microsoft Azure provider (#38111)Make handling of connection by fs/adls.py closer to that of WasbHook and add unit tests. (#38747)Implement run-method on KiotaRequestAdapterHook and move logic away from triggerer to hook (#39237)Implemented MSGraphSensor as a deferrable sensor (#39304)
錯誤修復¶
Fix: Only quote the keys of the query_parameters in MSGraphOperator (#39207)
雜項¶
Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)Reapply templates for all providers (#39554)Faster 'airflow_version' imports (#39552)Simplify 'airflow_version' imports (#39497)
10.0.0¶
警告
我們將 azure-cosmos 的最低版本升級到 4.6.0，現在建立、獲取或刪除容器以及獲取文件都需要提供 partition key。
破壞性更改¶
警告
azure_synapse_pipeline連線型別已更改為azure_synapse。使用
default_conn_name=azure_synapse_connection已棄用，並將在未來移除。AzureSynapsePipelineHook的新預設連線名稱為：default_conn_name=azure_synapse_default。
Feature/refactor azure synapse pipeline class (#38723)
新特性¶
Add 'ADLSCreateObjectOperator' (#37821)
錯誤修復¶
fix(microsoft/azure): add return statement to yield within a while loop in triggers (#38393)fix cosmos hook static checks by making providing partition_key mandatory (#38199)
雜項¶
refactor: Refactored __new__ magic method of BaseOperatorMeta to avoid bad mixing classic and decorated operators (#37937)update to latest service bus (#38384)Limit azure-cosmos (#38175)
9.0.1¶
錯誤修復¶
fix: Pass proxies config when using ClientSecretCredential in AzureDataLakeStorageV2Hook (#37103)
9.0.0¶
破壞性更改¶
警告
在此提供者版本中，include 和 delimiter 引數已從 WasbPrefixSensorTrigger 中移除。現在需要透過 check_options 引數傳遞這些引數
Fix WasbPrefixSensor arg inconsistency between sync and async mode (#36806)add WasbPrefixSensorTrigger params breaking change to azure provider changelog (#36940)
錯誤修復¶
Fix failed tasks are not detected in 'AzureBatchHook' (#36785)Fix assignment of template field in '__init__' in 'container_instances.py' (#36529)
雜項¶
feat: Switch all class, functions, methods deprecations to decorators (#36876)
8.5.1¶
雜項¶
Remove unused '_parse_version' function (#36450)Clean WASB task handler code after bumping min Airflow version to 2.6.0 (#36421)
8.5.0¶
新特性¶
Allow storage options to be passed (#35820)
錯誤修復¶
azurefilesharehook fix with connection type azure (#36309)Follow BaseHook connection fields method signature in child classes (#36086)
雜項¶
Add code snippet formatting in docstrings via Ruff (#36262)
8.4.0¶
注意
如Apache Airflow 提供者支援策略中所述，此提供者版本僅適用於 Airflow 2.6+。
錯誤修復¶
Fix reraise outside of try block in 'AzureSynapsePipelineRunLink.get_fields_from_url' (#36009)Do not catch too broad exception in 'WasbHook.delete_container' (#36034)
雜項¶
Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)
8.3.0¶
新特性¶
Add Azure Synapse Pipeline connection-type in the UI (#35709)Add task context logging feature to allow forwarding messages to task logs (#32646)Add operator to invoke Azure-Synapse pipeline (#35091)Extend task context logging support for remote logging using WASB (Azure Blob Storage) (#32972)
雜項¶
檢查 TaskContextLogger set_context 父級而非自身的屬性 (#35780)移除 providers 中與 Airflow 2.3/2.4 的向後相容性 (#35727)
8.2.0¶
新特性¶
向 AsyncDefaultAzureCredential 新增託管身份支援 (#35394)feat(provider/azure): 向 container_registry hook 新增託管身份支援 (#35320)feat(provider/azure): 向 wasb hook 新增託管身份支援 (#35326)feat(provider/azure): 向 asb hook 新增託管身份支援 (#35324)feat(provider/azure): 向 cosmos hook 新增託管身份支援 (#35323)feat(provider/azure): 向 container_volume hook 新增託管身份支援 (#35321)feat(provider/azure): 向 container_instance hook 新增託管身份支援 (#35319)feat(provider/azure): 向 adx hook 新增託管身份支援 (#35325)feat(provider/azure): 向 batch hook 新增託管身份支援 (#35327)feat(provider/azure): 向 data_factory hook 新增託管身份支援 (#35328)feat(provider/azure): 向 synapse hook 新增託管身份支援 (#35329)feat(provider/azure): 向 fileshare hook 新增託管身份支援 (#35330)
Bug 修復¶
修復 AzureContainerInstanceOperator 的 remove_on_error (#35212)fix(providers/microsoft): 為 get_async_default_azure_credential 設定 use_async=True (#35432)
雜項¶
移除 Azure provider 中空的 TYPE_CHECKING 塊 (#35477)重構 azure 託管身份 (#35367)重用 Azure utils 方法中的 get_default_azure_credential 方法 (#35318)`` 使 AzureKeyVaultBackend 中的 DefaultAzureCredential 可配置 (#35052)``
使 AzureBaseHook 中的 DefaultAzureCredential 可配置 (#35051)
8.1.0¶
新特性¶
AIP-58: 新增 Airflow ObjectStore (AFS) (#34729)
8.0.0¶
注意
提供程式的此版本僅適用於 Airflow 2.5+，具體請參閱 Apache Airflow 提供程式支援策略。
重大變更¶
警告
在此版本的提供程式中，我們已從 AzureContainerInstancesOperator 和 AzureDataFactoryHook 方法中移除 network_profile 引數，並且 AzureDataFactoryRunPipelineOperator 引數 resource_group_name 和 factory_name 現在為必需引數，不再是 kwargs
resource_group_name 和 factory_name 現在是 AzureDataFactoryHook 方法 get_factory, update_factory, create_factory, delete_factory, get_linked_service, delete_linked_service, get_dataset, delete_dataset, get_dataflow, update_dataflow, create_dataflow, delete_dataflow, get_pipeline, delete_pipeline, run_pipeline, get_pipeline_run, get_trigger, get_pipeline_run_status, cancel_pipeline_run, create_trigger, delete_trigger, start_trigger, stop_trigger, get_adf_pipeline_run_status, cancel_pipeline_run 中的必需引數
AzureDataFactoryRunPipelineOperator 中的 resource_group_name 和 factory_name 現在為必需引數
移除
airflow.providers.microsoft.azure.hooks.data_factory中的PipelineRunInfo類從
AzureContainerInstancesOperator中移除network_profile引數從 azure_container_instance 連線 extras 中移除已棄用的
extra__azure__tenantId從 azure_container_instance 連線 extras 中移除已棄用的
extra__azure__subscriptionId提升 azure-mgmt-containerinstance 版本 (#34738)升級 microsift azure provider 中的 azure-mgmt-datafactory (#34040)
新特性¶
在 AzureContainerInstancesOperator 中新增 subnet_ids 引數 (#34850)允許在 AzureKeyVaultBackend 中透過關鍵字引數提供憑據 (#34706)
Bug 修復¶
在呼叫 ClientSecretCredential 時命名引數 (#34732)fix(providers/microsoft-azure): 丟擲異常時遵守 soft_fail 引數 (#34494)處理無法正確讀取 Azure 容器日誌的錯誤情況。 (#34627)修復 Azure Blob Storage 遠端日誌記錄選項中硬編碼的容器名稱 (#32779)
雜項¶
提升 providers 的最低 Airflow 版本 (#34728)整合 AzureBatchOperator 中的 hook 管理 (#34437)整合 AzureDataExplorerQueryOperator 中的 hook 管理 (#34436)
7.0.0¶
重大變更¶
警告
在此版本的提供程式中，我們將 AzureFileShareHook 更改為使用 azure-storage-file-share 庫而非 azure-storage-file，此更改影響了現有 hook 方法，詳情如下；同時移除了連線 extras 引數中已棄用的 extra__azure_fileshare__ 字首，並移除了連線 extras 中的 protocol 引數
AzureFileShareHook 的 get_conn 方法返回 None 而非 FileService
從 Azure fileshare 連線 extras 中移除 protocol 引數
從 Azure fileshare 連線 extras 中的 extra__azure_fileshare__ 字首以及 list_files 中移除已棄用的引數
從 AzureFileShareHook 方法 check_for_directory, list_directories_and_files, create_directory 中移除 share_name, directory_name 引數，轉而使用 AzureFileShareHook 的 share_name 和 directory_path 引數
AzureFileShareHook 方法 create_share 和 delete_share 接受來自 ShareServiceClient.create_share 和 ShareServiceClient.delete_share 的 kwargs 引數
從 AzureFileShareHook 方法 get_file, get_file_to_stream 和 load_file 中移除 share_name, directory_name, file_name 引數，轉而使用 AzureFileShareHook 的 share_name 和 file_path 引數
移除 AzureFileShareHook.check_for_file 方法
移除 AzureFileShareHook.load_string, AzureFileShareHook.load_stream，轉而使用 AzureFileShareHook.load_data
注意
LocalToAzureDataLakeStorageOperator 類已移除，轉而使用 LocalFilesystemToADLSOperator 類； AzureDataFactoryPipelineRunStatusAsyncSensor 類已移除，轉而使用 AzureDataFactoryPipelineRunStatusSensor 類
更新 Azure fileshare hook 以使用 azure-storage-file-share 而非 azure-storage-file (#33904)移除 'AzureDataFactoryPipelineRunStatusAsyncSensor' 類 (#34036)移除 'LocalToAzureDataLakeStorageOperator' 類 (#34035)
新特性¶
feat(providers/microsoft): 將 AzureContainerInstancesOperator.volume 新增為模板欄位 (#34070)向 AzureContainerRegistryHook 新增 DefaultAzureCredential 支援 (#33825)feat(providers/microsoft): 向 AzureContainerVolumeHook 新增 DefaultAzureCredential 支援 (#33822)
雜項¶
重構 providers 中的正則表示式 (#33898)改進關於 AzureBatchHook DefaultAzureCredential 支援的文件 (#34098)從 microsoft azure providers 中移除 azure-storage-common (#34038)移除 providers 中無用的字串拼接 (#33968)重構 providers 中不必要的 跳轉 (#33833)
6.3.0¶
新特性¶
新增 AzureBatchOperator 示例 (#33716)feat(providers/microsoft): 向 AzureContainerInstanceHook 新增 DefaultAzureCredential 支援 (#33467)為 ADX 服務新增 DefaultAzureCredential 認證 (#33627)feat(providers/microsoft): 向 data_lake 新增 DefaultAzureCredential (#33433)允許傳遞 fully_qualified_namespace 和 credential 來初始化 Azure Service Bus Client (#33493)向 cosmos 新增 DefaultAzureCredential 支援 (#33436)向 AzureBatchHook 新增 DefaultAzureCredential 支援 (#33469)
Bug 修復¶
修復 WasbHook 更新 account url 的問題 (#33457)修復 Azure Batch Hook 例項化的問題 (#33731)如果 Wasb 儲存賬戶名稱超過 24 個字元，則截斷 (#33851)移除 Azure MessageHook 中重複的訊息提交 (#33776)fix(providers/azure): 查詢 AzureCosmosDBHook 時移除 json.dumps (#33653)
雜項¶
重構: 移除無用的 str() 呼叫 (#33629)提升 azure-kusto-data 版本至 >=4.1.0 (#33598)簡化 providers/microsoft 中關於 len() 的條件 (#33566)將日誌級別設定為 WARNING (#33314)在適用情況下將 'X for X in Y' 簡化為 'Y' (#33453)提升 azure-mgmt-containerinstance 版本至 >=7.0.0,<9.0.0 (#33696)透過將部分模組匯入移入型別檢查塊來改進 Airflow providers 中的模組匯入 (#33754)在 providers 中使用單個包含多個上下文的語句而非巢狀語句 (#33768)移除 providers 中不必要的 and 並使用 list 重寫 (#33763)最佳化 Azure Provider 中 Airflow DB backend 的使用 (#33750)
6.2.4¶
雜項¶
透過刪除 conn extra 欄位中的自定義字首來清理 microsoft azure provider (#30558)
6.2.3¶
雜項¶
重構 WasbHook 中 account_url 的使用 (#32980)
6.2.2¶
雜項¶
新增 Redis 任務處理器 (#31855)將棄用資訊新增到 providers 模組和類的 docstring (#32536)
6.2.1¶
注意
注意：此版本修復了 WasbHook 中的 get_blobs_list_async 方法，該方法之前返回 blob 名稱列表，但（透過型別提示）宣告它返回 BlobProperties 物件列表。這是實現中的一個 Bug，已在此版本中修復。但是，如果您依賴於之前的行為，可能需要從此方法返回的陣列元素中檢索 name 屬性。
Bug 修復¶
修復在 WASB 中使用 Active Directory ID 作為主機時的重大更改 (#32560)修復 get_blobs_list_async 方法使其返回 BlobProperties (#32545)
雜項¶
將 'AzureBlobStorageToGCSOperator' 從 Azure provider 移至 Google provider (#32306)
6.2.0¶
新特性¶
新增 ADLS Gen2 的連線測試 (#32126)新增選項以將額外配置傳遞給 ClientSecretCredential (#31783)添加了 'AzureBlobStorageToS3Operator' 傳輸運算子 (#32270)
Bug 修復¶
捕獲到意外異常時取消管道 (#32238)修復未提供 account url 時，使用 login (account name) 構建 url 的問題 (#32082)如果在 "AzureDataFactory" 中捕獲到異常，則重新整理連線 (#32323)
雜項¶
文件變更：在 Azure provider 文件中添加了 Transfers 部分 (#32241)在 Azure providers 文件中添加了 Sensor 部分 (#32299)新增 default_deferrable 配置 (#31712)
6.1.2¶
注意
此版本取消了對 Python 3.7 的支援
雜項¶
使用標準 csv 庫替換 unicodecsv (#31693)移除 AzureBlobStorageToGCSOperator 中未使用的變數 (#31765)移除 Python 3.7 支援 (#30963)為 _read_remote_logs 新增 docstring 和簽名 (#31623)
6.1.1¶
Bug 修復¶
修復 WasbPrefixSensor 中的 deferrable 模式執行 (#31411)
雜項¶
最佳化 wasb sensors 的 deferred 模式執行 (#31009)
6.1.0¶
注意
提供程式的此版本僅適用於 Airflow 2.4+，具體請參閱 Apache Airflow 提供程式支援策略。
新特性¶
向 'WasbPrefixSensor' 新增 deferrable 模式 (#30252)
雜項¶
提升 providers 中的最低 Airflow 版本 (#30917)最佳化 'AzureDataFactoryPipelineRunStatusSensor' 的 deferrable 執行模式 (#30983)最佳化 AzureDataFactoryRunPipelineOperator 的 deferred 執行 (#31214)
6.0.0¶
重大變更¶
警告
在此版本的提供程式中，已從 AzureBlobStorageToGCSOperator 中移除了已棄用的 GCS hook 引數 delegate_to。現在可以使用 impersonation_chain 引數來實現模擬。
從 GCP operators 和 hooks 中移除 delegate_to (#30748)
雜項¶
將 WasbBlobAsyncSensor 合併到 WasbBlobSensor (#30488)
5.3.1¶
Bug 修復¶
修復 AzureDataFactoryPipelineRunLink 的 get_link 方法 (#30514)從 extra__azure__subscriptionId 載入 subscription_id (#30556)
5.3.0¶
新特性¶
新增 deferrable 模式的 'AzureDataFactoryRunPipelineOperator' (#30147)新增 deferrable 模式的 'AzureDataFactoryPipelineRunStatusSensor' (#29801)使用遠端日誌記錄時支援刪除本地日誌檔案 (#29772)
Bug 修復¶
修復延遲期間 ADF 作業失敗的問題 (#30248)修復使用 Active Directory 認證時 AzureDataLakeStorageV2Hook 的 'account_url' 問題 (#29980) (#29981)
雜項¶
將 AzureDataFactoryPipelineRunStatusAsyncSensor 合併到 AzureDataFactoryPipelineRunStatusSensor (#30250)在 AzureSynapseHook API 文件中公開缺失的引數 (#30099)
5.2.1¶
Bug 修復¶
使用 'WasbHook.delete_file()' 處理刪除超過 256 個 blob 的情況 (#29565)
5.2.0¶
新特性¶
啟用單個觸發器日誌記錄 (#27758)
Bug 修復¶
修復 AzureSynapseHook Python API 文件中的引數渲染問題 (#29041)
雜項¶
棄用 GCP operators 中的 'delegate_to' 引數並更新文件 (#29088)
5.1.0¶
新特性¶
新增 Azure Data Lake Storage Gen2 的 hook (#28262)
Bug 修復¶
在 WASB 連線表單中隱藏 'extra' 欄位 (#28914)
5.0.2¶
雜項¶
重新啟用 ARM 上的 azure service bus，因為它現在可以乾淨地構建 (#28442)
5.0.1¶
Bug 修復¶
使引數 'offset' 和 'length' 不再是必需引數 (#28234)
5.0.0¶
注意
提供程式的此版本僅適用於 Airflow 2.3+，具體請參閱 Apache Airflow 提供程式支援策略。
重大變更¶
在 AzureFileShareHook 中，如果連線 extra 字典中同時存在
extra__azure_fileshare__foo和foo，之前會使用帶字首的版本；現在將優先使用不帶字首的版本。移除已棄用的類 (#27417)在 Azure Batch 中，
vm_size和vm_node_agent_sku_id引數現在是必需引數。
雜項¶
將所有 providers 的最低 Airflow 版本移至 2.3.0 (#27196)
新特性¶
為 azure, google, authentication library 的急切升級新增限制 (#27535)允許並優先使用剩餘 azure provider 中不帶字首的 extra 欄位 (#27220)允許並優先使用 AzureFileShareHook 中不帶字首的 extra 欄位 (#27041)允許並優先使用 AzureDataExplorerHook 中不帶字首的 extra 欄位 (#27219)允許並優先使用 AzureDataFactoryHook 中不帶字首的 extra 欄位 (#27047)更新 WasbHook 以反映對不帶字首 extra 的偏好 (#27024)在 'get_field' 中查詢 'extra__' 而非 'extra_' (#27489)
Bug 修復¶
修復為 azure batch lib 新增型別提示後發現的 Azure Batch 錯誤 (#27601)修復 variables_prefix 為空時新增分隔符的問題 (#26749)
4.3.0¶
新特性¶
向 Azure DataFactory hook 新增 DataFlow 操作 (#26345)在 AzureContainerInstancesOperator 中新增 network_profile 引數 (#26117)新增 Azure synapse operator (#26038)自動 tail 檔案 日誌 在 Web UI 中 (#26169)實現 Azure Service Bus Topic Create, Delete Operators (#25436)
錯誤修復¶
修復 AzureBatchOperator 假陰性 任務 狀態 (#25844)
4.2.0¶
新功能¶
新增 'test_connection' 方法 到 AzureContainerInstanceHook (#25362)新增 test_connection 到 Azure Batch hook (#25235)Bump typing-extensions 和 mypy 為了 ParamSpec (#25088)實現 Azure Service Bus (Update 和 Receive) Subscription Operator (#25029)設定 預設 wasb Azure http 日誌 級別 到 warning; 修復 #16224 (#18896)
4.1.0¶
新功能¶
新增 'test_connection' 方法 到 AzureCosmosDBHook (#25018)新增 test_connection 方法 到 AzureFileShareHook (#24843)新增 test_connection 方法 到 Azure WasbHook (#24771)實現 Azure service bus subscription Operators (#24625)實現 Azure Service Bus Queue Operators (#24038)
錯誤修復¶
更新 providers 以 使用 functools compat 為了 ''cached_property'' (#24582)
4.0.0¶
重大變更¶
注意
此 provider 版本僅適用於 Airflow 2.2+，正如 Apache Airflow provider 支援策略 中所述。
新功能¶
傳遞 連線 extra 引數 到 wasb BlobServiceClient (#24154)
雜項¶
應用 每執行 日誌 模板 到 日誌 handlers (#24153)遷移 Microsoft 示例 DAGs 到 新 設計 #22452 - azure (#24141)新增 typing 到 Azure Cosmos Client Hook (#23941)
3.9.0¶
新功能¶
wasb hook: 使用 user defaultAzureCredentials 代替 managedIdentity (#23394)
雜項¶
替換 使用 of 'DummyOperator' 為 'EmptyOperator' (#22974)
3.8.0¶
新功能¶
更新 secrets backends 以 使用 get_conn_value 代替 get_conn_uri (#22348)
雜項¶
Docs: 修復 示例 用法 for 'AzureCosmosDocumentSensor' (#22735)
3.7.2¶
錯誤修復¶
修復 錯誤新增的 install_requires for 所有 providers (#22382)
3.7.1¶
雜項¶
新增 Trove classifiers 在 PyPI (Framework :: Apache Airflow :: Provider)
3.7.0¶
新功能¶
新增 'test_connection' 方法 到 'AzureDataFactoryHook' (#21924)新增 pre-commit 檢查 for docstring param 型別 (#21398)使 container 建立 可配置 當 上傳 檔案 透過 WasbHook (#20510)
雜項¶
支援 for Python 3.10(AzureCosmosDBHook) 更新 到 最新 Cosmos API (#21514)
3.6.0¶
新功能¶
新增 可選 功能 在 providers. (#21074)
雜項¶
重構 operator links 為 不 建立 ad hoc TaskInstances (#21285)
3.5.0¶
新功能¶
Azure: 新 sftp 到 wasb operator (#18877)移除 InputRequired 驗證 與 azure extra (#20084)新增 operator link 到 監控 Azure Data Factory pipeline runs (#20207)
3.4.0¶
新功能¶
移除 不必要 connection form 定製 在 Azure (#19595)更新 Azure modules 以 符合 AIP-21 (#19431)移除 'host' 從 隱藏欄位 在 'WasbHook' (#19475)使用 DefaultAzureCredential 如果 login 未提供 for Data Factory (#19079)
錯誤修復¶
修復 引數 錯誤 在 AzureContainerInstancesOperator (#19668)
3.3.0¶
新功能¶
更新 azure cosmos 到 最新版本 (#18695)添加了 sas_token var 到 BlobServiceClient 返回. 更新了 tests (#19234)新增 pre-commit hook for 常見拼寫錯誤 檢查 在 files (#18964)
錯誤修復¶
修復 changelog for Azure Provider (#18736)
其他¶
擴充套件 docs 關於 client auth for AzureKeyVaultBackend (#18659)靜態 start_date 和 default arg 清理 for Microsoft providers 示例 DAGs (#19062)
3.2.0¶
新功能¶
重新命名 AzureDataLakeStorage 到 ADLS (#18493)建立 ADF pipeline run operator, sensor + ADF 自定義 conn 欄位 (#17885)重新命名 LocalToAzureDataLakeStorageOperator 到 LocalFilesystemToADLSOperator (#18168)重新命名 FileToWasbOperator 到 LocalFilesystemToWasbOperator (#18109)
錯誤修復¶
修復了 wasb hook 嘗試 建立 container 當 獲取 a blob client (#18287)移除 冗餘 relabeling of password conn 欄位 (#18386)正確處理 of Account URL 自定義 conn 欄位 在 AzureBatchHook (#18456)正確處理 of 自定義 conn 欄位 值 在 the AzureDataExplorerHook (#18203)
主要¶
運算子名稱和匯入路徑的變更列在下表中。這是一個向後相容的變更。已棄用的運算子將在下一個主要版本中移除。
已棄用的運算子名稱 |
新的運算子名稱 |
已棄用的路徑 |
新的路徑 |
AzureDataLakeStorageListOperator |
ADLSListOperator |
airflow.providers.microsoft.azure.operators.adls_list |
airflow.providers.microsoft.azure.operators.adls |
AzureDataLakeStorageDeleteOperator |
ADLSDeleteOperator |
airflow.providers.microsoft.azure.operators.adls_delete |
airflow.providers.microsoft.azure.operators.adls |
3.1.1¶
雜項¶
最佳化 connection 匯入 for Airflow 2.2.0新增 secrets backend/logging/auth 資訊 到 provider yaml (#17625)
3.1.0¶
新功能¶
新增 支援 for managed identity 在 WASB hook (#16628)減少 log 訊息 for happy path (#16626)
錯誤修復¶
修復 多個 問題 在 Microsoft AzureContainerInstancesOperator (#15634)
3.0.0¶
重大變更¶
自動應用 apply_default decorator (#15667)
警告
由於移除了 apply_default decorator，此版本的 provider 需要 Airflow 2.1.0+。如果您的 Airflow 版本低於 2.1.0，並且您想安裝此 provider 版本，請先將 Airflow 升級到至少 2.1.0 版本。否則您的 Airflow package 版本將自動升級，您將不得不手動執行 airflow upgrade db 來完成遷移。
修復 AzureFileShare connection extras (#16388)
Azure Container Volume 和 Azure File Share 現在有專門的連線型別和可編輯的 UI 欄位。您不應再為這些連線使用 Wasb 連線型別。這些 hooks/operators 的連線 ID 名稱也已更改以反映這一點。
新功能¶
新增 oracle connection link (#15632)新增 delimiter argument 到 WasbHook delete_file 方法 (#15637)
錯誤修復¶
修復 colon spacing in ``AzureDataExplorerHookdocstring (#15841)``修復 wasb remote logging 當 blob 已存在時 (#16280)
2.0.0¶
重大變更¶
移除 不必要 AzureContainerInstance connection 型別 (#15514)
此變更移除了 azure_container_instance_default 連線型別，並將其替換為 azure_default。問題在於 AzureContainerInstance 連線型別是不必要的，因為它與普通的 “azure” 連線完全相同，但它的存在導致了 UI 連線編輯器中欄位名稱的重複併產生了不必要的警告。此版本對 Azure Container Instance 也使用普通的 Azure Hook 和連線。如果您已經在資料庫中建立了 azure_container_instance_default 連線，它將繼續工作，但當您第一次透過 UI 編輯它時，您需要將其型別更改為 azure_default。
新功能¶
新增 動態 connection 欄位 到 Azure Connection (#15159)
錯誤修復¶
修復 'logging.exception' 冗餘 (#14823)
1.3.0¶
新功能¶
大量 template_fields_renderers 新增 (#15130)
錯誤修復¶
修復 屬性 for AzureDataFactory hook (#14704)
1.2.0¶
新功能¶
新增 Azure Data Factory hook (#11015)
錯誤修復¶
BugFix: 修復 remote log in azure storage blob 顯示在 單行 (#14313)修復 AzureDataFactoryHook 例項化其連線失敗 (#14565)
1.1.0¶
更新了文件和readme檔案。
新功能¶
升級 azure blob 到 v12 (#12188)修復 Azure Data Explorer Operator (#13520)新增 AzureDatalakeStorageDeleteOperator (#13206)
1.0.0¶
provider 的初始版本。