apache-airflow-providers-amazon
變更日誌¶
9.6.1¶
Bug 修復¶
修復 'EksClusterStateSensor'. 將 'region' 儲存為 屬性 (#49138)減小 'MwaaTriggerDagRunOperator' 中 'waiter_max_attempts' 的 預設值 (#49136)增大 'BedrockBatchInferenceOperator' 中 'waiter_max_attempts' 的 預設值 (#49090)
其他¶
使用 contextlib.suppress(exception) 代替 try-except-pass 並新增 SIM105 ruff 規則 (#49251)為 aws auth_manager 新增 base_url 回退 (#49305)移除 多餘的 else 塊 (#49199)AWS Batch Operator/Sensor 繼承 AWS Base 類 (#49172)幫助 pip 查詢 適用於 aiobotocore 的 適當 boto (#49166)更新 EKS Operator 和 Sensor 以 繼承 AWS Base 類 (#48192)
9.6.0¶
新特性¶
新增 Bedrock Batch Inference Operator 及相關 部分 (#48468)更新 ECS executor 以支援 Task SDK (#48513)
Bug 修復¶
處理 waiter_with_logging.py 中的 NoCredentialsError (#48946)Bedrock Batch Inference - 嘗試 停止 已完成的 作業被視為 成功結果 (#48964)S3Hook: 在 不活躍期 檢查中 移除 錯誤 返回 (#48782)
其他¶
在 GlueJobHook 中將 list_jobs 方法重新命名為 describe_jobs (#48904)修復 MwaaHook 文件字串中的 拼寫錯誤 (#48980)更新 Amazon RDS Operator 和 Sensor 以 繼承 AWS Base 類 (#48872)更改 特定於 提供程式的 依賴項以 引用 提供程式 (#48843)
9.5.0¶
新特性¶
在 AWS MwaaHook 中新增 呼叫 MWAA API 的 備用 實現 (#47035)新增 AWS SageMaker Unified Studio Workflow Operator (#45726)在 RdsExportTaskExistenceSensor 中新增 錯誤 狀態 檢查 (#46917)通用 訊息佇列 (#46694)在 GlueJobHook 中獲取 日誌時，向 paginator.paginate 新增 startTime (#46950)將 MwaaDagRunSensor 新增到 Amazon Provider 包 (#46945)新增 等待/推遲 支援 - MwaaTriggerDagRunOperator (#47528)為 MwaaDagRunSensor 新增 可推遲 支援 (#47527)
Bug 修復¶
修復 aws trigger 測試，使用 get_async_conn 作為 模擬 物件 (#47515)修復: 不要 為 非同步 目的 使用 阻塞 屬性 訪問 (#47326)修復並 簡化 認證管理器中的 'get_permitted_dag_ids' (#47458)在 EMR Containers sensor 失敗時 記錄 狀態 (#47125)在 S3ToRedshiftOperator 中不要 期望 預設 連線 (#48363)在 RedshiftToS3Operator 中不要 期望 預設 連線 存在 (#47968)修復 PosixPath 在 S3Hook 的 download_file 中與 檔案 create_asset 不相容的 問題 (#47880)修復 Cloudwatch 遠端 日誌記錄 (#48774)修復 'conf.get_boolean("api", "ssl_cert")' (#48465)修復 'BatchWaitersHook.get_waiter' 簽名與 父類 不匹配的 問題 (#48581)
其他¶
將 airflow.auth 遷移到 airflow.api_fastapi.auth (#47492)AIP-72: 將 BaseOperatorLink 移至 task sdk (#47008)為 認證管理器 新增 一些 型別提示 並要求 kwargs (#47455)AIP-84 - 為 Assets 新增 認證 (#47136)AWS Base 類 - S3 (#47321)從 認證管理器中 移除 未使用的 方法 (#47316)將 api-server 移至 埠 8080 (#47310)在新 UI 中 渲染 結構化 日誌，而不是 顯示 原始 JSON (#46827)移除 舊 UI 和 webserver (#46942)不要 從 example_glue.py 中移除 日誌組 (#47128)將 'fastapi-api' 命令移至 'api-server' (#47076)從 新 UI 中移除 '/webapp' 字首 (#47041)限制 moto 5.1.0 以修復 CI (#47005)將 boto3 最低 版本 提升至 1.37.0 (#48238)將 BaseNotifier 移至 Task SDK (#48008)使用 AWS Base 類 更新 EC2 Operator 和 Sensor (#47931)將 mypy-boto3-appflow 提升至 >=1.37.0 (#47912)降低 bind xmlsec 依賴 版本 (#47696)澄清 Redshift 刪除叢集 Operator 的 訊息 傳遞 (#48652)為 structlog 時代重做 遠端 任務 日誌處理 (#48491)將 'BaseSensorOperator' 移至 TaskSDK 定義 (#48244)非 TLS 模式下的 Cookie (#48453)
9.4.0¶
注意
此版本沒有程式碼更改。由於之前版本因打包問題被撤回而釋出此版本。
9.3.0¶
警告
實驗性的 AWS 認證 管理器 不再與 Airflow 2 相容
新特性¶
將 MwaaTriggerDagRunOperator 和 MwaaHook 新增到 Amazon Provider 包 (#46579)為 EC2 新增 額外連結 (#46340)允許將 container_name 引數傳遞給 EcsRunTaskOperator (#46152)新增 DataSync 連結 (#46292)為 Comprehend Operator 新增 額外 連結 (#46031)為 BatchOperator 新增 超時 支援 (#45660)新增 SageMaker Transform 額外連結 (#45677)為 AWS SqsPublishOperator 新增 MessageDeduplicationId 支援 (#45051)
Bug 修復¶
重做 TriggererJobRunner 以 在沒有 資料庫訪問許可權的 程序中 執行 觸發器 (#46677)由於 重組，修復 AWS 認證 管理器 系統 測試中的 schema 路徑 (#46625)增加 'EmrContainerHook.create_emr_on_eks_cluster' 中的 重試 次數 (#46562)更新 'create_emr_on_eks_cluster' 方法，當 "叢集由於其連線 正在更新而 不可訪問" 時進行 重試 (#46497)為 EKS Hook 生成 分割槽感知 的 STS 端點 (#45725)Sagemaker Operator 字元 限制 修復 (#45551)修復 EKS hook 中的 'fetch_access_token_for_cluster' (#45469)DMS 等待器 replication_terminal_status 已擴充套件，可在另外 2 種 狀態下 繼續 進行: "created" 和 "deprovisioned" (#46684)
其他¶
AIP-72: 改進 Operator Link 介面以 防止 使用者程式碼在 Webserver 中執行 (#46613)更新 'example_sqs' 不使用 'logical_date' (#46696)將 不正確的 AirflowProviderDeprecationWarning 忽略更改為 3.12 測試的 DeprecationWarning 忽略 (#46612)更新 AWS 認證 管理器使用 Fastapi 代替 Flask (#46381)AIP-72: 將 Secrets Masker 移至 task SDK (#46375)將 CeleryExecutor 切換到 使用 TaskSDK 執行 (#46265)使 認證 管理器介面中 所有方法的 引數 'user' 成為 強制項 (#45986)在 'GlueJobOperator' 中新增 'run_job_kwargs' 作為 模板 欄位 (#45973)為 'OutletEventAccessor' 使用 Protocol (#45762)AIP-72: 支援 SDK 中 Context 字典 的 更好型別提示 (#45583)移除 可以直接從 'typing_compat' 匯入的 類 (#45589)將 Literal 別名 移至 TYPE_CHECKING 塊中 (#45345)移除 marshmallow 版本 限制；更新 已棄用的 用法 (#45499)移除 針對 pre-python 3.9 的 過時 pandas 規範 (#45399)在 認證 管理器介面中 新增 定義 FastAPI api 的 選項 (#45009)
9.2.0¶
注意
此提供程式版本僅適用於 Airflow 2.9+，如Apache Airflow 提供程式支援策略中所述。
新特性¶
新增 DMS Serverless Operator (#43988)為 SFTPToS3Operator 新增 fail_on_file_not_exist 選項 (#44320)為 'EmrCreateJobFlowOperator' 新增 'wait_policy' 選項 (#44055)為 'S3CopyObjectOperator' 新增 meta_data_directive (#44160)
其他¶
移除 對 AIRFLOW_V_2_9_PLUS 的 引用 (#44987)將 提供程式中的 最低 Airflow 版本 提升至 Airflow 2.9.0 (#44956)在 提供程式中 檢查 Airflow 版本的 統一 方式 (#44686)移除 S3 asset 匯入中 不必要的 相容性 程式碼 (#44714)從 taskinstance 中移除 AIP-44 (#44540)在 EcsRunTaskOperator 中新增 do_xcom_push 文件 (#44440)將 Asset 使用者可見 元件移至 task_sdk (#43773)在 Fast API 中設定 JWT token 認證 (#42634)將 mypy-boto3-appflow 提升並 移除 '# type: ignore[arg-type]' (#44115)更新 多個 提供程式 文件中的 DAG 示例連結 (#44034)
9.1.0¶
新特性¶
feat: 為 RedshiftToS3Operator 新增 OpenLineage 支援 (#41632)新增 'SageMakerProcessingSensor' (#43144)使 'RedshiftDataOperator' 支援處理 多個 查詢 (#42900)
Bug 修復¶
修復(providers/amazon): 將 is_authorized_dataset 別名為 is_authorized_asset (#43470)移除 athena hook 的 final 子句中的 返回 語句 (#43426)修復: 在 EksHook 中將 \s 替換為 空格 (#43849)修復如果 未傳遞 s3_bucket 引數，'HttpToS3Operator' 會丟擲 異常的 問題 (#43828)新增 'container_name' 並更新 'awslogs_stream_prefix' 模式 (#43138)檢查 awslogs_stream_prefix 是否已以 container_name 結尾 (#43724)bugfix: openlineage 與 'AthenaOperator' 整合的 description 應為 可選 (#43576)(bugfix): 'EcsRunTaskOperator' 將 'volume_configurations' 與 'capacity_provider_strategy' 解耦 (#43047)GlueJobOperator: 新增 選項以 等待 清理 完成後 再返回 作業 狀態 (#43688)解決 導致 'GlueJobTrigger' 序列化 bug，使 verbose 始終為 True 的 問題 (#43622)移除 S3ToDynamoDBOperator 的 final 子句中的 返回 語句 (#43456)
其他¶
移除 sqlalchemy-redshift 依賴項 (#43271)feat(providers/amazon): 在 通用 提供程式中 使用 asset (#43110)限制 looker-sdk 版本為 24.18.0，microsoft-kiota-http 版本為 1.3.4 (#42954)限制 mypy-boto3-appflow (#43436)將 PythonOperator 移至 Standard provider (#42081)為 DbApiHook, PrestoHook, 和 TrinoHook 新增 分號 去除 支援 (#41916)移除 cncf.kubernetes provider 中的 棄用項 (#43689)修復 AthenaTrigger 的 文件 字串 (#43616)
9.0.0¶
重大變更¶
警告
為了支援 RedshiftData operator 中的會話重用，引入了以下重大變更
The database argument is now optional and as a result was moved after the sql argument which is a positional one. Update your DAGs accordingly if they rely on argument order. Applies to
RedshiftDataHook’sexecute_querymethodRedshiftDataOperator
RedshiftDataHook 的 execute_query 方法現在返回一個 QueryExecutionOutput 物件，而不僅僅是作為字串的語句 ID。
RedshiftDataHook 的 parse_statement_resposne 方法已重新命名為 parse_statement_response。
S3ToRedshiftOperator 的 schema 引數現在是可選的，並移至位置引數 s3_key 之後。如果您的 DAG 依賴引數順序，請相應地更新。
警告
所有已棄用的類、引數和功能已從 Amazon provider 包中移除。引入了以下重大更改
Hooks
移除
AthenaHook中的sleep_time引數。請改用poll_query_status移除
BaseAsyncSessionFactory移除
AwsBaseAsyncHook移除
AwsLogsHook.get_log_events方法中的start_from_head引數移除
QuickSightHook中的sts_hook屬性移除
RedshiftAsyncHook移除 S3 連線型別。請改用
aws作為conn_type，並在extras中的service_config.s3中指定bucket_name移除
SageMakerHook.start_pipeline方法中的wait_for_completion、check_interval和verbose引數移除
SageMakerHook.stop_pipeline方法中的wait_for_completion、check_interval和verbose引數
Operator
移除
AppflowRunOperator中的source引數移除
BatchOperator中的overrides引數。請改用container_overrides移除
BatchCreateComputeEnvironmentOperator中的status_retries引數移除
DataSyncOperator中的get_hook方法。請改用hook屬性移除
EcsDeregisterTaskDefinitionOperator中的wait_for_completion、waiter_delay和waiter_max_attempts引數。請改用waiter_max_attempts和waiter_delay移除
EcsRegisterTaskDefinitionOperator中的wait_for_completion、waiter_delay和waiter_max_attempts引數。請改用waiter_max_attempts和waiter_delay移除
EksCreateClusterOperator中的eks_hook屬性。請改用hook屬性移除
EksPodOperator中的pod_context、pod_username和is_delete_operator_pod引數移除
EmrStartNotebookExecutionOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
EmrStopNotebookExecutionOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
EmrContainerOperator中的max_tries引數。請改用max_polling_attempts移除
EmrCreateJobFlowOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
EmrServerlessCreateApplicationOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
EmrServerlessStartJobOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
EmrServerlessStopApplicationOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
EmrServerlessDeleteApplicationOperator中的waiter_countdown和waiter_check_interval_seconds引數。請改用waiter_max_attempts和waiter_delay移除
GlueDataBrewStartJobOperator中的delay引數。請改用waiter_delay移除
RdsBaseOperator中的hook_params引數移除
SageMakerProcessingOperator中的action_if_job_exists引數的可能值increment移除
SageMakerTransformOperator中的action_if_job_exists引數的可能值increment移除
SageMakerTrainingOperator中的action_if_job_exists引數的可能值increment
Secrets
移除
SecretsManagerBackend中kwargs引數的可能鍵full_url_mode和are_secret_values_urlencoded
Sensors
移除
BatchSensor中的get_hook方法。請改用hook屬性移除
DmsTaskBaseSensor中的get_hook方法。請改用hook屬性移除
EmrBaseSensor中的get_hook方法。請改用hook屬性移除
GlueCatalogPartitionSensor中的get_hook方法。請改用hook屬性移除
GlueCrawlerSensor中的get_hook方法。請改用hook屬性移除
QuickSightSensor中的quicksight_hook屬性。請改用QuickSightSensor.hook移除
QuickSightSensor中的sts_hook屬性移除
RedshiftClusterSensor中的get_hook方法。請改用hook屬性移除
S3KeySensor中的get_hook方法。請改用hook屬性移除
SageMakerBaseSensor中的get_hook方法。請改用hook屬性移除
SqsSensor中的get_hook方法。請改用hook屬性移除
StepFunctionExecutionSensor中的get_hook方法。請改用hook屬性
傳輸
移除
AwsToAwsBaseOperator中的aws_conn_id引數。請改用source_aws_conn_id移除
GCSToS3Operator中的bucket和delimiter引數。請改用gcs_bucket而非bucket
Triggers
移除
BatchOperatorTrigger。請改用BatchJobTrigger移除
BatchSensorTrigger。請改用BatchJobTrigger移除
EksCreateFargateProfileTrigger中的region引數。請改用region_name移除
EksDeleteFargateProfileTrigger中的region引數。請改用region_name移除
EmrCreateJobFlowTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
EmrTerminateJobFlowTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
EmrContainerTrigger中的poll_interval引數。請改用waiter_delay移除
GlueCrawlerCompleteTrigger中的poll_interval引數。請改用waiter_delay移除
GlueDataBrewJobCompleteTrigger中的delay和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
RdsDbInstanceTrigger。請改用其他 RDS 觸發器，例如RdsDbDeletedTrigger、RdsDbStoppedTrigger或RdsDbAvailableTrigger移除
RedshiftCreateClusterTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
RedshiftPauseClusterTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
RedshiftCreateClusterSnapshotTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
RedshiftResumeClusterTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
RedshiftDeleteClusterTrigger中的poll_interval和max_attempts引數。請改用waiter_delay和waiter_max_attempts移除
SageMakerTrainingPrintLogTrigger。請改用SageMakerTrigger
Utils
移除
AwsConnectionWrapper中extra_config的可能鍵test_endpoint_url。請在extras中的service_config.sts中設定endpoint_url移除
AwsConnectionWrapper中conn_type的可能值s3。請更新您的連線，將conn_type設定為'aws'移除連線額外配置中的鍵
session_kwargs。請直接指定傳遞給 boto3 session 的引數移除 AWS 連線中的
host，請改為在extra['endpoint_url']中設定它移除
AwsHookParams中的region引數。請改用region_name
移除 Amazon provider 包中的已棄用內容 (#42450)支援在 'RedshiftDataOperator' 中複用會話 (#42218)
新特性¶
將 STOPPED 新增到 Sagemaker Training Jobs 的失敗情況中 (#42423)
錯誤修復¶
'S3DeleteObjects' Operator: 處理作為字串傳遞的日期 (#42464)對 AWS AVP cli 初始化指令碼的小修復 (#42479)透過減少睡眠時間加快 AWS 日誌記錄 (#42449)修復 AWS 認證管理器中的登出問題 (#42447)fix(providers/amazon): 處理在 table.get_item 期間 key 丟失後丟擲的 ClientError (#42408)
其他¶
放棄對 core 和 providers 的 python3.8 支援 (#42766)移除對 airflow 2.8.0 及以上版本中任務上下文日誌記錄的條件檢查 (#42764)將 dataset 相關的 python 變數名重新命名為 asset (#41348)移除 identity center 認證管理器 cli (#42481)重構 AWS 認證管理器的使用者輸出 (#42454)移除 Amazon provider 中的 'sqlalchemy-redshift' 依賴 (#42830)撤銷 "移除 Amazon provider 中的 'sqlalchemy-redshift' 依賴" (#42864)
8.29.0¶
新特性¶
在 ECSRunTaskOperator 中新增對卷配置的支援 (#42087)Openlineage s3 到 redshift operator 整合 (#41575)
錯誤修復¶
ECSExecutor: 移除與 EC2 不相容的引數 (#42228)修復 'GlueDataBrewStartJobOperator' 的模板欄位 (#42073)在 waiters 中驗證 aws 服務異常 (#41941)修復 S3Hook.parse_s3_url() 中對 "#" 的處理 (#41796)fix: 從 S3ToRedshiftOperator 中移除部分 openlineage 提取 (#41631)providers 檔案任務處理器中 filename 模板引數的向後相容性支援 (#41633)fix: 在 RedshiftToS3Operator 中， select_query 應優先於預設查詢 (#41634)
其他¶
實際將 saml 移至 amazon provider (錯誤地新增到 papermill 中) (#42148)在 AWS Glue DataBrew Operators/Triggers 中使用基礎 aws 類 (#41848)將 'register_views' 移至認證管理器介面 (#41777)移除 airflow.models.taskinstance 的已棄用內容 (#41784)從 providers 中移除已棄用的 soft_fail (#41710)從 providers 中移除已棄用的 soft_fail 第二部分 (#41727)限制 watchtower 作為依賴，因為 3.3.0 版本破壞了 moin。 (#41612)移除已棄用的日誌處理器引數 filename_template (#41552)
8.28.0¶
注意
此版本的 provider 僅適用於 Airflow 2.8+，如 Apache Airflow provider 支援策略 中所述。
警告
在 8.17.0 版本為 RedshiftDataOperator 引入 deferrable 模式時，配置了 deferrable=True 和 wait_for_completion=True 的任務不會進入 deferred 狀態。相反，任務會一直佔用一個執行器槽，直到語句完成。一個可能的變通方法是將 wait_for_completion 設定為 False。在此版本中，配置了 wait_for_completion=False 的任務將不再等待，無論 deferrable 的值如何。
新特性¶
在 'DynamoDBToS3Operator' 中新增增量匯出和跨賬戶匯出功能 (#41304)AWS Batch submit_job 的 EKS Overrides (#40718)
錯誤修復¶
修復 'AwsTaskLogFetcher' 丟失日誌的問題 (#41515)修復 'RdsHook' 中的 Exception 名稱並解除依賴固定 (#41256)修復 RedshiftDataOperator 未按預期在 deferred 模式下執行的問題 (#41206)
其他¶
對 example_dynamodb_to_s3.py 的部分修復 (#41517)移除 AWS provider 中的已棄用程式碼 (#41407)將 providers 中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)暫時限制 moto 版本 - 5.0.12 版本破壞了我們的測試 (#41244)
8.27.0¶
新特性¶
為 'StepFunctionStartExecutionOperator' 新增 RedriveExecution 支援 (#40976)openlineage: 為 S3Hook 新增 hook 血緣 支援 (#40819)引入 Amazon Kinesis Analytics V2 (Managed Service for Apache Flink 應用) (#40765)
Bug 修復¶
使 EMR Container Trigger 的最大 嘗試次數 重試 與 Operator 匹配 (#41008)修復 'RdsStopDbOperator' operator 在 可延遲模式下 的問題 (#41059)修復 'RedshiftCreateClusterOperator' 使其 始終 指定 'PubliclyAccessible' (#40872)修復 Redshift 叢集 operator 和 sensor 使用 可延遲模式時 的問題 (#41191)修復 'EmrServerlessStartJobOperator' 在 可延遲模式下 的問題 (#41103)
其他¶
更新 'example_redshift' 和 'example_redshift_s3_transfers' 改用 'RedshiftDataHook' 而不是 'RedshiftSQLHook' (#40970)openlineage: 將 OpenLineage provider 遷移到 V2 facets。 (#39530)[AIP-62] 將 AIP-60 URI 轉換為 OpenLineage (#40173)將 AWS Managed Service for Apache Flink sensor 狀態 移至 Hook (#40896)將 任務 上下文 日誌記錄器 的用法替換為 日誌表 (#40867)棄用 'SageMakerTrainingPrintLogTrigger' (#41158)
8.26.0¶
注意
降低 S3KeyTrigger Decorator 的記憶體佔用。 provide_bucket_name_async 已移除。非同步操作不需要單獨的 decorator。舊的已被移除，使用者可以將 provide_bucket_name 用於協程函式、非同步迭代器和普通同步函式。Hook 方法 get_file_metadata_async 現在是一個非同步迭代器。之前，元資料物件累積在一個列表中。現在，物件在分頁遍歷結果時生成。要獲取列表，可以在列表推導式中使用 async for。S3KeyTrigger 在某些情況下避免將所有匹配項載入到記憶體中。
注意
此版本包含非同步 session 的顯著資源利用率改進。
功能¶
不再為 EMR Serverless 動態確定操作連結 (#40627)能夠在 S3 hook 的 copy_object 中移除 ACL (#40518)功能(aws): 在 S3 sensor 中為 check_fn 提供 上下文 (#40686)
Bug 修復¶
修復 AthenaOperator 的 OpenLineage 提取 (#40545)降低 S3 key trigger 的 記憶體佔用 (#40473)向 ECS trigger 事件新增 叢集 以避免 延遲錯誤 (#40482)修復 可延遲的 AWS SageMaker operator (#40706)使 'AwsAuthManager' 僅相容 Airflow >= 2.9 (#40690)為 S3 operator 新增 序列化 選項 (#40659)
其他¶
在 AWS Glue Data Catalog Sensor 中使用 基礎 AWS 類 (#40492)在 AWS Glue Crawlers Operator/Sensor/Trigger 中使用 基礎 AWS 類 (#40504)在 asyncio boto session 之間共享 資料載入器 (#40658)在 'EcsExecutor' 中將 執行器日誌傳送到 任務日誌 (#40468)在 'AwsBatchExecutor' 中將 執行器日誌傳送到 任務日誌 (#40698)
8.25.0¶
功能¶
新增 Amazon Comprehend 文件分類器 (#40287)
Bug 修復¶
修復 AWS utils 中 'importlib_metadata' 的匯入 (#40134)openlineage, redshift: 對於低於 Airflow 2.10 的 schema 不呼叫 資料庫 (#40197)在 'RedshiftToS3Operator' 中延遲匹配 轉義引號 (#40206)使用 標準庫 'importlib.metadata' 獲取 'botocore' 包版本 (#40137)
其他¶
更新 Python 3.12 對 pandas 的最低要求 (#40272)
8.24.0¶
功能¶
AWS Batch submit_job 的 ECS 覆蓋 (#39903)新增 傳輸 operator S3ToDynamoDBOperator (#39654)新增 Glue 資料質量 規則推薦執行 (#40014)允許 在 S3KeySensor 的 check_fn 中使用 使用者指定的 物件屬性 (#39950)新增 Amazon Glue 資料質量服務 (#39923)
Bug 修復¶
在 SageMakerTransformOperator 中去除 模型名稱重複 (#39956)修復: 從 templated_fields 中移除 process_func (#39948)修復 可延遲模式下的 AWS assume role session 建立 (#40051)
其他¶
解決 ECS fargate 棄用警告 (#39834)解決 EMR notebook 棄用警告 (#39829)提升 boto 最低版本 (#40052)文件: 提及在使用 Batch 'ecs_properties_override' 時， AWS provider 需要 boto3 1.34.52 的最低版本 (#39983)
8.23.0¶
功能¶
Amazon Bedrock - Retrieve 和 RetrieveAndGenerate (#39500)引入 Amazon Comprehend 服務 (#39592)
Bug 修復¶
修復: AthenaExtractor 的 openlineage 資料集名稱為空的問題 (#39677)修復 AWS Batch operator 重試策略的 預設值 (#39608)Sagemaker trigger: 將 作業名稱 作為 事件的一部分傳遞 (#39671)處理 batch 執行器的 任務領養 (#39590)bugfix: 處理 NeptuneStopDbClusterOperator 中的 無效叢集狀態 (#38287)透過確保為 可延遲 trigger 設定 'waiter_max_attempts' 來修復 'EmrOperator' 中的 自動終止問題 (#38658)
其他¶
解決 EMR 棄用警告 (#39743)其他: 新增關於移除 未使用程式碼的註釋 (#39748)
8.22.0¶
功能¶
'S3DeleteObjectsOperator' 添加了 按上次修改時間過濾 key 的能力 (#39151)Amazon Bedrock - 新增 知識庫 和 資料來源整合 (#39245)
Bug 修復¶
EcsExcecutor Scheduler 處理 try_number 的遞增 (#39336)ECS Executor: 任務活躍後將其狀態設為 RUNNING (#39212)
其他¶
新增 'jmespath' 作為 顯式依賴項 (#39350)移除 'xmlsec' 依賴項 (#39534)重新應用所有 provider 的模板 (#39554)更快的 'airflow_version' 匯入 (#39552)增強(amazon_hook): 下載檔案時丟擲 未找到異常 而不是 通用異常 (#39509)簡化 'airflow_version' 匯入 (#39497)
8.21.0¶
注意
根據 Apache Airflow provider 支援策略 的說明，此 provider 版本僅適用於 Airflow 2.7+。
功能¶
為 AWS LambdaCreateFunctionOperator 新增 logging_config,snapstart,ephemeral_storage 引數 (#39300)
Bug 修復¶
修復 GlueJobOperator 中 使用 本地指令碼檔案時 連續執行失敗的 Bug (#38960)更新 auth manager 中的 'is_authorized_custom_view' 以處理 自定義操作 (#39167)更新 邏輯以使 AWS Batch Client hook 中的重試生效 (#38998)Amazon Bedrock - 模型吞吐量預置 (#38850)
其他¶
在 Microsoft Azure provider 中新增 MSGraphOperator (#38111)將 provider 中的 Airflow 最低版本提升到 Airflow 2.7.0 (#39240)允許 使用更短的路徑匯入 AWS 執行器 (#39093)從 AWS auth manager 中移除 使用它的標誌 (#39033)限制 xmlsec<1.3.14 (#39104)
8.20.0¶
功能¶
AWS Batch 執行器 (#37618)為 AWS 執行器新增 備用 'region_name' 值 (#38704)引入 Amazon Bedrock 服務 (#38602)Amazon Bedrock - 模型自定義作業 (#38693)ECS 執行器 - 新增對領養 孤立任務的支援。 (#37786)更新 AWS auth manager CLI 命令以不停用 AVP schema 驗證 (#38301)
Bug 修復¶
減少 's3hook' 記憶體使用 (#37886)在 AWS auth manager 中新增檢查以驗證 Amazon Verified Permissions schema 是否最新 (#38333)修復: 使用 partial/expand 時 EmrServerlessStartJobOperator 未正確序列化 DAG 的問題。 (#38022)修復(amazon): 在 trigger 的 while 迴圈中的 yield 中新增 return 語句 (#38396)修復在 'MappedOperator' 中設定 已棄用的 Amazon operator 引數 (#38346)'ECSExecutor' API 重試 Bug 修復 (#38118)修復基於 'AwsBaseOperator' / 'AwsBaseSensor' 的 'MappedOperator' 中的 'region' 引數 (#38178)修復 ECS 執行器中一個 任務失敗時跳過其他任務的 Bug。 (#37979)修復 AWS Redshift to S3 operator 的 初始化檢查 (#37861)
其他¶
使方法 'BaseAuthManager.is_authorized_custom_view' 成為 抽象方法 (#37915)在 AWS auth manager 中將 "Role" 替換為 "Group" (#38078)避免在 測試之外 使用 'assert' (#37718)在 獲取 Glue 作業日誌時使用 'AwsLogsHook' (#38010)在 AWS auth manager 中實現 'filter_permitted_dag_ids' (#37666)AWS auth manager CLI: 更新時保留 策略儲存描述 (#37946)將 Batch Executor 日誌訊息中的 f-string 更改為 格式化字串 (#37929)
8.19.0¶
功能¶
在 AWS auth manager 中實現 'filter_permitted_menu_items' (#37627)在 AWS auth manager 中實現 'batch_is_authorized_*' API (#37430)
Bug 修復¶
修復 AWS 'eks' 的 初始化檢查 (#37674)修復 AWS gcs_to_s3 的 初始化檢查 (#37662)
其他¶
使用命名日誌記錄器 而不是 根日誌記錄器 (#37801)避免使用 非推薦的 日誌記錄方式 (#37792)統一 'aws_conn_id' 型別，使其始終為 'str | None' (#37768)限制 'pandas' 為 '<2.2' (#37748)實現 AIP-60 資料集 URI 格式 (#37005)提升 openapi validators 的最低版本 (#37691)更新 AWS auth manager 中的 操作名稱 (#37572)
8.18.0¶
功能¶
ECS 執行器 - 對失敗任務重試新增 回退策略 (#37109)SqlToS3Operator: 功能/ 新增 max_rows_per_file 引數 (#37055)新增 Amazon Neptune Hook 和 Operator (#37000)在 'EmrContainerOperator' 中新增 重試配置 (#37426)為 AWS auth manager 建立 CLI 命令以建立 AWS Identity Center 相關資源 (#37407)為 EMR Serverless 新增 額外的 operator 連結 (#34225)
Bug 修復¶
修復 'log_query' 在 'AthenaOperator' 中正確格式化 SQL 語句的問題 (#36962)在 延遲 'SageMakerTrainingOperator' 之前檢查 SageMaker 訓練作業狀態 (#36685)
其他¶
根據 遞迴 Python 字典更新 合併所有 ECS 執行器配置 (#37137)更新 'BatchSensor' 的預設值 (#37234)從 download_file 中移除 資訊日誌 (#37211)S3ToRedshiftOperator 的 aws_conn_id 模板化 (#37195)更新 ECS 文件 (#37125)功能: 將所有 類、函式、方法的 棄用標記切換到 decorator (#36876)替換 provider 中 'datetime.utcnow' 和 'datetime.utcfromtimestamp' 的用法 (#37138)為 Amazon provider "execute_coplete" 方法新增 型別註解 (#36330)
8.17.0¶
功能¶
為 RedshiftDataOperator 新增 可延遲模式 (#36586)為 ECS 執行器新增 容量提供程式支援 (#36722)為 'S3KeySensor' 新增 use_regex 引數以允許使用 正則表示式檢查 S3 key (#36578)為 RedshiftClusterSensor 新增 可延遲模式 (#36550)AthenaSqlHook 實現 (#36171)為 AWS auth manager 建立 CLI 命令以建立 Amazon Verified Permissions 相關資源 (#36799)在 AWS auth manager 中實現 'is_authorized_dag' (#36619)
Bug 修復¶
修復 provider 中 warnings.warn 的 stacklevel (#36831)EC2 'CreateInstance': 在 on_kill 中終止 例項 (#36828)如果未設定 '[aws] cloudwatch_task_handler_json_serializer' ，則回退到 預設值 (#36851)AWS auth manager: 對於 AVP 命令丟擲 AirflowOptionalProviderfeature 異常 (#36824)在 延遲 SageMakerTransformOperator 之前檢查 transform 作業狀態 (#36680)在 延遲 SageMaker processing 作業之前檢查 job_status (#36658)在 BatchOperator 在 可延遲模式下執行之前檢查 job_status (#36523)更新 redshift 主機名檢查以避免 潛在 Bug (#36703)在 'AwsEcsExecutor' 中重新整理 憑據 (#36179)
其他¶
修復 'S3ListOperator' 中 apply_wildcard 引數的 docstring。更改 docstring 順序以修復問題。 (#36679)在 AWS DMS Operators/Sensors 中使用基礎 aws 類 (#36772)在 AWS Redshift Data API Operators 中使用基礎 aws 類 (#36764)在 Amazon EventBridge Operators 中使用基礎 aws 類 (#36765)在 Amazon QuickSight Operators/Sensors 中使用基礎 aws 類 (#36776)在 AWS Datasync Operators 中使用基礎 aws 類 (#36766)在 Amazon DynamoDB Sensors 中使用基礎 aws 類 (#36770)在 AWS CloudFormation Operators/Sensors 中使用基礎 aws 類 (#36771)將所有 providers 和 airflow 的最低 pandas 依賴設定為 1.2.5 (#36698)提升 amazon-provider 相關依賴的最低版本 (#36660)
8.16.0¶
特性¶
新增 AWS Step Functions 連結 (#36599)為 Redshift SQL 新增 OpenLineage 支援 (#35794)
Bug 修復¶
修復 'AwsToAwsBaseOperator' 中 '__init__' 中模板欄位的賦值問題 (#36604)修復 'DataSyncOperator' 中 '__init__' 中模板欄位的賦值問題 (#36605)在延遲到 triggerer 之前檢查 Redshift 叢集狀態 (#36416)
其他¶
在 Amazon SQS Operators/Sensors/Triggers 中使用基礎 aws 類 (#36613)在 Amazon SNS Operators 中使用基礎 aws 類 (#36615)在 AWS Step Functions Operators/Sensors/Triggers 中使用基礎 aws 類 (#36468)
8.15.0¶
特性¶
新增 Amazon Athena 查詢結果額外連結 (#36447)
Bug 修復¶
fix(providers/amazon): 移除 EmrContainerOperator.execute_complete 中的 event['message'] 呼叫 | 因為鍵 message 已不存在 (#36417)在 S3Hook.is_keys_unchanged_async 中處理 tzinfo (#36363)
其他¶
在 Amazon ECS Operators/Sensors/Triggers 中使用基礎 aws 類 (#36393)
8.14.0¶
特性¶
為 'SqsSensor' 新增 'jsonpath_ng.ext.parse' 支援 (#36170)將 ConflictException 重試次數增加到總共 4 次 (#36337)增加 trigger.html 中 execution_date 輸入欄位的寬度 (#36278) (#36304)允許傳遞儲存選項 (#35820)
Bug 修復¶
從 auth manager 中移除 'is_authorized_cluster_activity' (#36175)在子類中遵循 BaseHook connection fields 方法簽名 (#36086)
其他¶
透過 Ruff 在 docstrings 中新增程式碼片段格式化 (#36262)從 Amazon Provider 中移除剩餘的 Airflow 2.6 後向相容程式碼 (#36324)
8.13.0¶
注意
此 provider 版本僅適用於 Airflow 2.6+，具體請參閱 Apache Airflow provider 支援策略中的說明。
特性¶
支援 Redshift serverless 的 IAM 認證 (#35897)在 AWS auth manager 中實現 'is_authorized_variable' (#35804)增強 'DynamoDBValueSensor' 中的 'attribute_value' 以接受列表 (#35831)
Bug 修復¶
修復 'RedshiftToS3Operator' 中單引號的處理問題 (#35986)修復 Redshift Serverless 中 get_iam_token 的 bug (#36001)修復 'AthenaHook.get_output_location' 中 try 塊外面的 reraise 問題 (#36008)修復 EKS trigger 中訪問 hooks 的 bug (#35989)修復 'GlacierToGCSOperator' 中使用的方法名 bug (#35978)修復 EC2Hook get_instance for client_type api 問題 (#35960)避免在 EmrServerlessCancelJobsTrigger 初始化時建立 hook (#35992)在將 'EmrContainerTrigger' 遷移到 'AwsBaseWaiterTrigger' 後，停止從 event 中獲取 message (#35892)修復 'EksCreateClusterOperator' 的 deferrable 模式問題 (#36079)
其他¶
將 providers 中的最低 Airflow 版本提升到 Airflow 2.6.0 (#36017)更新 'boto3' 和 'botocore' 版本說明 (#36073)改進 only_client_type decorator 的型別提示 (#35997)重構 EmrContainerHook 中的一些方法 (#35999)重構 AthenaHook 中的 get_output_location (#35996)將 RDS hook 移至 RDS trigger 中的 cached property (#35990)在 AzureBlobStorageToS3Operator 中將預設空字典值替換為 None (#35977)更新 'set_context' 簽名以匹配父類簽名，並停止在 CloudwatchTaskHandler 中設定例項屬性 (#35975)在 AWS S3 FS 中使用 S3 hook 代替 AwsGenericHook (#35973)AWS auth manager: 實現所有 'is_authorized_*' 方法 (但排除 'is_authorized_dag') (#35928)在 S3Hook 中移除設定一個不存在的物件引數，並改用區域性變數 (#35950)
8.12.0¶
特性¶
新增 'EC2HibernateInstanceOperator' 和 'EC2RebootInstanceOperator' (#35790)為 'S3FileTransformOperator' 新增 OpenLineage 支援 (#35819)為 S3Operators - Copy, Delete and Create Object 新增 OpenLineage 支援 (#35796)在 Amazon AWS provider Batch Operator 中新增 retry strategy 引數，以允許動態 Batch 重試策略 (#35789)在 EmrServerlessStartJobOperator 的 template_fields 中新增 name 欄位 (#35648)openlineage, aws: 為 AthenaOperator 新增 OpenLineage 支援。 (#35090)在 AWS auth manager 中實現 login 和 logout (#35488)
Bug 修復¶
修復 Batch operator 的 retry_strategy 問題 (#35808)修復並重新應用 provider 文件模板 (#35686)使 EksPodOperator 的 exec config 不依賴於 log level (#35771)修復 'EmrServerlessStartJobOperator' 中的 'configuration_overrides' 引數問題 (#35787)
其他¶
更新 docstring: 'check_key_async' 現在與 '_check_key_async' 的描述一致 (#35799)檢查父類屬性而非自身屬性 (關於 TaskContextLogger set_context) (#35780)允許更寬範圍的 watchtower 版本 (#35713)擴充套件任務上下文日誌記錄支援，以便使用 AWS S3 進行遠端日誌記錄 (#32950)如果任務在 ECS Executor 中失敗，記錄容器的失敗原因 (#35496)
8.11.0¶
破壞性變更¶
特性¶
新增對 objectstorage 訪問 s3 bucket 匿名訪問的支援 (#35273)ECS Executor 健康檢查 (#35412)
Bug 修復¶
修復 AWS RDS hook 的 DB instance 狀態檢查問題 (#34773)修復 Amazon docstrings 中的引數語法問題 (#35349)改進 AWS 連結中的錯誤處理 (#35518)使用 catchall except 更新 ECS executor healthcheck (#35512)
其他¶
將 ECS Executor 移至單獨的檔案 (#35418)澄清 ECS Executor 日誌訊息中的 "task" (#35304)使 'AthenaOperator' 中的 'output_location' 屬性成為可選 (#35265)
8.10.0¶
注意
此版本引入了實驗性特性：AWS ECS Executor。
特性¶
新增 AWS ECS Executor (#34381)AIP-58: 新增 Airflow ObjectStore (AFS) (#34729)新增 Http to s3 operator (#35176)
Bug 修復¶
在 S3 download_files() hook 中啟用加密。 (#35037)
其他¶
在 Amazon AppFlow Operators 中使用基礎 aws 類 (#35082)在 Amazon Athena Operators/Sensors/Triggers 中使用基礎 aws 類 (#35133)在 Amazon Lambda Operators/Sensors 中使用基礎 aws 類 (#34890)在 Amazon S3 Glacier Operators/Sensors 中使用基礎 aws 類 (#35108)在 'AthenaOperator' 中暴露 catalog 引數 (#35103)
8.9.0¶
特性¶
新增 Glue 'DataBrew' operator (#34807)將 'check_interval' 和 'max_attempts' 作為 'DynamoDBToS3Operator' 的引數 (#34972)
Bug 修復¶
將 'EcsRunTaskOperator' 的預設 waiter duration 設定為 70 天 (#34928)
8.8.0¶
注意
此 provider 版本僅適用於 Airflow 2.5+，具體請參閱 Apache Airflow provider 支援策略中的說明。
特性¶
實現 'AwsBaseOperator' 和 'AwsBaseSensor' (#34784)將 hooks 引數擴充套件到 'AwsBaseWaiterTrigger' (#34884)允許在 AWS Connection 中按服務設定 'endpoint_url' (#34593)將 AWS Lambda 執行日誌包含到任務日誌中 (#34692)
Bug 修復¶
fix(providers/amazon): 在丟擲異常時遵循 soft_fail 引數 (#34134)如果找不到日誌，不使 operator 失敗 (#34570)執行 'BatchSensors' 時遵循 'soft_fail' 引數 (#34592)執行 'SqsSensor' 時遵循 'soft_fail' 引數 (#34569)執行 'EcsBaseSensor' 時遵循 'soft_fail' 引數 (#34596)執行 'SageMakerBaseSensor' 時遵循 'soft_fail' 引數 (#34565)在 'S3KeysUnchangedSensor' 和 'S3KeySensor' 中遵循 'soft_fail' 引數 (#34550)在 'LambdaFunctionStateSensor' 中遵循 'soft_fail' 引數 (#34551)在 'AthenaSensor' 中遵循 'soft_fail' 引數 (#34553)在 'QuickSightSensor' 中遵循 'soft_fail' 引數 (#34555)在 'GlacierJobOperationSensor' 中遵循 'soft_fail' 引數 (#34557)在 'GlueJobSensor', 'GlueCatalogPartitionSensor' 和 'GlueCrawlerSensor' 中遵循 'soft_fail' 引數 (#34559)在 'StepFunctionExecutionSensor' 中遵循 'soft_fail' 引數 (#34560)
其他¶
重構 providers 中 consolidate import from io (#34378)將 watchtower 升級到 3.0.1 (#25019) (#34747)提升 providers 的最低 Airflow 版本 (#34728)重構: consolidate import time in providers (#34402)重構 providers 中 str() 的使用 (#34320)重構 import from collections (#34406)澄清 Amazon Lambda 呼叫和 sensing (#34653)重構 providers 中將多個 equals 替換為 contains (#34441)在 'GCSToS3Operator' 中將 'bucket' 重新命名為 'gcs_bucket' (#33031)移除 Amazon Provider 中重複的 'asgiref' 依賴 (#34580)更新 'BatchOperator' 的 operator_extra_links 屬性 (#34506)sagemaker.py 拼寫錯誤修復 (#34445)在 providers 中使用 'airflow.exceptions.AirflowException' (#34511)在 Amazon provider 的 deprecated decorator 中使用 'AirflowProviderDeprecationWarning' (#34488)在 EMR Operators 中使用 'AirflowProviderDeprecationWarning' (#34453)在 DataSyncOperator 中棄用 get_hook ，並改用 hook (#34427)重構 providers 中更短的預設值 (#34347)
8.7.1¶
Bug 修復¶
Bug 修復: 修復 RDS triggers 引數，使其能處理 serialization/deserialization (#34222)在 EmrAddStepsOperator deferred 模式中使用基於 AwsBaseWaiterTrigger 的 trigger (#34216)
其他¶
重構: 在 providers 中積極思考 (#34279)從 'EksPodOperator' 的 docstring 中移除未使用的引數 'cluster_role_arn' (#34300)修正 'S3CreateObjectOperator' 的 docstring 中的引數名稱 (#34263)重構: 簡化比較 (#34181)簡化為 bool(...) (#34258)
8.7.0¶
警告
版本 8.0.0 中引入的一個 bug 導致所有 EcsRunTaskOperator 任務在 10 分鐘後從 ECS task 分離並失敗，即使 ECS task 仍在執行。在此版本中，我們透過將預設的 waiter_max_attempts 值恢復為 sys.maxsize 來修復此問題。
特性¶
新增 Amazon SQS Notifier (#33962)新增 Amazon SNS Notifier (#33828)
Bug 修復¶
增加 'EcsRunTaskOperator' 中 'waiter_max_attempts' 的預設值 (#33712)修復 AWS 'EmrStepSensor' 在 延遲 模式 下 忽略 指定的 'aws_conn_id' (#33952)修復 AppflowHook 中的 型別 標註 (#33881)使 Amazon Chime 連線 延遲 載入 並 與 文件 保持 一致 (#34000)在 可 延遲 模式 下 執行 BatchSensor 時 遵循 "soft_fail" 引數 (#33405)
雜項¶
重構: 合併 random 的 匯入 和 使用 (#34108)
合併 os.path.* 的 匯入 (#34060)
重構 providers 中的 regex (#33898)
重構: 簡化 aws/triggers/batch.py 中的 迴圈 (#34052)
合併 providers 中 類似 的 if 邏輯 (#33987)
在 測試 中 將 單引號 替換 為 雙引號 (#33864)
從 providers 中 移除 無用的 字串 連線 (#33968)
使 'aws.session_factory' 成為 Amazon provider 配置 文件 的 一部分 (#33960)
重構 providers 中 不必要的 跳轉 (#33833)
在 providers 中 將 try - except pass 替換 為 contextlib.suppress (#33980)
從 providers 程式碼 中 移除 一些 無用的 try/except (#33967)
重構: 在 providers 中 將 lambdas 替換 為 comprehensions (#33771)
在 Airflow providers 中 將 序列 拼接 替換 為 解包 (#33933)
重組 airflow 的 setup.py 中的 devel_only 額外項 (#33907)
從 Airflow providers 包 和 測試 中 移除 顯式的 字串 連線 (#33860)
改進 AWS provider 中的 模組 匯入， 透過 將 其中 一些 移動 到 型別 檢查 塊 中 (#33780)
始終 使用 來自 'typing_extensions' 的 'Literal' (#33794)
在 providers 中 使用 字面量 字典 而不是 呼叫 dict() (#33761)
在 providers 中 移除 不必要的 並 使用 list 重寫 (#33763)
8.6.0¶
特性¶
添加了 Amazon SageMaker Notebook hook 和 operators (#33219)向 'LambdaCreateFunctionOperator' 新增 'deferrable' 選項 (#33327)向 GlueCatalogPartitionSensor 新增 可 延遲 模式 (#33239)向 'S3ToSqlOperator' 新增 'sql_hook_params' 引數 (#33427)向 'SqlToS3Operator' 新增 'sql_hook_params' 引數 (#33425)新增 用於 傳遞 role ARN 的 引數 到 'GlueJobOperator ' (#33408)新增 新的 RdsStartExportTaskOperator 引數 (#33251)
Bug 修復¶
修復 在 使用 AWS CloudWatch 時 任務 日誌 中的 bug。 不要 設定 'start_time' (#33673)修復 AWS Batch waiter 的 失敗 狀態 (#33656)修復 AWS appflow waiter (#33613)修復 在 'SageMakerEndpointOperator' 中 回退 到 更新 時 剝離 標籤 的 問題 (#33487)
雜項¶
在 providers/amazon 中 簡化 關於 len() 的 條件 (#33565)移除 EcsRunTaskOperator 中 非 公開 介面 的 使用 (#29447)升級 botocore/aiobotocore 的 最低 要求 (#33649)合併 itertools 的 匯入 和 使用 (#33479)合併 pandas 的 匯入 和 使用 (#33480)在 'EcsRunTaskOperator' 中 總是 將 ECS 任務 ARN 推送 到 xcom (#33703)對於 waiters， 使用 連結 到 資源 元資料 的 'boto3.client' 而不是 建立 新的 (#33552)
8.5.1¶
Bug 修復¶
在 EMR 作業 失敗 時 獲取 失敗 資訊 (#32151)修復 AWS logs hook 中的 get_log_events() 方法 (#33290)
雜項¶
改進 從 AWS 獲取 日誌 (#33231)重構: 簡化 providers/amazon 中的 程式碼 (#33222)實現 EventBridge 啟用 和 停用 規則 的 operators (#33226)更新 mypy-boto3-appflow 依賴項 (#32930)在 'RdsBaseOperator' 中 使用 來自 functools 的 'cached_property' (#33133)對 'EcsDeregisterTaskDefinitionOperator' 的 'template_fields' 使用 set (#33129)
8.5.0¶
特性¶
openlineage, sagemaker: 新增 對於 SageMaker 的 Processing, Transform 和 Training operators 的 OpenLineage 支援 (#31816)新增 Amazon EventBridge PutRule hook 和 operator (#32869)向 GCSToS3Operator 新增 GCS Requester Pays 儲存桶 支援 (#32760)
Bug 修復¶
在 GCSToS3Operator 中 提供 match_glob 引數 之前 檢查 google provider 版本 (#32925)為 延遲 的 BatchJobOperator 設定 更 長 的 預設 'waiter_max_attempts' (#33045)
雜項¶
openlineage, sagemaker: 新增 缺失 的 OpenLineage 型別 簽名 (#33114)為 mypy 新增 S3Bucket (#33028)
8.4.0¶
特性¶
在 test_connection 中 新增 endpoint_url (#32664)新增 對 查詢 Redshift Serverless 叢集 的 支援 (#32785)向 StepFunctionStartExecutionOperator 新增 可 延遲 模式 (#32563)為 EMR Serverless Start Job Operator 新增 可 延遲 模式 (#32534)新增 Eventbridge PutEvents operator 和 hook (#32498)向 rds 啟動 和 停止 DB 新增 可 延遲 模式 (#32437)EMR serverless Create/Start/Stop/Delete Application 的 可 延遲 模式 (#32513)使 Start and Stop SageMaker Pipelines operators 可 延遲 (#32683)EKS Create/Delete Operator 的 可 延遲 模式 (#32355)
Bug 修復¶
修復 在 使用 'assume_role' 時 透過 使用 AioCredentials 的 AWS 可 延遲 operators (#32733)[bugfix] 修復 如果 未 指定 區域 則 反序列化 會 崩潰 的 AWS triggers (#32729)修復 prune_dict 中的 bug， 即使 在 嚴格 模式 下 空 字典 和 列表 也 會 被 移除 (#32573)修復 S3ToRedshiftOperator 在 UPSERT 時 不 支援 預設值 的 問題 (#32558)在 達到 最大 嘗試 次數 後， AWS ECS trigger 不 返回 成功 (#32589)
雜項¶
將 所有 k8S 類 移動 到 cncf.kubernetes provider (#32767)將 Appflow mypy 限制 到 1.28.12， 因為它 引入了 奇怪 的 型別 問題 (#32901)進一步 限制 mypy-boto3-appflow， 因為 修復 尚 無 跡象 (#32927)
8.3.1¶
Bug 修復¶
如果 存在， 將 區域 資訊 附加 到 S3ToRedshitOperator (#32328)
8.3.0¶
特性¶
新增 'ChimeWebhookHook' (#31939)新增 'ChimeNotifier' (#32222)向 S3KeysUnchangedSensor 新增 可 延遲 模式 (#31940)向 'RdsCreateDbInstanceOperator' 和 'RdsDeleteDbInstanceOperator' 新增 可 延遲 模式 (#32171)為 'AthenaOperator' 新增 可 延遲 模式 (#32186)向 'BatchCreateComputeEnvironmentOperator' 新增 可 延遲 模式 (#32036)在 EMR operator 和 sensor 中 新增 可 延遲 模式 (#32029)向 "with logging" 的 aws utils 新增 非同步 等待 方法 (#32055)向 EMR Serverless 新增 自定義 waiters (#30463)向 'GlueJobOperator' 新增 一個 選項， 以便 在 TI 被 終止 時 停止 作業 執行 (#32155)'SageMakerTuningOperator' 和 'SageMakerEndpointOperator' 的 可 延遲 模式 (#32112)EKS Create/Delete Nodegroup 的 可 延遲 模式 (#32165)ECS operators 的 可 延遲 模式 (#31881)特性: AWS - GlueJobOperator - job_poll_interval (#32147)添加了 'AzureBlobStorageToS3Operator' 傳輸 operator (#32270)為 aws triggers 引入 基類 (#32274)
Bug 修復¶
bug 修復: 在 ECS operator 中 分解 run+wait 方法 (#32104)在 解析 無效 的 's3_url' 時 處理 'UnboundLocalError' (#32120)修復 'LambdaInvokeFunctionOperator' 的 payload 引數 型別 (#32259)GCSToS3Operator 的 Bug 修復: 當 'replace=False' 且 檔案 已 存在 於 S3 中 時， 避免 'ValueError' (#32322)
雜項¶
棄用 GCS 中的 'delimiter' 引數 和 源 物件 的 萬用字元， 引入 新的 'match_glob' 引數。 (#31261)aws waiter 工具 類: 在 waiter 錯誤 時 使用 error 級別 記錄 狀態 資訊 (#32247)重寫 在 ecs 中 使用 的 方法， 以 獲取 更 少 的 日誌 (#31786)重構 Eks Create Cluster Operator 程式碼 (#31960)在 'AthenaHook' 中 使用 waiter (#31942)向 'KubernetesPodOperator' 新增 'on_finish_action' (#30718)新增 default_deferrable 配置 (#31712)棄用 向 RDS hook 傳遞 任意 引數 (#32352)對 RDS operator 的 快速 修復， 以 防止 引數 衝突 (#32436)移除 在 AWS RDS trigger 中 指定 任意 hook 引數 的 能力 (#32386)僅當 存在 於 config dict 中 時 才 更新 crawler 標籤 (#32331)
8.2.0¶
注意
此版本放棄了對 Python 3.7 的 支援
特性¶
向 EmrTerminateJobFlowOperator 新增 可 延遲 選項 (#31646)向 EmrCreateJobFlowOperator 新增 可 延遲 選項 (#31641)向 'BatchSensor' 新增 可 延遲 模式 (#30279)為 S3KeySensor 新增 可 延遲 模式 (#31018)向 Emr Add Steps operator 新增 可 延遲 模式 (#30928)在 Redshift delete cluster 中 新增 可 延遲 模式 (#30244)向 AWS glue operators (Job & Crawl) 新增 可 延遲 模式 (#30948)在 BatchOperator 中 新增 deferrable 引數 (#30865)向 RedshiftCreateClusterSnapshotOperator 新增 可 延遲 模式 (#30856)EksCreateFargateProfileOperator 和 EksDeleteFargateProfileOperator 的 可 延遲 模式 (#31657)允許 匿名 AWS 訪問 (#31659)在 S3ListOperator 和 S3ToGCSOperator 中 支援 萬用字元 (#31640)在 'EmrContainerSensor' 中 新增 'deferrable' 引數 (#30945)為 BatchOperator 新增 即時 容器 執行 日誌 (#31837)
Bug 修復¶
對 ECS run task operator 的 各種 修復 (#31838)修復 glue operators 在 可 延遲 模式 下的 返回值 (#31694)新增 回 缺失 的 AsyncIterator 匯入 (#31710)在 ecs 中 使用 continuation token 獲取 日誌 (#31824)在 while 迴圈 中 獲取 狀態， 以免 過早 退出 (#31804)[AWS hook] 在 回退 時 使用 提供 的 client 獲取 官方 waiter (#31748)處理 emr 的 'describe_cluster' API 響應 中 缺失 的 LogUri (#31482)
雜項¶
新增 Python 3.11 支援 (#27264)向 EmrServerlessStartJobOperator 添加了 配置 模板 欄位 (#31746)在 Amazon Redshift 連線 中 新增 對 host 的 空值 檢查 (#31567)將 workgroup 新增 到 templated fields (#31574)為 _read_remote_logs 新增 docstring 和 signature (#31623)棄用 來自 'EcsRegisterTaskDefinitionOperator' 和 'EcsDeregisterTaskDefinitionOperator' 的 'wait_for_completion' (#31884)移除 Python 3.7 支援 (#30963)更改 RedshiftResumeClusterOperator 的 Deferrable 實現， 以 遵循 標準 (#30864)更改 RedshiftPauseClusterOperator 的 Deferrable 實現， 以 遵循 標準 (#30853)
8.1.0¶
注意
此 provider 版本 僅 適用 於 Airflow 2.4+， 如 在 Apache Airflow providers 支援 策略 中所述。
特性¶
DynamoDBToS3Operator - 新增 一個 特性 以 將 表 匯出 到 某個 時間 點。 (#31142)在 SageMakerTransformOperator 中 新增 deferrable 引數 (#31063)在 SageMakerTrainingOperator 中 新增 deferrable 引數 (#31042)在 SageMakerProcessingOperator 中 新增 deferrable 引數 (#31062)透過 AWS Connection 向 Amazon Redshift Connection 新增 IAM 身份 驗證 (#28187)'StepFunctionStartExecutionOperator': 在 失敗 時 獲取 日誌 (#31072)向 EMR Serverless Job Operator 新增 on_kill (#31169)為 EC2StateSensor 新增 可 延遲 模式 (#31130)
Bug 修復¶
bug 修復: EMRHook 遍歷 分頁 響應 檢查 cluster id 是否 存在 (#29732)
雜項¶
提升 providers 中 最低 Airflow 版本 (#30917)向 S3ToRedshiftOperator 新增 模板 欄位 (#30781)向 一些 其他 的 EMR Operators 和 Sensors 新增 額外 連結 (#31032)向 S3 delete_bucket 新增 重試 (#31192)在 RedshiftCreateClusterSnapshotOperator 中 新增 tags 引數 (#31006)改進/修復 glue 作業 日誌 列印 (#30886)僅當 deferrable 為 true 時 才 匯入 aiobotocore (#31094)更新 'S3Hook' 上 'get_key' 方法 的 返回 型別 (#30923)在 BatchOperator 中 支援 'shareIdentifier' (#30829)BaseAWS - 當 resource_type 為 user 時 覆蓋 client， 以 獲取 自定義 waiters (#30897)新增 未來 相容 的 mongo Hook 型別 標註 (#31289)當 使用 resource_type 獲取 自定義 waiters 時 處理 臨時 憑據 (#31333)
8.0.0¶
破壞性更改¶
警告
在此 provider 版本 中， 已 從 以下 operators: GCSToS3Operator, GlacierToGCSOperator 和 GoogleApiToS3Operator 中 移除 棄用 的 GCS hook 引數 delegate_to。可以 改為 利用 impersonation_chain 引數 實現 模擬。
已 從 GCSToS3Operator 中 移除 棄用 引數 google_cloud_storage_conn_id， 應該 改為 使用 gcp_conn_id。
已 從 Athena & EMR hook & operators 中 移除 棄用 引數 max_tries， 改用 max_polling_attempts。
移除了 emr hook 中已棄用的 waiter 方法，轉而使用更通用的 airflow.providers.amazon.aws.utils.waiter.waiter
移除了 Redshift Cluster hook 方法 get_cluster_snapshot_status 中已棄用的未使用引數 cluster_identifier
移除了 Sagemaker hook 中已棄用的 find_processing_job_by_name 方法，請改用 count_processing_jobs_by_name
移除了已棄用的模組 airflow.providers.amazon.aws.operators.aws_lambda，轉而使用 airflow.providers.amazon.aws.operators.lambda_function
移除了 EcsOperator，轉而使用 EcsRunTaskOperator。EcsTaskLogFetcher 和 EcsProtocol 應從 hook 中匯入。
移除了 AwsLambdaInvokeFunctionOperator，轉而使用 LambdaInvokeFunctionOperator。
移除了 RedshiftDataOperator 中已棄用的引數 await_result，轉而使用 wait_for_completion。該 operator 的某些方法應從 hook 中匯入。
移除了已棄用的 RedshiftSQLOperator，轉而使用更通用的 SQLExecuteQueryOperator。原先作為 redshift_conn_id 傳遞的引數需要改為 conn_id，其行為應保持不變。
移除了 secrets manager 中已棄用的 get_conn_uri 方法，轉而使用 get_conn_value。同時移除了 systems manager 中已棄用的 get_conn_uri 方法。應改用 deserialize_connection(...).get_uri()。
移除了 ImapAttachmentToS3Operator、MongoToS3Operator 和 S3ToSFTPOperator 中已棄用且未使用的引數 s3_conn_id。
移除 GCP operator 和 hook 中的 delegate_to (#30748)移除 Amazon provider 中的 已棄用程式碼 (#30755)
新增特性¶
為 emr serverless 新增一個 stop operator (#30720)SqlToS3Operator - 新增 分割槽 SQL 表功能 (#30460)新的 AWS sensor — DynamoDBValueSensor (#28338)為 emr serverless 的 stop/delete operator 新增“force”選項 (#30757)在 AMPP 中新增對 可延遲 operator 的支援 (#30032)
Bug 修復¶
修復了 日誌記錄問題 (#30703)DynamoDBHook - waiter_path() 考慮 'resource_type' 或 'client_type' (#30595)在 EcsRunTaskOperator 中新增覆蓋 waiter 延遲的功能 (#30586)在 AWS Batch Operator 中新增對 多節點作業 的支援 (#29522)AWS 日誌。當 AWS Cloudwatch logs 返回 3 個連續響應時快速退出 (#30756)修復 async conn 對 none aws_session_token 的問題 (#30868)
其他¶
從 EmrStepSensor 中移除 @poke_mode_only (#30774)組織 Amazon providers 文件索引 (#30541)移除 EksPodOperator 中重複的引數 docstring (#30634)更新 AWS EMR Cluster 連結以使用新儀表盤 (#30844)恢復 aiobotocore 作為 amazon provider 的可選依賴項 (#30874)
7.4.1¶
Bug 修復¶
修復 'RedshiftResumeClusterOperator' 的可延遲實現 (#30370)
其他¶
向 quicksight 錯誤訊息新增更多資訊 (#30466)為 s3 bucket 新增 模板欄位 (#30472)在 SFTP to S3 operator 中將 s3_bucket 新增到模板欄位 (#30444)
7.4.0¶
新增特性¶
為 'RedshiftResumeClusterOperator' 新增 可延遲模式 (#30090)新增 'AwsToAwsBaseOperator' (#30044)在 RedshiftPauseClusterOperator 中新增 可延遲模式 (#28850)為 DynamoDB 新增支援使用不同的 AWS 連線 (#29452)新增 'EC2CreateInstanceOperator', 'EC2TerminateInstanceOperator' (#29548)使 GlueJobOperator 中的更新配置行為可選 (#30162)帶有 動態值的 自定義 waiters，應用於 appflow (#29911)使用遠端日誌記錄時支援刪除本地日誌檔案 (#29772)
其他¶
將字串列舉類移動到 utils 模組 + 新增測試 (#29906)將 cncf provider 檔名與 AIP-21 對齊 (#29905)重寫 appflow hook 的輪詢程式碼 (#28869)
7.3.0¶
新增特性¶
向 Redshift Data API hook 新增受影響的行數 (#29797)在 'RedshiftCreateClusterOperator' 中新增 'wait_for_completion' 引數 (#29657)將 Amazon Redshift-data 新增到 S3<>RS 傳輸 Operator (#27947)允許使用 *_lookup_pattern 引數指定後端查詢哪個連線、變數或配置 (#29580)為 AWS hook 的 AssumeRoleWithWebIdentity 實現檔案憑證 provider (#29623)為某些 EMR operator 實現自定義 boto waiters (#29822)
Bug 修復¶
修復 sagemaker 中檢查作業名稱的程式碼 (#29245)如果正在流式傳輸日誌，則避免為 S3TaskHandler 發出回退訊息 (#29708)在 ECS Operator 中使用 waiters 代替內部 sensor (#29761)
其他¶
RedshiftDataOperator 改進：更好的錯誤報告和返回 SQL 結果的能力 (#29434)標準化 AWS lambda 命名 (#29749)AWS Glue job hook：使 s3_bucket 引數可選 (#29659)'RedshiftDataOperator' 將 'await_result' 替換為 'wait_for_completion' (#29633)
7.2.1¶
Bug 修復¶
明確處理 AWS provider 中配置解析引發的異常 (#29587)
其他¶
修復 EcsRunTaskOperator docstring 中的 region_name -> region (#29562)
7.2.0¶
新增特性¶
在 EmrCreateJobFlowOperator 中新增等待完成的選項 (#28827)新增 S3 到（通用）SQL 的傳輸 operator (#29085)對沖突時停止管道新增重試 (#29077)為 AWS Glue Job Console URL 新增日誌 (#28925)啟用獨立 trigger 日誌記錄 (#27758)
Bug 修復¶
修復： 'num_of_dpus' 型別提示 - GlueJobHook/Operator (#29176)修復 DataSyncHook boto3 方法在 NFS 和 EFS 中建立位置的拼寫錯誤 (#28948)解密 SsmHook 獲取的 SecureString 值 (#29142)
其他¶
在 redshift sensor 中記錄觀察到的狀態 (#29274)使用 thin/passthrough hook 代替單行 hook 方法 (#29252)將 AWS SqlToS3Operator 傳輸中的匯入移動到可呼叫函式中 (#29045)引入 EKS sensor 的基類 (#29053)引入一種將字典轉換為 boto 風格鍵值列表的方法 (#28816)更新 provide_bucket_name() 裝飾器以處理新的 conn_type (#28706)統一透過快取屬性在 aws sensor 中獲取 hook 的方式 (#29001)在文件/docstrings 中使用 boto3 intersphinx inventory。 (#28945)
7.1.0¶
新增特性¶
將 ''configuration_overrides'' 新增到模板欄位 (#28920)新增新的 SSM hook 並在 System Test 上下文構建器中使用它 (#28755)將 waiter config 引數新增到 emr.add_job_flow_steps (#28464)新增 AWS Sagemaker Auto ML operator 和 sensor (#28472)建立 sagemaker experiment 的新 operator (#28837)
Bug 修復¶
避免從 S3HookUriParseFailure 的迴圈匯入 (#28908)在 AWS Batch 模組中使用 compat 實現 cached_property (#28835)在 "provide bucket" 之前應用 "unify bucket and key" (#28710)
其他¶
更新 S3ToRedshiftOperator 文件以告知使用者多鍵功能 (#28705)重構 waiter 函式並改進單元測試 (#28753)針對 numpy 缺失情況丟擲更好的異常 (#28722)不要在 provide_bucket_name 中呼叫 get_connection (#28716)
7.0.0¶
破壞性變更¶
‘SecretsManagerBackend’ 中的 JSON secrets 不再被解釋為 urlencoded。在 5.x 和 6.x 版本中，程式碼會根據上下文線索推斷 JSON secret 值是否是 urlencoded；現在 始終 使用未修改的值來構建 Connection 物件。
Pandas 現在是該 provider 的一個可選依賴項。SqlToS3Operator 和 HiveToDynamoDBOperator 需要安裝 Pandas（您可以在安裝 provider 時透過新增 [pandas] 額外項來自動安裝它）。
使 Amazon Provider 的 pandas 依賴項可選 (#28505)
新增特性¶
SecretsManagerBackend 中的 'full_url_mode' 已棄用；secret 是 JSON 還是 URL 將被推斷 (#27920)為 AddStepsOperator 新增 execution role 引數 (#28484)新增 AWS SageMaker operator 用於註冊模型版本 (#28024)新增 EMR Steps Sensor 日誌連結 (#28180)新增 Amazon Elastic Container Registry (ECR) Hook (#28279)新增 EMR Notebook operator (#28312)建立 'LambdaCreateFunctionOperator' 和 sensor (#28241)更好地支援 Boto Waiters (#28236)Amazon Provider Package 使用者代理 (#27823)允許透過 EmrServerless Operator 配置 waiter (#27784)為 aws sagemaker pipelines 新增 operator + sensor (#27786)更新 RdsHook docstrings 以匹配正確的引數名稱 (#28108)在 aws athena hook 中新增一些重要日誌 (#27917)Lambda hook：使 runtime 和 handler 可選 (#27778)
Bug 修復¶
修復 EmrAddStepsOperature 的 wait_for_completion 引數不工作的問題 (#28052)正確地模板化 Glue Jobs 的 'create_job_kwargs' 引數 (#28403)修復 S3KeySensor 中模板渲染的 bucket_key (#28340)修復使用 DynamoDBToS3Operator 時的型別錯誤 (#28158)如果存在， AWSGlueJobHook 會更新作業配置 (#27893)修復使用 tags 時 GlueCrawlerOperature 失敗的問題 (#28005)
其他¶
修復 S3KeySensor 文件 (#28297)改進 'AwsLambdaInvokeFunctionOperator' 的 docstrings (#28233)從 providers 中移除過時的 compat imports/code (#28507)新增破壞性變更的描述 (#28582)[其他] 刪除條件中的 'pass' 語句 (#27775)[其他] 在 providers 中用 'exactly_one' helper 替換 XOR '^' 條件 (#27858)
6.2.0¶
新增特性¶
在 RDS Operator 中使用 Boto waiters 代替自定義 _await_status 方法 (#27410)處理 'RedshiftResumeClusterOperator' 和 'RedshiftPauseClusterOperator' 中的瞬時狀態錯誤 (#27276)在 RedshiftDeleteClusterOperator 中新增重試選項，以便在叢集中正在執行操作時重試 (#27820)
Bug 修復¶
修正 SagemakerProcessingOperator 中的作業名稱匹配 (#27634)將 common.sql provider 版本提升至 1.3.1 (#27888)
6.1.0¶
注意
正如 Apache Airflow provider 支援政策中所解釋的，此 provider 版本僅適用於 Airflow 2.3+。
其他¶
將所有 provider 的最低 Airflow 版本移至 2.3.0 (#27196)將 urlparse 替換為 urlsplit (#27389)
新增特性¶
新增 關於 AWS SSM Parameter Store Secrets 後端 的 JSON 連線 格式 的資訊 (#27134)為 EMR Serverless 作業 新增 預設 名稱 (#27458)為 方法 'S3Hook.download_file' 新增 引數 'preserve_file_name' (#26886)新增 GlacierUploadArchiveOperator (#26652)新增 RdsStopDbOperator 和 RdsStartDbOperator (#27076)'GoogleApiToS3Operator' : 新增 'gcp_conn_id' 到 模板 欄位 (#27017)新增 SQLExecuteQueryOperator (#25717)新增 關於 Amazon Elastic MapReduce 連線 的資訊 (#26687)新增 BatchOperator 模板 欄位 (#26805)改進 AWS 連線 響應 的 測試 (#26953)
錯誤修復¶
SagemakerProcessingOperator 不再遵守 'existing_jobs_found' (#27456)當 未找到 Amazon CloudWatch 日誌 時， CloudWatch 任務 處理程式 不會 回退 到 本地 日誌 (#27564)修復 RedshiftSQLOperator 的 向後 相容性 (#27602)修復 redshift sql hook 的 get_ui_field_behaviour 中的 拼寫錯誤 (#27533)修復 example_emr_serverless 系統 測試 (#27149)修復 RedshiftSQLHook 的 get_table_primary_key 方法 文件字串 中的 引數 (#27330)新增 s3_key_prefix 到 模板 欄位 (#27207)修復 使用者 顯式 設定 憑據 時 扮演 角色 的 問題 (#26946)修復 EmrServerlessStartJobOperator 的 等待器 呼叫 中的 失敗 狀態。 (#26853)修復 AWS 測試 中的 大量 棄用 警告 (#26857)修復 SqlToS3Operator 在 非 parquet 格式 中的 空 字串 錯誤 (#26676)Sagemaker hook: 在 等待 完成 時， 移除 末尾 額外 的 呼叫 (#27551)ECS 小錯誤 (#26921)如果 從 配置 中 獲取 秘密， 則 避免 AWS Secrets 後端 中的 迴圈 匯入 (#26784)
6.0.0¶
不相容的更改¶
警告
在此版本的提供程式中，Amazon S3 連線 (conn_type="s3") 已刪除，因為它始終是 AWS 連線 (conn_type="aws") 的別名。實際上，唯一的影響是您將無法在 Web UI / API 中測試連線。為了恢復測試連線的能力，您需要手動將連線型別從 Amazon S3 (conn_type="s3") 更改為 Amazon Web Services (conn_type="aws")。
移除 Amazon S3 連線 型別 (#25980)
功能¶
新增 RdsDbSensor 到 amazon 提供程式 包 (#26003)在 RDS 運算子 上 設定 template_fields (#26005)在 Web UI 中 自動 跟蹤 檔案 日誌 (#26169)
錯誤修復¶
修復 SageMakerEndpointConfigOperator 的 返回值 (#26541)EMR Serverless 修復： 解決 作業 即使 失敗 也被 標記 為 成功的 問題 (#26218)修復 AWS 連線 針對 無效 引數 'profile_name' 的 警告 條件 (#26464)修復 Athena 和 EMR 運算子 中 max_retries 引數 的 混淆 問題 (#25971)修復 SageMaker 運算子 的 返回值 (#23628)移除 Amazon Log 任務 處理程式 中的 冗餘 異常 捕獲 (#26442)
雜項¶
移除 提供程式 中的 重複 連線 型別 (#26628)
5.1.0¶
功能¶
附加 的 AWS 憑據 隱藏 (#26014)新增 RedshiftDeleteClusterSnapshotOperator (#25975)新增 redshift 建立 叢集 快照 運算子 (#25857)為 common-sql 新增 common-sql 的 下限 (#25789)允許 AWS Secrets 後端 使用 AWS 連線 功能 (#25628)實現 'EmrEksCreateClusterOperator' (#25816)改進 關於 儲存桶 存在 檢查 的 錯誤 處理/訊息傳遞 (#25805)
錯誤修復¶
修復 aws 連線 資訊 顯示 (#26025)修復 'EcsBaseOperator' 和 'EcsBaseSensor' 的 引數 (#25989)修復 RDS 系統 測試 (#25839)在 例項化 AWS SM 後端 時 避免 迴圈 匯入 問題 (#25810)修復 版本 5.0.0rc3 中 Connection 物件 的 構造 錯誤 (#25716)
5.0.0¶
不相容的更改¶
避免 要求 AWS Secret Manager 的 JSON 值 進行 urlencoded。 (#25432)移除 已棄用 的 模組 (#25543)在 wrapper 中 解析 Amazon Hook 的 'region_name' 和 'config' 引數 (#25336)在 wrapper 中 解析 並 驗證 AWS 連線 引數 (#25256)標準化 AwsLambda (#25100)將 單一 的 ECS 運算子 重構 並 分解 為 Operators、 Sensors 和 Hook (#25413)從 Amazon 提供程式 包 中 移除 已棄用 的 模組 (#25609)
功能¶
新增 EMR Serverless Operators 和 Hooks (#25324)隱藏 Amazon Web Services 連線 的 未使用 欄位 (#25416)在 SageMakerTransformOperator 中 啟用 Transform 作業 名稱 的 自動 遞增 (#25263)統一 DbApiHook.run() 方法 與 覆蓋 它 的 方法 (#23971)SQSPublishOperator 應 允許 傳送 訊息 到 FIFO 佇列 (#25171)Glue 作業 驅動程式 日誌記錄 (#25142)更新 typing-extensions 和 mypy 以 支援 ParamSpec (#25088)在 RedshiftDataOperator 中 啟用 多個 查詢 執行 (#25619)
錯誤修復¶
修復 S3Hook 傳輸 配置 引數 驗證 (#25544)修復 當 wait_for_completion = True 時 BatchOperator 的 連結 (#25228)修改 了 SqlToS3Operator 的 _fix_int_dtypes 方法 (#25083)重構: 棄用 將 引數 'host' 作為 連線 的 額外 屬性。 棄用 是 為了 支援 extra 中的 'endpoint_url'。 (#25494)透過 適當 的 方法 獲取 boto3.session.Session (#25569)
4.1.0¶
功能¶
為 AWS hook 新增 test_connection 方法 (#24662)新增 用於 建立 和 刪除 RDS 資料庫 的 AWS 運算子 (#24099)為 'SqsSensor' 新增 批次 選項 (#24554)新增 AWS Batch 和 AWS CloudWatch 額外 連結 (#24406)重構 EmrClusterLink 並 為 其他 AWS EMR 運算子 新增 連結 (#24294)將 所有 SQL 類 移動 到 common-sql 提供程式 (#24836)Amazon AppFlow (#24057)使 S3Hook 中的 extra_args 在 呼叫 之間 不可變 (#24527)
錯誤修復¶
重構 並 修復 AWS secret manager 無效 異常 (#24898)修復: RedshiftDataHook 和 RdsHook 不 使用 快取 連線 (#24387)修復 示例 的 源 連結 (#24386)修復 S3KeySensor。 參見 #24321 (#24378)修復: 在 'EmrCreateJobFlowOperator' 中， 'emr_conn_id' 應 是 可選 的 (#24306)更新 提供程式 以 使用 functools 相容 的 ''cached_property'' (#24582)
4.0.0¶
不相容的更改¶
注意
此提供程式的釋出版本僅適用於 Airflow 2.2+，正如Apache Airflow 提供程式支援策略中所述。
功能¶
為 GlueCatalogHook 新增 分割槽 相關 方法： (#23857)新增 支援，以便 將 自定義 標籤 關聯 到 透過 EmrContainerOperator 提交 的 作業 執行 (#23769)在 RedshiftCreateClusterOperator 中， 僅適用於 單 節點 叢集 時， 新增 節點數量 引數 (#23839)
錯誤修復¶
修復: StepFunctionHook 忽略 顯式 設定 的 'region_name' 引數 (#23976)修復 Amazon EKS 示例 DAG 在 匯入 時 引發 警告 的 問題 (#23849)將 字串 引數 評估 移動 到 'EksCreateClusterOperator' 中的 'execute()' (#23877)修復: 修復了 #24215。 當 'create_job_kwargs' 包含 'Command' 鍵 時， 不 引發 KeyError。 (#24308)
雜項¶
輕量 重構 和 清理 AWS 提供程式 (#23907)更新 RDS 的 示例 DAG 和 文件 (#23651)重新 格式化 整個 AWS 文件 (#23810)在 pathlib 物件 中 將 "absolute()" 替換 為 "resolve()" (#23675)將 按 執行 的 日誌 模板 應用 到 日誌 處理程式 (#24153)重構 GlueJobHook 的 get_or_create_glue_job 方法。 (#24215)更新 DMS 示例 DAG 和 文件 (#23681)更新 Quicksight 的 文件 和 示例 DAG (#23653)更新 EMR Containers 的 文件 和 示例 DAG (#24087)新增 AWS 專案 結構 測試 (關於: AIP-47) (#23630)新增 GCSToS3Operator 的 文件 和 示例 DAG (#23730)移除 舊 的 Athena 示例 DAG (#24170)清理 日誌 呼叫 中的 f-strings (#23597)
3.4.0¶
功能¶
新增 Quicksight 建立 資料 攝入 Hook 和 Operator (#21863)為 SageMaker Operators 新增 預設 的 'aws_conn_id' #21808 (#23515)新增 RedshiftCreateClusterOperator新增 'S3CreateObjectOperator' (#22758)新增 'RedshiftDeleteClusterOperator' 支援 (#23563)
錯誤修復¶
修復 檢索 日誌 事件 時 的 連線 關閉 錯誤 (#23470)修復 LocalFilesystemToS3Operator 和 S3CreateObjectOperator 以 支援 完整 的 s3:// 風格 鍵 (#23180)修復 在 'ECSOperator' 中 嘗試 重新 附加 的 問題 (#23370)修復 main 分支 上的 文件 構建 失敗 (#23240)修復 "Chain not supported for different length Iterable" 錯誤'S3Hook': 修復 'load_bytes' 文件字串 (#23182)棄用 'S3PrefixSensor' 和 'S3KeySizeSensor' ， 推薦使用 'S3KeySensor' (#22737)允許 Glue 中的 script_location 引數 恢復 為 None (#23357)
雜項¶
新增 Amazon SQS 運算子 的 文件 和 示例 DAG (#23312)新增 S3CopyObjectOperator 和 S3DeleteObjectsOperator 的 文件 和 示例 DAG (#22959)新增 S3KeysUnchangedSensor 的 示例 DAG 和 文件新增 S3FileTransformOperator 的 文件 和 示例 DAG新增 AWS Step Functions 運算子 的 文件 和 示例 DAG新增 S3ListOperator 的 示例 DAG 和 文件 (#23449)新增 EC2 的 文件 和 示例 DAG (#23547)新增 S3ListPrefixesOperator 的 示例 DAG 和 文件 (#23448)Amazon Sagemaker 示例 DAG 和 文件 更新 (#23256)更新 Athena 示例 DAG 和 文件 (#23428)更新 Datasync 的 示例 DAG 和 文件 (#23511)
3.3.0¶
功能¶
在 SES 電子郵件 後端 中 傳遞 自定義 頭部 (#22667)更新 秘密 後端 以 使用 get_conn_value 而非 get_conn_uri (#22348)
雜項¶
新增 SqlToS3Operator 的 文件 和 示例 DAG (#22603)新增 HiveToDynamoDB 傳輸 示例 DAG 和 文件 (#22517)新增 MongoToS3Operator 的 文件 和 示例 DAG (#22575)新增 LocalFilesystemToS3Operator 的 文件 (#22574)為 AWS CloudFormation Operators 新增文件和示例 DAG (#22533)為 S3ToFTPOperator 和 FTPToS3Operator 新增文件和示例 DAG (#22534)GoogleApiToS3Operator: 更新示例 DAG 和文件 (#22507)SalesforceToS3Operator: 更新示例 DAG 和文件 (#22489)
3.2.0¶
新功能¶
為過濾列表新增引數: start_after_key, from_datetime, to_datetime, object_filter callable (#22231)
Bug 修復¶
修復誤為所有 providers 新增 install_requires 的問題 (#22382)ImapAttachmentToS3Operator: 修復，更新示例 DAG 和更新文件 (#22351)
3.1.1¶
新功能¶
新增 AWS RDS sensors (#21231)新增 AWS RDS operators (#20907)新增 RedshiftDataHook (#19137)功能: 新增 invoke lambda function operator (#21686)在 SqlToS3Operator 上新增 JSON 輸出 (#21779)新增 SageMakerDeleteModelOperator (#21673)新增 Amazon RDS 的 Hook。新增 'boto3_stub' 庫用於自動完成。 (#20642)新增 SNS 示例 DAG 和 rst (#21475)在非常特定的 eni 預置失敗時重試 (#22002)可配置的 AWS Session 工廠 (#21778)S3KeySensor 使用 S3Hook url 解析器 (#21500)休眠後獲取日誌事件以獲取所有日誌 (#21574)在 GCSToS3Operator 中使用臨時檔案 (#21295)
Bug 修復¶
AWS RDS 整合修復 (#22125)修復 ''RedshiftSQLOperator'' 中的型別提示 (#21885)Bug 修復 - S3DeleteObjectsOperator 將嘗試刪除所有鍵 (#21458)修復 Amazon SES emailer 簽名 (#21681)修復 EcsOperatorError，使其可以從 picklefile 載入 (#21441)修復 RedshiftDataOperator 並更新文件 (#22157)修復在預置失敗時重試的 Bug(#22137)如果上傳任務日誌到 S3 失敗，重試一次 (#21981)GCSToS3Operator 的 Bug 修復 (#22071)修復查詢狀態輪詢邏輯 (#21423)使用不同的 logger 以避免重複的日誌條目 (#22256)
其他¶
在 PyPI 中新增 Trove classifiers (Framework :: Apache Airflow :: Provider)支援 Python 3.10[文件] 透過新增任務 upload_keys 改進 S3 operator 示例 (#21422)將 'S3' hook 名稱重新命名為 'Amazon S3' (#21988)為 DynamoDBToS3Operator 新增 template fields (#22080)
3.0.0¶
破壞性變更¶
CloudFormationCreateStackOperator 和 CloudFormationDeleteStackOperator 使用 params 作為建構函式引數之一，但是這個名稱與在 Airflow 2.2 中處理方式不同的 params 引數欄位 params 衝突。params 引數已重新命名為 cloudformation_parameters 以使其非歧義。
任何使用 CloudFormationCreateStackOperator 和 CloudFormationDeleteStackOperator 時傳遞 params 的地方，都應改為使用 cloudformation_parameters。
在 CloudFormation operators 中將 params 重新命名為 cloudformation_parameter。 (#20989)
新功能¶
[SQSSensor] 新增選擇加入選項以停用自動刪除訊息 (#21159)建立一個通用 operator SqlToS3Operator 並廢棄 MySqlToS3Operator。 (#20807)將一些 base_aws 日誌級別從 info 移至 debug (#20858)AWS: 新增對 EKS Operators 中可選 kwargs 的支援 (#20819)AwsAthenaOperator: 如果未提供，則不生成 ''client_request_token'' (#20854)新增更多 SQL template fields 渲染器 (#21237)為新的 SQL lexers 新增有條件的 'template_fields_renderers' 檢查 (#21403)
Bug 修復¶
修復: cloudwatch logs 獲取邏輯 (#20814)修復所有 Amazon Provider 的 MyPy 錯誤 (#20935)修復 AWS glue operator 中與 num_of_dpus 相關聯的 Bug #19787 (#21353)修復檢查值是否為整數或浮點數並相應轉換的問題。 (#21277)
其他¶
減輕已廢棄 AWS 模組中 'EmrClusterLink' 的匯入警告 (#21195)重新命名 amazon EMR hook 名稱 (#20767)標準化 AWS SQS 類名 (#20732)標準化 AWS Batch 命名 (#20369)標準化 AWS Redshift 命名 (#20374)標準化 DynamoDB 命名 (#20360)標準化 AWS ECS 命名 (#20332)重構 operator 連結以避免建立臨時的 TaskInstances (#21285)eks_hook 日誌級別 fatal -> FATAL (#21427)
2.6.0¶
新功能¶
為 DynamoDBToS3Operator 新增 aws_conn_id (#20363)新增 RedshiftResumeClusterOperator 和 RedshiftPauseClusterOperator (#19665)在 AWSAthenaHook 中新增函式以獲取 S3 輸出查詢結果檔案 URI (#20124)新增 AWS Batch 的 sensor (#19850) (#19885)為 EMR 容器失敗原因新增狀態詳情 (#19579)新增在 MySqlToS3Operator 上替換 S3 檔案的支援 (#20506)
Bug 修復¶
修復 AWS provider 的 _get_credentials 中的向後相容性問題 (#20463)修復拆分 redshift 模組後的廢棄訊息 (#20366)ECSOperator: 修復缺失 exitCode 時的 KeyError (#20264)修復 AWS glue operator 在指定 WorkerType 和 NumberOfWorkers 時的 Bug (#19787)
其他¶
在 Amazon provider 中組織 Sagemaker 類 (#20370)移動 emr_container hook (#20375)標準化 AWS Athena 命名 (#20305)標準化 AWS EKS 命名 (#20354)標準化 AWS Glue 命名 (#20372)標準化 Amazon SES 命名 (#20367)標準化 AWS CloudFormation 命名 (#20357)標準化 AWS Lambda 命名 (#20365)標準化 AWS Kinesis/Firehose 命名 (#20362)標準化 Amazon SNS 命名 (#20368)分割 redshift sql 和 cluster 物件 (#20276)在 Amazon provider 中組織 EMR 類 (#20160)重新命名 DataSync Hook 和 Operator (#20328)廢棄將 execution_date 傳遞給 XCom 方法 (#19825)在 Amazon provider 中組織 Dms 類 (#20156)在 Amazon Provider 中組織 S3 類 (#20167)在 Amazon provider 中組織 Step Function 類 (#20158)在 Amazon provider 中組織 EC2 類 (#20157)遷移到 watchtower 2.0.1 (#19907)修復 mypy aws 示例 dags (#20497)在 KubernetesPodOperator 中預設刪除 pods (#20575)
2.5.0 (已撤回)¶
警告
此版本已**撤回**，原因: 包含破壞性變更
新功能¶
新增對使用 ''client_type'' API 與 EC2 互動的支援以及支援過濾器 (#9011)在嘗試下載之前不檢查 S3 key (#19504)MySQLToS3Operator 實際允許將 parquet 檔案寫入 S3。 (#19094)
Bug 修復¶
Amazon provider 移除廢棄，第二次嘗試 (#19815)在 AWS Secrets Manager 後端中捕獲 AccessDeniedException (#19324)
2.4.0¶
新功能¶
MySQLToS3Operator 新增對 parquet 格式的支援 (#18755)新增 RedshiftSQLHook, RedshiftSQLOperator (#18447)從 AWS Provider 中移除額外的 postgres 依賴 (#18844)移除 S3ToRedshiftOperator 中的重複程式碼 (#18671)
Bug 修復¶
修復 ses email 後端 (#18042)修復字串連線問題 (#19099)更新 S3PrefixSensor 以支援檢查儲存桶內的多個字首 (#18807)將 templated input params 的驗證移至 context init 後執行 (#19048)修復 SagemakerProcessingOperator ThrottlingException (#19195)修復 S3ToRedshiftOperator (#19358)
2.3.0¶
此版本的 Redshift operators 需要至少 2.3.0 版本的 Postgres Provider。這體現在 [postgres] extra 中，但 extras 不保證安裝正確版本的依賴項（取決於安裝方法）。如果您在執行 Redshift operators 時遇到問題，請將 apache-airflow-providers-postgres provider 升級到至少 2.3.0 版本。
新功能¶
為 S3ToRedshiftTransfer 和 RedshiftToS3Transfer 新增 IAM Role Credentials (#18156)在 docstring 中新增缺失的 'replace' param (#18241)在 S3ToRedshift operator 上新增 upsert 方法 (#18027)為 job flow 示例向 EMR cluster 新增 Spark (#17563)更新 s3_list.py (#18561)ECSOperator 即時日誌記錄 (#17626)廢棄 EKSPodOperator 中的預設 pod 名稱 (#18036)Aws secrets manager 後端 (#17448)sftp_to_s3 流檔案選項 (#17609)AwsBaseHook 使 client_type resource_type 成為 get_client_type, get_resource_type 的可選引數 (#17987)刪除 EKSPodOperator 中不必要的引數 (#17960)使 AWS Secrets Manager 後端能夠使用不同的欄位檢索連線 (#18764)新增 emr cluster 連結 (#18691)AwsGlueJobOperator: 為 Glue job run 新增 wait_for_completion (#18814)使 FTPToS3Operator 能夠傳輸多個檔案 (#17937)Amazon Athena 示例 (#18785)AwsGlueJobOperator: 為 Glue job run 新增 run_job_kwargs (#16796)Amazon SQS 示例 (#18760)新增一個 S3 列出字首的 operator (#17145)為 amazon provider 的 postgres extra 新增額外的依賴項 (#18737)在 S3KeySensor 中支援所有 Unix 萬用字元 (#18211)新增 AWS Fargate profile 支援 (#18645)
Bug 修復¶
ECSOperator 在 ECS 任務失敗時返回最後日誌 (#17209)重新整理 EKS 上長時間執行的 pods 的憑據 (#17951)ECSOperator: 在未找到 cloudwatch log stream 的邊緣情況下出現 airflow 異常 (#18733)
2.2.0¶
新功能¶
新增一個 Amazon EMR on EKS provider 包 (#16766)在 ''RedshiftToS3Operator'' 中新增可選的 SQL 引數 (#17640)在 Amazon provider 下新增新的 LocalFilesystemToS3Operator (#17168) (#17382)為 hook 和 transfer 新增 Mongo projections (#17379)將 platform version 設定為 ECSOperator 的獨立引數 (#17281)改進 AWS SQS Sensor (#16880) (#16904)實現基礎 EKS 整合 (#16571)
Bug 修復¶
修復在 Glue hooks/operators 中執行 load_file 時出現的 ParamValidationError (#16012)修復 #16972 - 在 AWS base hook 中 Slugify role session name (#17210)修復 EKSPodOperator 中損壞的 XCOM (#17918)
其他¶
最佳化 Airflow 2.2.0 的連線匯入修復由於測試中 exit(0) 導致的 provider.yaml 錯誤 (#17858)向 provider yaml 新增 secrets 後端/日誌記錄/認證資訊 (#17625)
2.1.0¶
新功能¶
允許在 ECSOperator 中附加到之前啟動的任務 (#16685)更新 AWS Base hook 以使用可重新整理憑據 (#16770) (#16771)在 RedshiftToS3Operator 的 templated fields 中新增 select_query (#16767)AWS Hook - 允許 IDP HTTP 重試 (#12639) (#16612)更新 ECSOperator 中的 Boto3 API 呼叫 (#16050)新增 自定義 Salesforce 連線 型別 + SalesforceToS3Operator 更新 (#17162)將 SalesforceToS3Operator 新增 到 Amazon Provider (#17094)
Bug 修復¶
AWS DataSync 預設 輪詢 時間從 5s 調整 到 30s (#11011)修復 AWS Operators 中 錯誤 的 template_fields_renderers (#16820)AWS DataSync 在 發生 異常時 取消 任務 (#11011) (#16589)修復 Amazon provider 的 template_fields_renderers (#17087)移除 try-catch 塊 (#17081)ECSOperator / 將 context 傳遞 給 self.xcom_pull 因為 之前 缺失 (使用 reattach 時) (#17141)使 S3ToRedshiftOperator 事務 安全 (#17117)
2.0.0¶
破壞性變更¶
自動應用 apply_default 裝飾器 (#15667)
警告
由於移除了 apply_default 裝飾器，此版本的 provider 需要 Airflow 2.1.0+。如果你的 Airflow 版本低於 2.1.0，並且想要安裝此 provider 版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，你的 Airflow 包版本將被自動升級，並且你將不得不手動執行 airflow upgrade db 來完成遷移。
功能¶
CloudwatchTaskHandler 從 Cloudwatch 事件中 讀取 時間戳 (#15173)暫時移除 重試 (#16150)移除 S3_hook 中的 'not-allow-trailing-slash' 規則 (#15609)為 ECSOperator 新增 容量提供者 策略 的 支援 (#15848)更新 s3 到 redshift 的 複製 命令 (#16241)在 SageMakerTrainingOperator 中 使 任務名稱 檢查 變為 可選 (#16327)新增 AWS DMS 複製 任務 Operators (#15850)
Bug 修復¶
修復 S3 Select 有效載荷 連線 (#16189)修復 'AwsBatchWaitersHook' docstring 中的 間距 問題 (#15839)MongoToS3Operator 在 使用 單個 查詢 （非 聚合 管道） 執行時 失敗 (#15680)修復: AwsGlueJobOperator 更改 load_file 引數 順序 (#16216)修復 S3ToFTPOperator (#13796)
1.4.0¶
功能¶
S3Hook.load_file 除了 接受 str 外，還應 接受 Path 物件 (#15232)
Bug 修復¶
修復 'logging.exception' 的 冗餘 問題 (#14823)修復 AthenaSensor 呼叫 AthenaHook 不正確 的 問題 (#15427)為 已棄用 模組 新增 指向 新 模組 的 連結 (#15316)修復 SQSSensor 的 文件 (#15323)
1.3.0¶
功能¶
增加 了 一系列 template_fields_renderers (#15130)將 region_name 傳遞 給 AwsGlueJobHook 的 父類 (#14251)為 ECS Operator 新增 重試 功能 (#14263)在 AwsGlueJobOperator 中 使 script_args 可 模板化 (#14925)新增 FTPToS3Operator (#13707)實現 了 S3 Bucket Tagging (#14402)S3DataSource 不是 必需 的 (#14220)
Bug 修復¶
AWS: 在 未 找到 SSM & SecretsManager 金鑰 時 不 記錄 資訊 (#15120)初始化 'CloudFormationCreateStackSensor' 時 快取 Hook (#14638)
1.2.0¶
功能¶
在 S3 遠端 日誌 上傳中 避免 使用 執行緒 (#14414)允許 AWS Operator RedshiftToS3Transfer 執行 自定義 查詢 (#14177)如果 使用 STS 憑證，則 包含 STS token (#11227)
1.1.0¶
功能¶
新增 對 為 Glue Job 提供 額外 引數的 支援。 (#14027)新增 適用於 EmailOperator 的 aws ses 郵件 後端。 (#13986)在 S3 operators 中 將 bucket_name 新增 到 模板 欄位 (#13973)新增 ExasolToS3Operator (#13847)AWS Glue Crawler 整合 (#13072)為 S3CopyObjectOperator 新增 acl_policy (#13773)MongotoS3Operator 中的 AllowDiskUse 引數 和 文件 (#12033)新增 S3ToFTPOperator (#11747)為 ECSOperator 新增 xcom push (#12096)[AIRFLOW-3723] 為 mongo_to_S3 operator 新增 Gzip 功能 (#13187)新增 S3KeySizeSensor (#13049)在 MongoToS3Operator 中 將 'mongo_collection' 新增 到 template_fields (#13361)允許 在 提交 AWS Batch 任務 時 使用 標籤 (#13396)
Bug 修復¶
修復 GCSToS3Operator 中的 錯誤 (#13718)修復 S3KeysUnchangedSensor 以使其 template_fields 工作 (#13490)
1.0.0¶
provider 的初始版本。