apache-airflow-providers-elasticsearch

更新日誌

6.2.2

錯誤修復

  • 例項化連線時忽略遊標特定引數 (#48865)

雜項

  • 移除多餘的 else 塊 (#49199)

6.2.1

雜項

  • 在新 UI 中渲染結構化日誌而不是顯示原始 JSON (#46827)

  • 升級 flit 到 3.11.0 (#46938)

6.2.0

注意

此版本沒有程式碼更改。釋出它是由於先前的版本因打包問題而被撤下。

6.1.0

特性

  • 為 ElasticsearchSQLHook 實現了遊標，以便可以透過 SQLExecuteQueryOperator 使用它 (#46439)

  • 向 ESTaskHandler 新增寫入功能 (#44973)

雜項

  • 開始將對映任務移植到 SDK (#45627)

  • 更新 index.rst (#45263)

6.0.0

注意

此 Provider 版本僅適用於 Airflow 2.9+，詳見 Apache Airflow Providers 支援策略。

重大變更

警告

所有已棄用的類、引數和特性已從 ElasticSearch provider 包中移除。引入了以下重大變更

  • Hooks

    • 移除 airflow.providers.elasticsearch.hooks.elasticsearch.ElasticsearchHook。請改用 airflow.providers.elasticsearch.hooks.elasticsearch.ElasticsearchSQLHook。

  • 日誌

    • 從 ElasticsearchTaskHandler 中移除了 log_id_template 引數。

    • 從 ElasticsearchTaskHandler 中移除了 retry_timeout 引數。請改用 retry_on_timeout。

  • 移除 Elasticsearch 中的 Provider 棄用項 (#44629)

雜項

  • 移除對 AIRFLOW_V_2_9_PLUS 的引用 (#44987)

  • 將 Provider 中的最低 Airflow 版本提升到 Airflow 2.9.0 (#44956)

  • Provider 中檢查 Airflow 版本的一致方式 (#44686)

  • 更新多個 Provider 文件中的 DAG 示例連結 (#44034)

  • 在整個程式碼庫中將 execution_date 重新命名為 logical_date (#43902)

5.5.3

雜項

  • 新增對 DbApiHook、 PrestoHook 和 TrinoHook 分號去除的支援 (#41916)

5.5.2

雜項

  • 移除了對 airflow 2.8.0 及以上版本任務上下文日誌記錄的條件檢查 (#42764)

5.5.1

錯誤修復

  • 修復 ElasticSearch SQLClient 棄用警告 (#41871)

雜項

  • 通用化 DbApiHook 中的連線快取以提高效能 (#40751)

  • Provider 檔案任務處理程式中 filename_template 引數的向後相容性支援 (#41633)

  • 移除已棄用的日誌處理程式引數 filename_template (#41552)

5.5.0

注意

此 Provider 版本僅適用於 Airflow 2.8+，詳見 Apache Airflow Providers 支援策略。

錯誤修復

  • 修復 'ElasticsearchSQLHook' 因 'AttributeError: __enter__' 失敗 (#41537)

雜項

  • 將 Provider 中的最低 Airflow 版本提升到 Airflow 2.8.0 (#41396)

5.4.2

雜項

  • 清理 DbApiHook 中剩餘的 getattr 連線 (#40665)

5.4.1

錯誤修復

  • 使 elastic search index_pattern 更具可配置性 (#38423)

雜項

  • 更快的 'airflow_version' 匯入 (#39552)

  • 簡化 'airflow_version' 匯入 (#39497)

  • Scheduler 處理 try_number 的自增 (#39336)

5.4.0

注意

此 Provider 版本僅適用於 Airflow 2.7+，詳見 Apache Airflow Providers 支援策略。

雜項

  • 將 Provider 中的最低 Airflow 版本提升到 Airflow 2.7.0 (#39240)

5.3.4

雜項

  • 在 TaskInstance 上為 'task' 新增預設值 / 修復 TaskInstancePydantic 上的 attrs (#37854)

5.3.3

雜項

  • 避免使用 'pendulum.from_timestamp' (#37160)

  • feat: 將所有類、函式、方法棄用改為使用裝飾器 (#36876)

5.3.2

錯誤修復

  • 修復 providers 中 warnings.warn 的 stacklevel (#36831)

5.3.1

雜項

  • 當 airflow 最低版本提升到 2.6 時，移除 es task handler 中的 getattr (#36431)

5.3.0

注意

此 Provider 版本僅適用於 Airflow 2.6+，詳見 Apache Airflow Providers 支援策略。

雜項

  • 將 Provider 中的最低 Airflow 版本提升到 Airflow 2.6.0 (#36017)

  • 清理 elasticsearch<8 的程式碼 (#35707)

5.2.0

特性

  • 新增任務上下文日誌記錄功能，允許將訊息轉發到任務日誌 (#32646)

  • 擴充套件任務上下文日誌記錄支援，透過 Elasticsearch 進行遠端日誌記錄 (#32977)

錯誤修復

  • 更新 es 讀取查詢，使其不使用 body (#34792)

  • 檢查父級而非自身的屬性，關於 TaskContextLogger set_context (#35780)

雜項

  • 移除 DbApiHook 的向後相容性繼承 (#35754)

5.1.1

雜項

  • 當沒有 ElasticSearch 日誌時，使用 None 而不是空資料結構 (#34793)

5.1.0

注意

此 Provider 版本僅適用於 Airflow 2.5+，詳見 Apache Airflow Providers 支援策略。

注意

在 PR #34790 中，我們移除了 es_read 方法中未使用的引數 metadata。我們認定 es_read 是一個內部方法，因此不受向後相容性約束，所以此 provider 沒有提升主版本號。為了更清楚地表明這是一個內部方法，我們將其重新命名並加上下劃線字首 _es_read。

雜項

  • 提升 providers 的最低 airflow 版本 (#34728)

  • 從 es_read 中移除未使用的引數 metadata 並明確標記為私有 (#34790)

  • 提高 end_of_log 判斷的可理解性 (#34788)

  • 在 ElasticSearch provider 中用 contextlib.suppress 替換 try/except/pass (#34251)

5.0.2

錯誤修復

  • 確保只有有效的 elasticsearch 鍵傳遞給 handler (#34119)

雜項

  • 在 Airflow providers 中用解包替換序列連線 (#33933)

  • 透過將一些模組放入 type-checking 塊中來改進 Airflow providers 中的模組匯入 (#33754)

  • 在 providers 中使用字面量 dict 而不是呼叫 dict() (#33761)

  • 移除不必要的 and 並使用 list 重寫它 in providers (#33763)

  • 在 Airflow providers 中使用 f-string 而不是  (#33752)

5.0.1

注意

此版本添加了對 elasticsearch 8 的支援

錯誤修復

  • 新增對 elasticsearch<8 的向後相容性 (#33281)

  • 修復 Python 3.9+ 上 urlparse schemaless-behaviour (#33289)

雜項

  • 升級 Elasticsearch 到 8 (#33135)

5.0.0

注意

升級到 Elasticsearch 8。ElasticsearchTaskHandler 和 ElasticsearchSQLHook 現在將使用 Elasticsearch 8 包。正如 https://elasticsearch-py.readthedocs.io/en/stable 所述，Elasticsearch 語言客戶端僅向後相容預設分發版，且不提供保證，因此我們建議將 Elasticsearch 資料庫版本升級到 8，以確保與語言客戶端的相容性。

重大變更

注意

棄用非官方 elasticsearch 庫。僅使用官方 elasticsearch 庫

  • 棄用 2 個非官方 elasticsearch 庫 (#31920)

錯誤修復

  • 修復 ElasticsearchTaskHandler.es_read 中不合理的型別提示 (#32509)

雜項

  • 修復 ES 遠端日誌記錄失敗 (#32438)

4.5.1

注意

此版本不再支援 Python 3.7

雜項

  • 移除 Python 3.7 支援 (#30963)

4.5.0

注意

此 Provider 版本僅適用於 Airflow 2.4+，詳見 Apache Airflow Providers 支援策略。

雜項

  • 提升 Provider 中的最低 Airflow 版本 (#30917)

  • 向上限定 elasticsearch 整合 (#31255)

4.4.0

特性

  • 啟用單獨的 Trigger 日誌記錄 (#27758)

4.3.3

錯誤修復

  • 允許在 elasticsearch host_field 中使用巢狀屬性 (#28878)

4.3.2

錯誤修復

  • 在 Elasticsearch 日誌處理程式中支援受限制的索引模式 (#23888)

4.3.1

錯誤修復

  • 將 common.sql provider 提升到 1.3.1 (#27888)

4.3.0

注意

此 Provider 版本僅適用於 Airflow 2.3+，詳見 Apache Airflow Providers 支援策略。

雜項

  • 將所有 providers 的最低 airflow 版本移至 2.3.0 (#27196)

4.2.1

雜項

  • 為 common-sql 新增 lower bound (#25789)

4.2.0

特性

  • 改進 ElasticsearchTaskHandler (#21942)

4.1.0

特性

  • 新增 ElasticserachPythonHook - 使用 Python 客戶端的 ES Hook (#24895)

  • 將所有 SQL 類移至 common-sql provider (#24836)

錯誤修復

  • 將易出錯的 ti.task.dag 賦值移回 try/except 塊內 (#24533) (#24592)

4.0.0

重大變更

注意

此 Provider 版本僅適用於 Airflow 2.2+，詳見 Apache Airflow Providers 支援策略。

雜項

  • 將每執行日誌模板應用於日誌處理程式 (#24153)

3.0.3

錯誤修復

  • 使 ElasticSearch Provider 相容 Airflow<2.3 (#22814)

3.0.2 (已撤下)

警告

此版本已撤下，原因為: Elasticsearch 3.0.2 與 Airflow >2.3 不相容

錯誤修復

  • 修復對所有 providers 錯誤新增的 install_requires (#22382)

  • 修復 k8s 和 elasticsearch 的 "run_id" 與 Airflow 2.1 的相容性 (#22385)

3.0.1 (已撤下)

警告

此版本已撤下，原因為: Elasticsearch provider 與 Airflow <2.3 不相容

雜項

  • 在 PyPI 中新增 Trove 分類器 (Framework :: Apache Airflow :: Provider)

3.0.0 (已撤下)

警告

此版本已撤下，原因為: Elasticsearch provider 與 Airflow <2.3 不相容

重大變更

  • 更改預設日誌檔名模板以包含 map_index (#21495)

雜項

  • 支援 Python 3.10

2.2.0

特性

  • 當 ES 日誌似乎丟失時，發出“未找到日誌”訊息 (#21261)

  • 在日誌處理程式中使用 compat 資料間隔 shim (#21289)

雜項

  • 澄清 ElasticsearchTaskHandler 文件字串 (#21255)

2.1.0

特性

  • 為 AIP 39: Timetables 新增文件 (#17552)

  • 新增展示 ES_hook 的示例 (#17944)

2.0.3

錯誤修復

  • 修復 ElasticsearchTaskHandler 中無效的日誌順序 (#17551)

雜項

  • 最佳化 Airflow 2.2.0 的連線匯入

  • 將 secrets backend/logging/auth 資訊新增到 provider yaml (#17625)

2.0.2

錯誤修復

  • 更新了依賴項以支援 Python 3.9

2.0.1

重大變更

  • 自動應用 apply_default 裝飾器 (#15667)

  • 移除對 Elasticsearch 中 Jinja 模板化的 log_id 支援 (#16465)

    雖然沒有文件記錄，但之前 [elasticsearch] log_id 支援 Jinja 模板化字串。現在已移除對 Jinja 模板的支援。log_id 應改為模板字串，例如: {dag_id}-{task_id}-{execution_date}-{try_number}。

    如果您之前使用了 Jinja 模板，Elasticsearch 文件中的 execution_date 需要更新到新格式。

警告

由於移除了 apply_default 裝飾器，此提供程式版本需要 Airflow 2.1.0 或更高版本。如果您的 Airflow 版本低於 2.1.0，並且您想安裝此提供程式版本，請先將 Airflow 升級到至少 2.1.0 版本。否則，您的 Airflow 軟體包版本將自動升級，並且您將不得不手動執行 airflow upgrade db 來完成遷移。

特性

  • 支援 使用 filebeat 7 在 elasticsearch 中進行 遠端日誌記錄 (#14625)

  • 支援 非HTTPS elasticsearch 外部連結 (#16489)

錯誤修復

  • 修復 外部 elasticsearch 日誌 連結 (#16357)

  • 修復 使用 ''json_format'' 時的 Elasticsearch 外部日誌 連結 (#16467)

2.0.0 (已撤回)

警告

此版本已**撤回**，原因：錯誤釋出！

1.0.4

錯誤修復

  • 修復 'logging.exception' 冗餘 (#14823)

  • 修復 ElasticSearch 記錄中 缺失鍵 導致的 異常 (#15163)

1.0.3

錯誤修復

  • Elasticsearch 提供程式： 修復 任務 日誌 下載 (#14686)

1.0.2

錯誤修復

  • 釋出 提供程式 RCs 後的 文件 和 工具 更正 (#14082)

1.0.1

更新了文件和 readme 檔案。

錯誤修復

  • 在使用 Json 格式的 ES 日誌記錄 時 遵守 LogFormat (#13310)

1.0.0

提供程式的初始版本。

此條目有幫助嗎？