釋出說明¶
在將 chart 升級到最新版本之前,執行 helm repo update。
Airflow Helm Chart 1.16.0 (2025-04-01)¶
重要變更¶
預設 git-sync 映象更新至 4.3.0 (#41411)¶
Chart 使用的預設 git-sync 映象現在是 4.3.0,此前版本為 4.1.0。
預設 Airflow 映象更新至 2.10.5 (#46624)¶
Chart 使用的預設 Airflow 映象現在是 2.10.5,此前版本為 2.9.3。
預設 PgBouncer 映象更新至 1.23.1 (#47416)¶
Chart 使用的預設 PgBouncer 映象現在是 airflow-pgbouncer-2025.03.05-1.23.1,此前版本為 airflow-pgbouncer-2024.01.19-1.21.0。
預設 PgBouncer Exporter 映象更新至 v0.18.0 (#47416)¶
Chart 使用的預設 PgBouncer Exporter 映象現在是 airflow-pgbouncer-exporter-2025.03.05-0.18.0,此前版本為 airflow-pgbouncer-exporter-2024.06.18-0.17.0。
預設 StatsD exporter 映象更新至 v0.28.0 (#43393)¶
Chart 使用的預設 StatsD exporter 映象現在是 v0.28.0,此前版本為 v0.26.1。
新特性¶
允許將自定義環境變數傳遞給日誌清理 sidecar 容器 (#46003)
允許在 Redis StatefulSet 中使用現有的持久化卷宣告 (#41619)
在 Triggerer 中新增 hostAliases 支援 (#41725)
為 Airflow Webserver 啟用 HPA (#41955)
為資料庫遷移作業新增環境變數支援 (#42345)
支援 Redis Service 使用 NodePort (#41811)
為 DAG 處理器新增心跳指標 (#42398)
選項:為 StatsD 主機啟用 ipv6 IP 地址解析支援 (#42625)
允許自定義 worker 中的
podManagementPolicy(#42673)在 chart 中支援多種執行器 (#43606, #44424)
在 helm chart 中將內部 RPC 伺服器替換為 API 伺服器 (#44463)
新增 OpenSearch 遠端日誌選項 (#45082)
為 flower deployment 新增
startupProbe(#45012)新增 PgBouncer 和 StatsD ingress (#41759)
新增控制日誌清理頻率的環境變數 (#46237)
改進¶
更新指標名稱以允許多種執行器報告指標 (#40778)
為 ClusterIP 服務新增特定的內部 IP 地址 (#40912)
移除 scheduler 自動 ServiceAccount token (#44173)
更多 PgBouncer secrets 配置控制選項 (#45248)
新增
ti.running指標匯出 (#47773)新增
startupProbeinitialDelaySeconds的可選配置 (#47094)引入
worker.extraPorts以向 worker 容器暴露附加埠 (#46679)
Bug 修復¶
當
passwordSecretName為 true 時啟用AIRFLOW__CELERY__BROKER_URL_CMD(#40270)正確實現 termination grace period seconds (#41374)
將 kerberos 環境變數新增到基礎容器環境變數,新增 webserver-config 卷 (#41645)
修復
volumeClaimTemplates缺少apiVersion和kind的問題 (#41771)將全域性卷和卷掛載渲染到清理作業中 (#40191) (#42268)
修復 flower ingress 服務引用 (#41179)
修復 scheduler 在本地和持久化模式下的
volumeClaimTemplate(#42946)修復多種執行器的角色繫結 (#44424)
在 KEDA ScaledObject 中將容器名稱設定為
envSourceContainerName(#44963)更新 scheduler deployment 以支援多種執行器 (#46039)
替換元資料標籤中不允許的字元 (#46811)
授予 Airflow API Server 讀取 Pod 日誌的許可權 (#47212)
修復多執行器模式下 scheduler ServiceAccount 自動掛載的問題 (#46486)
僅文件變更¶
在文件中體現 jobs 支援
extraInitContainers(#41674)新增如何使用 Kubernetes Secret 配置 PgBouncer 的指南 (#42460)
更新私有 registry 引數描述 (#43721)
修改 kerberos
reinitFrequency引數描述 (#45343)更新 Helm 驅逐配置指南以體現
workers.safeToEvict的預設值 (#44852)新增
storageClassName可以模板化的資訊 (#45176)修復生產環境指南中 broker-url secret 名稱 (#45863)
在文件中將 DAGs 替換為 dags (#47959)
改進
airflowLocalSettings值描述 (#47855)保持模板化引數標記方式的一致性 (#46481)
雜項¶
在 NOTES 中支援模板化主機名 (#41423)
將 Airflow 預設版本設定為 2.10.5 (#46624)
將 triggerer 配置選項
default_capacity修改為capacity(#48032)AIP-84 將公共 API 移至 /api/v2 下 (#47760)
Chart 中預設使用 FabAuthManager (#47976)
將 PgBouncer 更新至
1.23.1,將 PgBouncer exporter 更新至0.18.0(#47416)將 api-server 移至 8080 埠 (#47310)
在 Airflow 3 中啟動 api-server,在 Airflow 2 中啟動 webserver (#47085)
將
fastapi-api命令移至api-server(#47076)將
execution_api_server_url配置移至 core 部分 (#46969)對 Airflow 3 使用獨立的 DAG 處理器 (#45659)
將
quay.io/prometheus/statsd-exporter從v0.26.1更新至v0.28.0(#43393)
Airflow Helm Chart 1.15.0 (2024-07-24)¶
重要變更¶
預設 Airflow 映象更新至 2.9.3 (#40816)¶
Chart 使用的預設 Airflow 映象現在是 2.9.3,此前版本為 2.9.2。
預設 PgBouncer Exporter 映象已更新 (#40318)¶
PgBouncer Exporter 映象已更新至 airflow-pgbouncer-exporter-2024.06.18-0.17.0,解決了 CVE-2024-24786 問題。
新特性¶
新增 git-sync 容器生命週期鉤子 (#40369)
為 jobs 新增初始化容器 (#40454)
新增持久化卷宣告保留策略 (#40271)
為 Redis StatefulSet 添加註解 (#40281)
新增
dags.gitSync.sshKey,允許直接在 values 檔案中配置 git-sync 私鑰 (#39936)向 git-sync 容器新增
extraEnvFrom(#39031)
改進¶
使用動態 webserver secret 時,UIAlert 中指向生產環境指南的連結現在在新標籤頁中開啟 (#40635)
支援停用
extraConfigMaps和extraSecrets上的 helm hooks (#40294)
Bug 修復¶
將 git-sync ssh secret 新增到 DAG 處理器 (#40691)
修復重複的
safeToEvict註解 (#40554)在 values.yaml 中新增缺失的
triggerer.keda.usePgbouncer(#40614)使用 mysql 後端時,刪除開頭的
//字元 (#40401)
僅文件變更¶
更新 chart 下載連結以使用 Apache 下載 CDN (#40618)
雜項¶
將 PgBouncer exporter 映象更新至
airflow-pgbouncer-exporter-2024.06.18-0.17.0(#40318)將 Airflow 預設版本設定為 2.9.3 (#40816)
修復
startupProbe時間註釋 (#40412)
Airflow Helm Chart 1.14.0 (2024-06-18)¶
重要變更¶
ClusterRole 和 ClusterRoleBinding 名稱已更新為唯一 (#37197)¶
ClusterRole``s and ``ClusterRoleBinding``s created when ``multiNamespaceMode 在啟用時已重新命名以確保名稱唯一
{{ include "airflow.fullname" . }}-pod-launcher-role已重新命名為{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-launcher-role
{{ include "airflow.fullname" . }}-pod-launcher-rolebinding已重新命名為{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-launcher-rolebinding
{{ include "airflow.fullname" . }}-pod-log-reader-role已重新命名為{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-log-reader-role
{{ include "airflow.fullname" . }}-pod-log-reader-rolebinding已重新命名為{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-pod-log-reader-rolebinding
{{ include "airflow.fullname" . }}-scc-rolebinding已重新命名為{{ .Release.Namespace }}-{{ include "airflow.fullname" . }}-scc-rolebinding
workers.safeToEvict 預設值更改為 False (#40229)¶
workers.safeToEvict 的預設值現在為 False。這是一個更安全的預設設定,因為它阻止了 K8s Cluster Autoscaler 縮減執行 worker 的節點。如果希望保留之前的行為,可以將此配置設為 True。
預設 Airflow 映象更新至 2.9.2 (#40160)¶
Chart 使用的預設 Airflow 映象現在是 2.9.2,此前版本為 2.8.3。
預設 StatsD 映象更新至 v0.26.1 (#38416)¶
Chart 使用的預設 StatsD 映象現在是 v0.26.1,此前版本為 v0.26.0。
新特性¶
為 triggerer 啟用 MySQL KEDA 支援 (#37365)
允許 AWS 執行器 (#38524)
改進¶
允許在元件的環境變數配置中使用
valueFrom(#40135)在
extraContainers和extraInitContainers中啟用模板化 (#38507)為 pod-template-file 新增 safe-to-evict 註解 (#37352)
支援 KubernetesExecutor 的
workers.command引數 (#39132)為 Jobs 新增
priorityClassName(#39133)為 pod-template-file 新增 Kerberos sidecar (#38815)
為附加容器新增模板化欄位支援 (#38510)
Bug 修復¶
將
workers.safeToEvict預設值設定為 False (#40229)
僅文件變更¶
文件說明
extraContainers和extraInitContainers支援模板化 (#40033)修復 HorizontalPodAutoscaling 文件中的拼寫錯誤 (#39307)
修復文件中支援的 k8s 版本 (#39172)
修復
brokerUrlSecretName的 YAML 路徑中的拼寫錯誤 (#39115)
雜項¶
將 Airflow 預設版本設定為 2.9.2 (#40160)
將 Redis 映象限制為 7.2 版本 (#38928)
使用 Kubernetes 1.29 資源構建 Helm values schema (#38460)
在資源文件中新增缺失的容器 (#38534)
將 StatsD Exporter 映象升級到 0.26.1 (#38416)
移除對 K8S 1.25 的支援 (#38367)
Airflow Helm Chart 1.13.1 (2024-03-25)¶
重要變更¶
預設 Airflow 映象更新至 2.8.3 (#38036)¶
Chart 使用的預設 Airflow 映象現在是 2.8.3,此前版本為 2.8.2。
Bug 修復¶
不覆蓋
.Values.airflowPodAnnotations(#37917)修復使用多個同名
multiNamespacereleases 時,叢集範圍 RBAC 命名衝突的問題 (#37197)
雜項¶
Chart: 將 Airflow 預設版本設定為 2.8.3 (#38036)
Airflow Helm Chart 1.13.0 (2024-03-05)¶
重要變更¶
預設 Airflow 映象更新至 2.8.2 (#37704)¶
Chart 使用的預設 Airflow 映象現在是 2.8.2,此前版本為 2.8.1。
新特性¶
支援資料庫遷移物件和 pods 的特定標籤 (#37490)
改進¶
Flower K8s Probe 配置 (#37528)
Bug 修復¶
移除 webserver service 中重複的 ports 鍵 (#37356)
向日志清理 sidecar 新增
AIRFLOW_HOME環境變數 (#37588)準備可重現軟體包時跳過
.路徑 (#37402)
雜項¶
將 Airflow 預設版本設定為 2.8.2 (#37704)
Airflow Helm Chart 1.12.0 (2024-02-11)¶
重要變更¶
helm chart 現在使用更新版本的 bitnami/postgresql 依賴項 (#34817)¶
bitnami/postgresql 子 chart 版本從 12.10.0 升級到 13.2.24。PostgreSQL 二進位制檔案版本從 11 升級到 16.1.0。
此更改要求現有的 bitnami/postgresql 子 chart 使用者使用 pg_dumpall 或 pg_upgrade 手動進行主要版本升級。
溫馨提示,建議在生產環境中 設定外部資料庫。
預設 Airflow 映象更新至 2.8.1 (#36907)¶
Chart 使用的預設 Airflow 映象現在是 2.8.1,此前版本為 2.7.1。
預設 PgBouncer 和 PgBouncer Exporter 映象已更新 (#36898)¶
PgBouncer 和 PgBouncer Exporter 映象基於更新的軟體/作業系統。
pgbouncer: 1.21.0 基於 alpine 3.14 (airflow-pgbouncer-2024.01.19-1.21.0)
pgbouncer-exporter: 0.16.0 基於 alpine 3.19 (apache/airflow:airflow-pgbouncer-exporter-2024.01.19-0.16.0)
預設 StatsD 映象更新至 v0.26.0 (#37187)¶
Chart 使用的預設 StatsD 映象現在是 v0.26.0,此前版本為 v0.22.8。
預設 Redis 映象更新至 7-bookworm (#37187)¶
Chart 使用的預設 Redis 映象現在是 7-bookworm,此前版本為 7-bullseye。
新特性¶
為 Airflow Workers 啟用原生 HPA (#36174)
為 Airflow Kerberos 新增初始化容器 + sidecar 支援 (#35548)
支援將 MySQL 後端作為 KEDA trigger (#36167)
改進¶
改進 PriorityClass 以提高可除錯性 (#36365)
在 DAG 處理器日誌清理 sidecar 中新增
securityContexts(#34499)在 DAG 處理器 wait-for-migrations 容器中新增對
securityContexts的支援 (#35593)新增 PVC
storageClassName的模板化支援 (#35581)為 worker 新增
volumeClaimTemplate(#34986)新增對 Redis pods
priorityClassName的支援 (#34879)DAGs 卷的可配置掛載路徑 (#35083)
新增對自定義
emptyDir配置的支援 (#34837)新增啟用/停用 scheduler 和 webserver 的功能 (#36991)
Bug 修復¶
修復 Airflow 配置中的 StatsD host (#35679)
使用
airflowHome的值設定AIRFLOW_HOME環境變數 (#34839)更安全的 worker pod 註解 (#35309)
正確設定 worker
safeToEvict(#35130)修復使用
useStandardNaming時的 Redis broker URL (#34825)當
usePgbouncer為 false 時,修復 KEDA 連線中的元資料 DB 和埠 (#34741)修復使用
useStandardNaming時的 PgBouncer 連線 (#34787)
僅文件變更¶
新增關於擴充套件 Airflow Helm chart 的文件 (#36331)
為 Elasticsearch 連線方案添加註釋 (#35588)
新增關於 Virtualenvs 可以避免自定義映象的需求的說明 (#35306)
雜項¶
將 Airflow 預設版本設定為 2.8.1 (#36907)
支援 git-sync v4 (#34731)
將
bitnami/postgresql子 chart 升級到13.2.24(#36156)將 git sync 容器縮排更改為 4 (#35824)
移除對 K8S 1.24 的支援 (#35214)
使用更新版本重建
pgbouncer和pgbouncer-exporter映象 (#36898)更新
statsd和redischart 映象 (#37187)
Airflow Helm Chart 1.11.0 (2023-10-02)¶
重大變更¶
支援 helm chart 資源上的命名自定義,某些資源在升級期間可能會被重新命名 (#31066)¶
這是一個新的可選開關 useStandardNaming,為了向後相容,利用了標準命名約定,它允許在所有資源中充分使用 fullnameOverride 和 nameOverride。
升級到 1.11.0 或更高版本時,以下資源將使用預設的 useStandardNaming=false 進行重新命名。
ConfigMap
{release}-airflow-config重新命名為{release}-configSecret
{release}-airflow-metadata重新命名為{release}-metadataSecret
{release}-airflow-result-backend重新命名為{release}-result-backendIngress
{release}-airflow-ingress重新命名為{release}-ingress
對於現有安裝,您的所有資源將使用新名稱重新建立,Helm 將刪除之前的資源。
這不會刪除 StatefulSet/Deployment 使用的現有日誌 PVC,但會使用全新的 PVC 重新建立它們。如果您確實想保留日誌歷史記錄,則需要在部署後手動將這些卷的資料複製到新卷中。此過程可能因您使用的儲存後端/類而異。如果您不介意從新的日誌/redis 捲開始,您可以直接刪除舊的 PVC,例如
kubectl delete pvc -n airflow logs-gta-triggerer-0
kubectl delete pvc -n airflow logs-gta-worker-0
kubectl delete pvc -n airflow redis-db-gta-redis-0
如果您在升級後不更改 useStandardNaming 或 fullnameOverride,您可以照常進行,不會出現意外行為。
bitnami/postgresql 子 chart 更新到 12.10.0 (#33747)¶
Chart 中使用的 PostgreSQL 子 chart 現在是 12.10.0,之前是 12.1.9。
預設 git-sync 映象更新到 3.6.9 (#33748)¶
Chart 中使用的預設 git-sync 映象現在是 3.6.9,之前是 3.6.3。
預設 Airflow 映象更新到 2.7.1 (#34186)¶
Chart 中使用的預設 Airflow 映象現在是 2.7.1,之前是 2.6.2。
新增特性¶
新增對 POD 模板中 scheduler 名稱的支援 (#33843)
支援 KEDA 對 triggerer 進行擴縮容 (#32302)
新增對容器生命週期 hook 的支援 (#32349, #34677)
支援 helm chart 資源上的命名自定義 (#31066)
為 scheduler 和 webserver 新增
startupProbe(#33107)允許使用
automountServiceAccountToken停用 token 掛載 (#32808)新增對定義自定義優先順序類別的支援 (#31615)
新增對
runtimeClassName的支援 (#31868)新增對 workers KEDA trigger 中自定義查詢的支援 (#32308)
改進¶
為清理 job 新增
containerSecurityContext(#34351)為 PGBouncer metrics exporter 新增現有 secret 支援 (#32724)
允許在 webserver ingress 主機名中使用模板 (#33142)
允許在 flower ingress 主機名中使用模板 (#33363)
為 StatsD 和 webserver 新增 configmap 註解 (#33340)
為 PgBouncer 新增 pod security context (#32662)
新增一個選項,當啟用 PgBouncer 時,在 KEDA 中使用直接資料庫連線 (#32608)
允許在 cleanup.schedule 中使用模板 (#32570)
為 dag processor 的
waitformigration容器的extraVolumeMounts新增模板支援 (#32100)能夠將額外容器注入到 PgBouncer 中 (#33686)
允許將自定義環境變數新增到 PgBouncer 容器中 (#33438)
新增對 StatsD 容器中環境變數的支援 (#33175)
Bug 修復¶
在資料庫遷移 job 中新增
airflow db migrate命令 (#34178)將
workers.terminationGracePeriodSeconds傳遞到 KubeExecutor pod 模板中 (#33514)CeleryExecutor 名稱空間取決於 Airflow 版本 (#32753)
修復 dag processor 未包含 webserver config 卷的問題 (#32644)
Dag processor liveness probe 包含
--local和--job-type引數 (#32426)根據預設值修改 flower_url_prefix (#33134)
文件變更¶
新增更明確的生產環境“嵌入式 postgres”排除說明 (#33034)
更新 git-sync 描述 (#32181)
其他¶
預設 Airflow 版本設為 2.7.1 (#34186)
將 PostgreSQL 子 chart 更新到 12.10.0 (#33747)
將 git-sync 更新到 3.6.9 (#33748)
刪除從 helm values 載入環境變數的不必要迴圈 (#33506)
在 ingress 模板檔案中將
common.tplvalues.render替換為tpl(#33384)移除對 K8S 1.23 的支援 (#32899)
修復 chart 命名模板中的註釋 (#32681)
刪除 workers KEDA 配置部分 chart values 中過時的註釋 (#32300)
刪除模板檔案中不必要的
or函式 (#34415)
Airflow Helm Chart 1.10.0 (2023-06-26)¶
重大變更¶
預設 Airflow 映象更新到 2.6.2 (#31979)¶
Chart 中使用的預設 Airflow 映象現在是 2.6.2,之前是 2.5.3。
新增特性¶
新增對容器 security context 的支援 (#31043)
改進¶
驗證
executor和config.core.executor是否匹配 (#30693)支援 PodDisruptionBudget 的
minAvailable屬性 (#30603)為 dag processor 的
waitForMigrations新增volumeMounts(#30990)為額外卷新增模板支援 (#30773)
Bug 修復¶
修復 webserver probe 的超時和週期設定 (#30609)
為 workers 新增缺失的
waitForMigrations(#31625)為 K8S worker pod 模板新增缺失的
priorityClassName(#31328)為 dag processor 新增 log groomer sidecar (#30726)
不要將全域性 security context 傳播到 statsd 和 redis (#31865)
其他¶
預設 Airflow 版本設為 2.6.2 (#31979)
為 chart license header 使用模板註釋 (#30569)
對齊 chart 模板中的
apiVersion和kind順序 (#31850)清理 Kubernetes < 1.23 的支援 (#31847)
Airflow Helm Chart 1.9.0 (2023-04-14)¶
重大變更¶
預設 PgBouncer 和 PgBouncer Exporter 映象已更新 (#29919)¶
PgBouncer 和 PgBouncer Exporter 映象是基於更新的軟體/作業系統。它們也是多平臺的 AMD/ARM 映象。
pgbouncer: 基於 alpine 3.14 的 1.16.1 版本 (airflow-pgbouncer-2023.02.24-1.16.1)
pgbouncer-exporter: 基於 alpine 3.17 的 0.14.0 版本 (apache/airflow:airflow-pgbouncer-exporter-2023.02.21-0.14.0)
預設 Airflow 映象更新到 2.5.3 (#30411)¶
Chart 中使用的預設 Airflow 映象現在是 2.5.3,之前是 2.5.1。
新增特性¶
為 Airflow webserver 和 scheduler 新增對
hostAliases的支援 (#30051)為 StatsD Deployment 和 cleanup CronJob 添加註解支援 (#30126)
為日誌 PVC 添加註解支援 (#29270)
為額外 ConfigMap 和 Secrets 添加註解支援 (#30303)
為 PgBouncer 新增 pod 註解支援 (#30168)
為
migrateDatabaseJob和createUserJob新增對ttlSecondsAfterFinished的支援 (#29314)新增對使用 Docker 映象 SHA 摘要的支援 (#30214)
改進¶
在 Helm Chart 中為額外卷新增模板支援 (#29357)
使 PgBouncer Exporter 的 Liveness/Readiness Probe 超時可配置 (#29752)
啟用獨立的 trigger 日誌記錄 (#29482)
Bug 修復¶
將
config.kubernetes_executor新增到 values 中 (#29818)阻止映象配置中的額外屬性 (#30217)
如果 KEDA 啟用,則移除 replicas (#29838)
啟用時將
kerberos.keytab掛載到 worker (#29526)修復為 dag 持久化 PVC 添加註解的問題 (#29622)
修復
bitnami/postgresql的預設使用者名稱和密碼問題 (#29478)在 pod 模板檔案中新增全域性卷 (#29295)
為 triggerer service 新增 log groomer sidecar (#29392)
當使用
postgresql.nameOverride時,Helm 部署失敗 (#29214)
文件變更¶
新增 gitSync 可選環境變數描述 (#29378)
新增 webserver NodePort 示例 (#29460)
在 Helm chart 安裝說明中包含 Rancher (#28416)
更改 RSA SSH 主機金鑰以反映 Github 的更新 (#30286)
其他¶
將 Airflow 版本更新到 2.5.3 (#30411)
在 chart 中切換到新版本的 PgBouncer 和 PgBouncer Exporter (#29919)
重新格式化 chart 模板 (#29917)
重新格式化 chart 模板 第2部分 (#29941)
重新格式化 chart 模板 第3部分 (#30312)
替換廢棄的 k8s 登錄檔引用 (#29938)
修復
airflow_dags_mount格式問題 (#29296)修復
webserver.service.ports格式問題 (#29297)
Airflow Helm Chart 1.8.0 (2023-02-06)¶
重大變更¶
bitnami/postgresql 子 chart 更新到 12.1.9 (#29071)¶
安裝的 postgresql 版本仍為 11。
如果您使用內建 postgres 資料庫升級現有 helm release,您需要刪除 release 並重新全新安裝,或者手動刪除這 2 個物件
kubectl delete secret {RELEASE_NAME}-postgresql
kubectl delete statefulset {RELEASE_NAME}-postgresql
溫馨提示,建議在生產環境中 設定外部資料庫。
此版本的 chart 使用不同的變數名來設定 postgres 資料庫中的使用者名稱和密碼。
postgresql.auth.enablePostgresUser用於確定是否建立“postgres”管理員賬戶。postgresql.auth.postgresPassword設定“postgres”使用者的密碼。postgresql.auth.username和postrgesql.auth.password用於在需要時為非管理員賬戶設定憑據。上一版本 chart 中使用的
postgresql.postgresqlUsername和postgresql.postresqlPassword已不再使用。
如果使用者更改 Postgres 配置,則需要在其 values 檔案中進行這些更改。
此前子 chart 版本為 10.5.3。
預設 dags.gitSync.wait 減少到 5 秒 (#27625)¶
dags.gitSync.wait 的預設值已從 60 秒減少到 5 秒,以降低 DAGs 在 Airflow 元件之間變得不一致的可能性。但是,這將增加到遠端 git 倉庫的流量。
預設 Airflow 映象更新到 2.5.1 (#29074)¶
Chart 中使用的預設 Airflow 映象現在是 2.5.1,之前是 2.4.1。
預設 git-sync 映象更新到 3.6.3 (#27848)¶
Chart 中使用的預設 git-sync 映象現在是 3.6.3,之前是 3.4.0。
預設 redis 映象更新到 7-bullseye (#27443)¶
Chart 中使用的預設 redis 映象現在是 7-bullseye,之前是 6-bullseye。
新增特性¶
在 deployment 上添加註解 (#28688)
為 chart 新增全域性 volume 和 volumeMounts (#27781)
改進¶
新增對
webserverConfigConfigMapName的支援 (#27419)增強 chart 以允許覆蓋 statsd exporter 的命令列引數 (#28041)
在 Services 中新增對 NodePort 的支援 (#26945)
新增 worker log-groomer-sidecar 啟用選項 (#27178)
向 Pod 模板檔案新增 HostAliases (#27544)
允許 PgBouncer replicas 可配置 (#27439)
Bug 修復¶
建立 scheduler service 為 LocalKubernetesExecutor 提供任務日誌 (#28828)
修復 NOTES.txt 顯示正確 URL 的問題 (#28264)
為 LocalKubernetesExecutor 新增 worker service account (#28813)
移除對 1.19 api 的檢查 (#28461)
將 airflow_local_settings 新增到所有 airflow 容器 (#27779)
使 job 模板中的自定義環境變數可選 (#27148)
減少預設 gitSync 等待時間 (#27625)
也為 sidecars 新增
extraVolumeMounts(#27420)修復 PostgreSQL 子 chart 升級後的 PgBouncer 問題 (#29207)
文件變更¶
增強生產指南,增加一些 Argo 特定的指南 (#29078)
新增關於 Pod 模板映象的文件說明 (#29032)
更新生產指南的資料庫部分 (#28610)
修復 LoadBalancer 程式碼片段 (#28014)
修復 gitSync 示例程式碼 (#28083)
更正透過 ssh 克隆倉庫的示例 (#27671)
其他¶
將 Airflow 版本更新到 2.5.1 (#29074)
將 git-sync 更新到 3.6.3 (#27848)
將
bitnami/postgresql子 chart 升級到 12.1.9 (#29071)將 redis 更新到 7 (#27443)
替換 helm chart 圖示 (#27704)
Airflow Helm Chart 1.7.0 (2022-10-14)¶
重大變更¶
預設 Airflow 映象更新到 2.4.1 (#26485)¶
Chart 中使用的預設 Airflow 映象現在是 2.4.1,之前是 2.3.2。
新增特性¶
使清理 job 歷史記錄可配置 (#26838)
為特定 Airflow 元件新增標籤 (#25031)
在 Helm chart values 中新增 StatsD
overrideMappings(#26598)為 StatsD deployment 模板新增
podAnnotations(#25732)容器特定的額外環境變數 (#24784)
為額外 Secrets 和 ConfigMaps 新增自定義標籤 (#25283)
為所有 deployment 新增
revisionHistoryLimit(#25059)為 Redis StatefulSet 新增
podAnnotations(#23708)部署獨立的 Dag Processor (#23711)
為 webserver probe 新增可配置 scheme (#22815)
為 Helm chart 新增 KEDA HPA 配置支援 (#24220)
改進¶
為 Airflow scheduler deployment 新增 ‘executor’ 標籤 (#25684)
在 Helm chart values 中新增預設
flower_url_prefix(#26415)為 Celery workers 新增 liveness probe (#25561)
當
result_backend未設定時,為 celery result backend 使用sql_alchemy_conn(#24496)
Bug 修復¶
修復 pod 模板
imagePullPolicy問題 (#26423)如果啟用了 dag 持久化,則不對
sshKeySecret宣告卷 (#22913)將 worker 註解傳遞到生成的 pod 模板中 (#24647)
修復
jobs check命令的 semver 比較數字問題 (#24480)在 Airflow 2.5+ 中為 liveness probe 使用
--local標誌 (#24999)
文件變更¶
改進關於停用 helm hook 的文件 (#26747)
從 git repo 值中移除
ssh://字首 (#26632)修復
defaultAirflowRepository註釋 (#26428)將 DAGs 烘焙到 Docker 映象中 (#26401)
當使用相同的 DAG tag 時重新載入 pod (#24576)
對
result_backend、dag processor 和helm uninstall的少量澄清 (#24929)為 Release Notes 中的 GitHub PRs 新增超連結 (#24532)
Terraform 不應使用 Helm hook 啟動 job (#26604)
Flux 不應使用 Helm hook 啟動 job (#24288)
提供關於如何從私有倉庫拉取 Airflow 映象的詳細資訊 (#24394)
Helm logo 不再是連結 (#23977)
文件說明 chart 中對 LocalKubernetesExecutor 的支援 (#23876)
更新生產指南 (#23836)
其他¶
預設 Airflow 版本設為 2.4.1 (#26485)
將 Bitnami chart 作為 vendored 依賴項包含進來 (#24395)
移除對 Kubernetes 1.20 的支援 (#25871)
Airflow Helm Chart 1.6.0 (2022-05-20)¶
重大變更¶
預設 Airflow 映象更新到 2.3.0 (#23386)¶
Chart 中使用的預設 Airflow 映象現在是 2.3.0,之前是 2.2.4。
ingress.enabled 已廢棄¶
現在,不再使用一個標誌來控制 webserver 和 flower 的 ingress 資源,而是提供了單獨的標誌來分別控制它們:ingress.web.enabled 和 ingress.flower.enabled。ingress.enabled 已廢棄,但仍會繼續同時控制兩者。
Flower 預設停用¶
使用 CeleryExecutor 時,Flower 預設不再啟用。如果您想部署它,請在 values 檔案中將 flower.enabled 設定為 true。
新增特性¶
支援在
volumeClaimTemplates上使用annotations(#23433)為 Helm Chart 新增對
topologySpreadConstraints的支援 (#22712)Helm 支援 LocalKubernetesExecutor (#22388)
為 Helm chart 中 Redis 新增
securityContext配置 (#22182)允許在 Helm DAG PVC 上使用
annotations(#22261)啟用 DAGs 卷掛載的可選
subPath(#22323)在 PgBouncer Helm 配置中添加了在
auth_file中覆蓋auth_type的支援 (#21999)為 Flower 新增
extraVolumeMounts(#22414)新增 webserver
PodDisruptionBudget(#21735)
改進¶
確保遷移 job 的訊息儘早顯示 (#23479)
允許 migration job 和 init container 為可選 (#22195)
在 Airflow 2 中使用 jobs check command 進行 liveness probe 檢查 (#22143)
文件變更¶
在 Helm 生產文件中新增
resultBackendSecretName警告 (#23307)
其他¶
將預設 Airflow 版本更新到
2.3.0(#23386)將資料庫配置移動到新部分 (#22284)
Chart 中預設停用 flower (#23737)
Airflow Helm Chart 1.5.0, (2022-03-07)¶
重大變更¶
預設 Airflow 映象更新到 2.2.4¶
Chart 中使用的預設 Airflow 映象現在是 2.2.4,之前是 2.2.3。
移除 config.api¶
此部分配置了 Airflow API 的身份驗證後端,但使用的值與 Airflow 預設設定相同,因此無需再次宣告。
新增特性¶
在 jobs 中新增對自定義命令和引數的支援 (#20864)
支援
priorityClassName(#20794)向 Flower deployment 新增
envFrom(#21401)為清理 pod 添加註解 (#21484)
改進¶
加速 scheduler 和 triggerer 的 liveness probe (#20833, #21108)
將 git-sync 更新到 v3.4.0 (#21309)
移除預設 auth backend 設定 (#21640)
Bug 修復¶
修復 elasticsearch URL 在使用者名稱/密碼為空時的問題 (#21222)
在 wait-for-airflow-migrations 容器中掛載
airflow.cfg(#20609)授予 triggerer ServiceAccount pod 日誌讀取許可權 (#21111)
文件變更¶
簡化配置 Airflow 的 chart 文件 (#21747)
新增關於時間同步所需的額外資訊 (#21685)
修復額外容器文件 (#20787)
雜項¶
使用
2.2.4作為預設 Airflow 版本 (#21745)將 Redis 映象更改為 bullseye (#21875)
Airflow Helm Chart 1.4.0 (2022-01-10)¶
重大變更¶
預設 Airflow 映象更新至 2.2.3¶
Chart 中使用的預設 Airflow 映象現已更新至 2.2.3,此前是 2.2.1。
ingress.web.hosts 和 ingress.flower.hosts 引數資料型別已更改,且 ingress.web.tls 和 ingress.flower.tls 已移動¶
ingress.web.hosts 和 ingress.flower.hosts 的型別已從字串陣列更改為物件陣列。ingress.web.tls 和 ingress.flower.tls 現在可以在 ingress.web.hosts 和 ingress.flower.hosts 中分別按主機指定。
舊的引數名稱將繼續可用,但在未來的版本中將移除對其的支援,因此請更新您的 values 檔案。
修復了 nodeSelector、affinity 和 tolerations 引數的優先順序¶
nodeSelector、affinity 和 tolerations 引數在所有元件上的優先順序已修復。現在,元件特定的引數(例如 webserver.affinity)優先於全域性引數(例如 affinity)。
預設 KubernetesExecutor worker affinity 已移除¶
此前,為 KubernetesExecutor worker 添加了預設 affinity,以便將 worker 分散到不同節點。此預設 affinity 不再設定,因為一般來說,沒有理由將任務特定的 worker 分散到不同節點。
webserver 和 flower NetworkPolicy 預設埠的變更¶
webserver.networkPolicy.ingress.ports 和 flower.networkPolicy.ingress.ports 的預設值已從使用命名埠改為使用數字埠,以避免 OpenShift 的問題。
增加 scheduler 和 triggerer 的預設 livenessProbe timeoutSeconds¶
scheduler 和 triggerer 的預設 livenessProbe 超時時間已從 10 秒增加到 20 秒。
新特性¶
為 extra secrets 引數新增
type(#20599)支援 elasticsearch 連線
scheme(#20564)允許單獨停用內建 secret 變數 (#18974)
新增對
securityContext的支援 (#18249)為 job 新增額外的容器、卷和卷掛載 (#18808)
允許 ingress 多個主機名使用不同的 secret (#18542)
PgBouncer 額外的卷、卷掛載和
sslmode(#19749)允許指定 kerberos keytab (#19054)
允許停用 Helm hook (#18776, #20018)
新增
migration-wait-timeout(#20069)
改進¶
增加預設
livenessProbe超時 (#20698)對 values.yaml 中的 k8s 物件採用嚴格 schema (#19181)
移除不必要的
pod_template_file預設值 (#19690)對於 Airflow>=2,使用內建的
check-migrations命令 (#19676)
錯誤修復¶
修復
affinity、nodeSelector和tolerations的優先順序 (#20641)修復 chart elasticsearch 預設埠從 80 到 9200 (#20616)
修復 webserver 和 flower UI 的網路策略問題 (#20199)
使用本地定義進行 k8s schema 驗證 (#20544)
為 ingress/PVC 新增自定義標籤 (#20535)
修復 extra secrets/configmaps 標籤 (#20464)
修復更新時 flower 重啟的問題 (#20316)
正確引用名稱空間名稱 (#20266)
僅文件變更¶
在 chart INSTALL 中新增
helm dependency update步驟 (#20702)重寫涵蓋 envvar secrets 的章節 (#20566)
新增“自定義 Worker”頁面 (#20331)
在生產指南中包含 Datadog 示例 (#17996)
更新生產 Helm 指南資料庫章節,使用 k8s secret (#19892)
修復
multiNamespaceMode文件,使其也涵蓋 KPO (#19879)澄清 Helm 在載入預設連線時的行為 (#19708)
雜項¶
使用
2.2.3作為預設 Airflow 版本 (#20450)為文件和截圖新增 ArtifactHUB 註釋 (#20558)
新增 kubernetes 1.21 支援 (#19557)
Airflow Helm Chart 1.3.0 (2021-11-08)¶
重大變更¶
預設 Airflow 映象更新至 2.2.1¶
Chart 中使用的預設 Airflow 映象現已更新至 2.2.1 (即 Python 3.7),此前是 2.1.4 (即 Python 3.6)。
triggerer 元件需要 Python 3.7。如果您需要 Python 3.6 和 Airflow 2.2.0 或更高版本,請使用基於 3.6 的映象,並在您的 values 中設定 triggerer.enabled=False。
使 airflow-run-airflow-migrations job 的資源可配置¶
現在可以透過 migrateDatabaseJob.resources 值來設定遷移 job 的資源請求和限制。
新特性¶
Chart: 為
cleanup和createuserjob 新增資源 (#19263)Chart: 為 cleanup pod 建立的 job 新增標籤 (#19225)
新增遷移 job 資源 (#19175)
允許為所有元件新增自定義 pod 註釋 (#18481)
Chart: 使 PgBouncer cmd/args 可配置 (#18910)
Chart: 預設使用 python 3.7;支援停用 triggerer (#18920)
改進¶
Chart: 增加預設 liveness probe 超時 (#19003)
Chart: 在 triggerer 中掛載 DAG (#18753)
錯誤修復¶
允許透過 Airflow UI 的 Clear > Run 建立 worker pod (#18272)
允許 Airflow 標準映象使用官方 Helm chart 在 OpenShift 中執行 #18136 (#18147)
僅文件變更¶
Chart: 修復
extraEnvFrom示例 (#19144)Chart 文件: 更新 webserver secret key 參考配置 (#18595)
修復原始碼安裝指南中的 helm chart 連結 (#18588)
雜項¶
Chart: 更新預設 Airflow 版本至
2.2.1(#19326)現代化 dockerfile 構建 (#19327)
Chart: 使用嚴格 k8s schema 進行模板驗證 (#19379)
Airflow Helm Chart 1.2.0 (2021-09-28)¶
重大變更¶
ingress.web.host 和 ingress.flower.host 引數已重新命名且資料型別已更改¶
ingress.web.host 和 ingress.flower.host 引數已分別重新命名為 ingress.web.hosts 和 ingress.flower.hosts。它們的型別已從字串更改為字串陣列。
舊的引數名稱將繼續可用,但在未來的版本中將移除對其的支援,因此請更新您的 values 檔案。
預設 Airflow 版本更新至 2.1.4¶
Chart 安裝的預設 Airflow 版本現已更新至 2.1.4,此前是 2.1.2。
移除 ingress.flower.precedingPaths 和 ingress.flower.succeedingPaths 引數¶
ingress.flower.precedingPaths 和 ingress.flower.succeedingPaths 引數已被移除,因為它們此前對渲染的 YAML 輸出沒有影響。
Ingress 上預設 path 的變更¶
隨著對 stable Kubernetes Ingress API 的支援,預設路徑已從未設定更改為 /。對於大多數 Ingress controller,這不應改變生成的 Ingress 資源的行為。
新特性¶
將 Triggerer 新增到 Helm Chart (#17743)
Chart: 在未設定 webserver secret key 時發出警告 (#18306)
為
migrateDatabaseJob新增extraContainers(#18379)job 模板上的標籤 (#18403)
Chart: 允許使用預設映象執行和等待 DB 遷移 (#18218)
Chart: 使 cleanup cronjob cmd/args 可配置 (#17970)
Chart: 可配置的 log groomer 保留天數 (#17764)
Chart: 在 webserver 和 flower service 中新增
loadBalancerSourceRanges(#17666)Chart: 支援 k8s worker 中的
extraContainers(#17562)
改進¶
切換到最新版本的 PGBouncer-Exporter (#18429)
Chart: 能夠透過多個主機名訪問 http k8s (#18257)
Chart: 在可用時使用 stable API 版本 (#17211)
Chart: 允許
podTemplate被模板化 (#17560)
錯誤修復¶
Chart: 修復在 Triggerer 上應用
labels的問題 (#18299)修復 celery worker 的溫和關機 (#18068)
Chart: 修復 Triggerer 的一些小問題 (#18105)
Chart: 修復 webserver secret key 更新 (#18079)
Chart: 修復使用
uid0執行的問題 (#17688)Chart: 為 log reader RoleBinding 使用 ServiceAccount 模板 (#17645)
Chart: 修復 elasticsearch-secret 模板埠預設函式 (#17428)
KEDA 任務計數查詢應忽略 k8s 佇列 (#17433)
僅文件變更¶
Chart 文件: 刪除新增連線文件中的多餘空格 (#18424)
改進所有元件的從原始碼安裝頁面 (#18251)
Chart 文件: 使用 code-block 格式化
loadBalancerSourceRanges(#17763)文件: 修復 ssh 相關警告訊息中的一個損壞連結 (#17294)
Chart: 新增在升級前更新 Helm Repo 的說明 (#17282)
Chart 文件: 改進關於 logs 現有 PVC 許可權的說明 (#17177)
雜項¶
Chart: 更新預設 Airflow 版本至
2.1.4(#18354)
Airflow Helm Chart 1.1.0 (2021-07-26)¶
重大變更¶
在將 chart 升級到最新版本之前,執行 helm repo update。
預設 Airflow 版本更新至 2.1.2¶
Chart 安裝的預設 Airflow 版本現已更新至 2.1.2,此前是 2.0.2。
不再支援 Helm 2¶
此 chart 已放棄對 Helm 2 的支援,因為它已被棄用且自 2020 年 11 月起不再接收安全更新。
webserver.extraNetworkPolicies 和 flower.extraNetworkPolicies 引數已重新命名¶
webserver.extraNetworkPolicies 和 flower.extraNetworkPolicies 已分別重新命名為 webserver.networkPolicy.ingress.from 和 flower.networkPolicy.ingress.from。它們的值和行為相同。
舊的引數名稱將繼續可用,但在未來的版本中將移除對其的支援,因此請更新您的 values 檔案。
移除 dags.gitSync.root、dags.gitSync.dest 和 dags.gitSync.excludeWebserver 引數¶
dags.gitSync.root 和 dags.gitSync.dest 引數並未為 chart 使用者提供任何有用的行為,因此已被移除。如果您的 values 檔案中設定了這些引數,可以安全地將其移除。
dags.gitSync.excludeWebserver 引數被錯誤地包含在 chart 的 values.schema.json 中。如果您的 values 檔案中設定了此引數,可以安全地將其移除。
nodeSelector、affinity 和 tolerations 在 migrateDatabaseJob 和 createUserJob job 上¶
migrateDatabaseJob 和 createUserJob job 此前錯誤地使用了 webserver 的 nodeSelector、affinity 和 tolerations(如果設定)。現在每個 job 都可以單獨配置。
新特性¶
Chart: 允許
CeleryExecutor使用krb5.conf(#16822)Chart: 重構 webserver 和 flower NetworkPolicy (#16619)
Chart: 將 worker 的節點分配設定應用於 Pod Template File (#16663)
Chart: 支援覆蓋 webserver 和 flower service 埠 (#16572)
Chart: 支援 flower 中的
extraContainers和extraVolumes(#16515)Chart: 允許在 helm chart 中配置 pod 資源 (#16425)
Chart: 支援 job 級別的註釋;修復 job 排程配置 (#16331)
feat: Helm chart 將
minReplicaCount新增到 KEDA 的worker-kedaautoscaler.yaml(#16262)Chart: 新增對自定義 command 和 args 的支援 (#16153)
Chart: 為
pgbouncer新增額外的 ini 配置 (#16120)Chart: 為 scheduler/webserver/workers 新增
extraInitContainers(#16098)git-sync sidecar 的資源可配置 (#16080)
Chart: 模板化
airflowLocalSettings和webserver.webserverConfig(#16074)支援 scheduler 上的
strategy/updateStrategy(#16069)Chart: 為 job 新增 airflow 和 extra 註釋 (#16058)
Flower 和 Webserver 的
loadBalancerIP和annotations(#15972)
改進¶
Chart: 將 Postgres subchart 更新至 10.5.3 (#17041)
Chart: 更新預設 Airflow 版本至
2.1.2(#17013)更新 Helm Chart 的預設映象至
2.1.1(#16785)Chart: 使用
KubernetesExecutor並採用預設日誌時發出警告 (#16784)放棄對 Helm 2 的支援 (#16575)
Chart: scheduler、webserver 和 worker 的
podAntiAffinity(#16315)Chart: 更新預設 Airflow 版本至
2.1.0(#16273)Chart: 僅在需要時在 webserver 中掛載 DAG (#16229)
Chart: 移除
git-sync的root和dest引數 (#15955)Chart: 新增關於缺少
knownHosts的警告 (#15950)
錯誤修復¶
Chart: 為 Webserver 的 flask secret key 建立一個隨機 secret (#17142)
Chart: 修復 cleanup ServiceAccount 上的標籤 (#16722)
Chart: 修復 Worker Deployment 上覆蓋節點分配設定的問題 (#16670)
Chart: 始終部署一個
gitsyncinit container (#16339)Chart: 修復從
KubernetesExecutor更新到CeleryExecutor的問題 (#16242)Chart: 為 Kubernetes worker pod 新增標籤 (#16203)
Chart: 允許
webserver.base_url被模板化 (#16126)Chart: 修復
PgBouncerexporter sidecar (#16099)從 chart 的
values.schema.json中移除dags.gitSync.excludeWebserver(#16070)Chart: 修復在未啟用 Elasticsearch 時建立 Elasticsearch secret 的問題 (#16015)
處理 Helm Chart 密碼中的特殊字元 (#16004)
修復在未啟用 flower 時建立 flower ServiceAccount 的問題 (#16011)
Chart:
KubernetesExecutor的gitsync清理 (#15925)使用
gitsync時,以只讀模式掛載 DAG (#15953)
僅文件變更¶
Chart 文件: 注意現有 PVC 的 uid 寫入許可權 (#17170)
Chart 文件: 新增
multiNamespaceMode的單行描述 (#17147)Chart: 更新 Helm chart 的描述,包含“官方”字樣 (#17040)
Chart: 改進
podTemplate的註釋和示例 (#16859)Chart: 新增更清晰的設定
pod_template_file.yaml的文件 (#16632)修復
scheduler.livenessprobe.periodSeconds的描述 (#16486)Chart 文件: 修復
extrasecrets示例 (#16305)改進
README.md檔案的小細節 (#16244)
雜項¶
從我們的工具鏈中移除 pylint (#16682)
更新連結以匹配 pre-commit 中的內容 (#16408)
Chart: 更新
Chart.yaml中的appVersion至 2.1.0 (#16337)將 Airflow 倉庫的主分支重新命名為
main(#16149)更新 Chart 版本至
1.1.0-rc1(#16124)