配置參考¶
此頁面包含 apache-airflow-providers-common-io provider 的所有可用 Airflow 配置列表,這些配置可以在 airflow.cfg 檔案中設定,也可以透過環境變數設定。
注意
provider 中嵌入的配置從 Airflow 2.7.0 開始使用。之前,配置是在 Airflow core package 中描述和配置的 - 因此,如果您使用的 Airflow 版本低於 2.7.0,請查閱 Airflow 文件以獲取 Airflow core 中可用的配置選項列表。
注意
更多資訊請參閱設定配置選項。
[common.io]¶
Common IO 配置小節
xcom_objectstorage_compression¶
在 1.3.0 版本中新增。
在物件儲存中儲存 XCom 時使用的壓縮演算法。支援的演算法包括:snappy, zip, gzip, bz2 和 lzma。如果未指定,將不使用壓縮。請注意,壓縮演算法必須在 Python 安裝中可用(例如,對於 snappy,需要 python-snappy)。Zip, gz, bz2 預設可用。
- 型別:
字串
- 預設值:
''- 環境變數:
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_COMPRESSION- 示例:
gz
xcom_objectstorage_path¶
在 1.3.0 版本中新增。
物件儲存上儲存 XComs 的位置路徑,使用 URL 格式。
- 型別:
字串
- 預設值:
''- 環境變數:
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_PATH- 示例:
s3://conn_id@bucket/path
xcom_objectstorage_threshold¶
在 1.3.0 版本中新增。
在物件儲存中儲存 XCom 的位元組閾值。-1 表示始終儲存在資料庫中。0 表示始終儲存在物件儲存中。任何正數表示如果值的大小大於閾值,則將其儲存在物件儲存中。
- 型別:
整數
- 預設值:
-1- 環境變數:
AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_THRESHOLD- 示例:
1000000