配置參考

此頁面包含 apache-airflow-providers-common-io provider 的所有可用 Airflow 配置列表,這些配置可以在 airflow.cfg 檔案中設定,也可以透過環境變數設定。

注意

provider 中嵌入的配置從 Airflow 2.7.0 開始使用。之前,配置是在 Airflow core package 中描述和配置的 - 因此,如果您使用的 Airflow 版本低於 2.7.0,請查閱 Airflow 文件以獲取 Airflow core 中可用的配置選項列表。

注意

更多資訊請參閱設定配置選項

[common.io]

Common IO 配置小節

xcom_objectstorage_compression

在 1.3.0 版本中新增。

在物件儲存中儲存 XCom 時使用的壓縮演算法。支援的演算法包括:snappy, zip, gzip, bz2 和 lzma。如果未指定,將不使用壓縮。請注意,壓縮演算法必須在 Python 安裝中可用(例如,對於 snappy,需要 python-snappy)。Zip, gz, bz2 預設可用。

型別:

字串

預設值:

''

環境變數:

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_COMPRESSION

示例:

gz

xcom_objectstorage_path

在 1.3.0 版本中新增。

物件儲存上儲存 XComs 的位置路徑,使用 URL 格式。

型別:

字串

預設值:

''

環境變數:

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_PATH

示例:

s3://conn_id@bucket/path

xcom_objectstorage_threshold

在 1.3.0 版本中新增。

在物件儲存中儲存 XCom 的位元組閾值。-1 表示始終儲存在資料庫中。0 表示始終儲存在物件儲存中。任何正數表示如果值的大小大於閾值,則將其儲存在物件儲存中。

型別:

整數

預設值:

-1

環境變數:

AIRFLOW__COMMON_IO__XCOM_OBJECTSTORAGE_THRESHOLD

示例:

1000000

此條目有幫助嗎?