配置參考¶

本頁包含 apache-airflow-providers-elasticsearch Provider 的所有可用 Airflow 配置列表，這些配置可以在 airflow.cfg 檔案中或使用環境變數進行設定。

注意

自 Airflow 2.7.0 起開始使用嵌入在 Provider 中的配置。在此之前，配置是在 Airflow Core 包中描述和配置的 - 因此如果您使用的 Airflow 版本低於 2.7.0，請查閱 Airflow 文件以獲取 Airflow Core 中可用的配置選項列表。

注意

更多資訊請參閱設定配置選項。

[elasticsearch]¶

end_of_log_mark¶

添加於版本 1.10.4。

用於標記任務日誌流的結尾

型別:: 字串
預設值:: end_of_log
環境變數:: AIRFLOW__ELASTICSEARCH__END_OF_LOG_MARK

frontend¶

添加於版本 1.10.4。

Elasticsearch 前端（如 Kibana）的限定 URL，帶有用於 log_id 的模板引數。程式碼將使用上述引數中的 log_id 模板構建 log_id。注意：如果未提供方案（scheme），將預設為 https

型別:: 字串
預設值:: ''
環境變數:: AIRFLOW__ELASTICSEARCH__FRONTEND
示例:: https://:5601/app/kibana#/discover?_a=(columns:!(message),query:(language:kuery,query:'log_id: "{log_id}"'),sort:!(log.offset,asc))

host¶

添加於版本 1.10.4。

Elasticsearch 主機

型別:: 字串
預設值:: ''
環境變數:: AIRFLOW__ELASTICSEARCH__HOST

host_field¶

添加於版本 2.1.1。

儲存主機名欄位（通常是 host 或 host.name）

型別:: 字串
預設值:: host
環境變數:: AIRFLOW__ELASTICSEARCH__HOST_FIELD

index_patterns¶

添加於版本 2.6.0。

搜尋日誌時使用的索引模式的逗號分隔列表（預設值：_all）。index_patterns_callable 優先於此。

型別:: 字串
預設值:: _all
環境變數:: AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS
示例:: something-*

index_patterns_callable¶

添加於版本 5.5.0。

表示 Python 可呼叫路徑完整路徑的字串，該可呼叫接受 TI 物件並返回逗號分隔的索引模式列表。這將優先於 index_patterns。

型別:: 字串
預設值:: ''
環境變數:: AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS_CALLABLE
示例:: module.callable

json_fields¶

添加於版本 1.10.4。

如果啟用，也要附加到 JSON 輸出的日誌欄位

型別:: 字串
預設值:: asctime, filename, lineno, levelname, message
環境變數:: AIRFLOW__ELASTICSEARCH__JSON_FIELDS

json_format¶

添加於版本 1.10.4。

不使用預設日誌格式化程式，將日誌行寫為 JSON 格式

型別:: 字串
預設值:: False
環境變數:: AIRFLOW__ELASTICSEARCH__JSON_FORMAT

log_id_template¶

添加於版本 1.10.4。

log_id 的格式，用於查詢給定任務的日誌

型別:: 字串
預設值:: {dag_id}-{task_id}-{run_id}-{map_index}-{try_number}
環境變數:: AIRFLOW__ELASTICSEARCH__LOG_ID_TEMPLATE

offset_field¶

添加於版本 2.1.1。

儲存偏移量的欄位（通常是 offset 或 log.offset）

型別:: 字串
預設值:: offset
環境變數:: AIRFLOW__ELASTICSEARCH__OFFSET_FIELD

target_index¶

添加於版本 5.5.4。

啟用將任務日誌寫入 Elasticsearch 時要寫入的索引名稱

型別:: 字串
預設值:: airflow-logs
環境變數:: AIRFLOW__ELASTICSEARCH__TARGET_INDEX

write_stdout¶

添加於版本 1.10.4。

將任務日誌寫入 worker 的標準輸出，而不是預設檔案

型別:: 字串
預設值:: False
環境變數:: AIRFLOW__ELASTICSEARCH__WRITE_STDOUT

write_to_es¶

添加於版本 5.5.4。

將任務日誌寫入 Elasticsearch

型別:: 字串
預設值:: False
環境變數:: AIRFLOW__ELASTICSEARCH__WRITE_TO_ES

[elasticsearch_configs]¶

http_compress¶

添加於版本 1.10.5。

型別:: 字串
預設值:: False
環境變數:: AIRFLOW__ELASTICSEARCH_CONFIGS__HTTP_COMPRESS

verify_certs¶

添加於版本 1.10.5。

型別:: 字串
預設值:: True
環境變數:: AIRFLOW__ELASTICSEARCH_CONFIGS__VERIFY_CERTS