airflow.providers.amazon.aws.transfers.http_to_s3¶

此模組包含用於將資料從 HTTP 端點移動到 S3 的 Operator。

類¶

HttpToS3Operator

呼叫 HTTP 系統上的端點以執行操作並將結果儲存在 S3 中。

模組內容¶

class airflow.providers.amazon.aws.transfers.http_to_s3.HttpToS3Operator(*, endpoint=None, method='GET', data=None, headers=None, extra_options=None, http_conn_id='http_default', log_response=False, auth_type=None, tcp_keep_alive=True, tcp_keep_alive_idle=120, tcp_keep_alive_count=20, tcp_keep_alive_interval=30, s3_bucket=None, s3_key, replace=False, encrypt=False, acl_policy=None, aws_conn_id='aws_default', verify=None, **kwargs)[source]¶

基類: airflow.models.BaseOperator

呼叫 HTTP 系統上的端點以執行操作並將結果儲存在 S3 中。

參閱

有關如何使用此 Operator 的更多資訊，請參閱指南： HTTP 到 Amazon S3 傳輸 Operator

引數:

http_conn_id (str) – 用於執行 Operator 的 HTTP 連線
endpoint (str | None) – 完整 URL 的相對部分。（支援模板）
method (str) – 要使用的 HTTP 方法，預設為 "POST"
data (Any) – 要傳遞的資料。POST/PUT 請求中的 POST 資料，GET 請求中的 URL 引數。（支援模板）
headers (dict[str, str] | None) – 要新增到 GET 請求中的 HTTP 頭部
response_check – 對 'requests' 響應物件的檢查。該可呼叫物件將響應物件作為第一個位置引數，並可選擇接受上下文字典中可用的任意數量的關鍵字引數。應返回 True 表示“透過”，否則返回 False。
response_filter – 一個允許您操作響應文字的函式。例如 response_filter=lambda response: json.loads(response.text)。該可呼叫物件將響應物件作為第一個位置引數，並可選擇接受上下文字典中可用的任意數量的關鍵字引數。
extra_options (dict[str, Any] | None) – 'requests' 庫的額外選項，請參閱 'requests' 文件（修改超時、SSL 等的選項）
log_response (bool) – 記錄響應（預設：False）
auth_type (type[requests.auth.AuthBase] | None) – 服務的認證型別
tcp_keep_alive (bool) – 為連線啟用 TCP Keep Alive。
tcp_keep_alive_idle (int) – TCP Keep Alive Idle 引數（對應於 socket.TCP_KEEPIDLE）。
tcp_keep_alive_count (int) – TCP Keep Alive count 引數（對應於 socket.TCP_KEEPCNT）
tcp_keep_alive_interval (int) – TCP Keep Alive interval 引數（對應於 socket.TCP_KEEPINTVL）
s3_bucket (str | None) – 要儲存物件的 S3 儲存桶名稱。（支援模板）當 s3_key 提供的是完整的 s3:// URL 時應忽略此項。
s3_key (str) – 要建立的物件鍵。（支援模板）可以是完整的 s3:// 樣式 URL，也可以是相對於根路徑的路徑。當指定為完整的 s3:// URL 時，請忽略 s3_bucket。
replace (bool) – 如果為 True，如果鍵已存在，則會覆蓋它
encrypt (bool) – 如果為 True，檔案將在伺服器端由 S3 加密，並在 S3 中以加密形式儲存。
acl_policy (str | None) – 指定上傳到 S3 儲存桶的檔案的預設 ACL 策略的字串。
aws_conn_id (str | None) – 要使用的 S3 連線的連線 ID
verify (str | bool | None) –
是否驗證 S3 連線的 SSL 證書。預設情況下會驗證 SSL 證書。

您可以提供以下值
- False：不驗證 SSL 證書。SSL 仍將使用，
  但不驗證 SSL 證書。
- path/to/cert/bundle.pem：要使用的 CA 證書捆綁包的檔名。
  如果您想使用與 botocore 使用的不同的 CA 證書捆綁包，可以指定此引數。