airflow.providers.amazon.aws.transfers.sql_to_s3¶

屬性¶

FILE_OPTIONS_MAP

類¶

`FILE_FORMAT`	可能的檔案格式。
`FileOptions`
`SqlToS3Operator`	將特定 SQL 查詢的資料儲存到 S3 中的檔案。

模組內容¶

class airflow.providers.amazon.aws.transfers.sql_to_s3.FILE_FORMAT[source]¶

基類: enum.Enum

可能的檔案格式。

CSV[source]¶

JSON[source]¶

PARQUET[source]¶

class airflow.providers.amazon.aws.transfers.sql_to_s3.FileOptions[source]¶

基類: tuple

mode[source]¶

suffix[source]¶

function[source]¶

airflow.providers.amazon.aws.transfers.sql_to_s3.FILE_OPTIONS_MAP[source]¶

class airflow.providers.amazon.aws.transfers.sql_to_s3.SqlToS3Operator(*, query, s3_bucket, s3_key, sql_conn_id, sql_hook_params=None, parameters=None, replace=False, aws_conn_id='aws_default', verify=None, file_format='csv', max_rows_per_file=0, pd_kwargs=None, groupby_kwargs=None, **kwargs)[source]¶

基類: airflow.models.BaseOperator

將特定 SQL 查詢的資料儲存到 S3 中的檔案。

參見

有關如何使用此 operator 的更多資訊，請參閱指南：MySQL 到 Amazon S3 傳輸 operator

引數:

query (str) – 要執行的 sql 查詢。如果要執行檔案，請放置其絕對路徑，並以 .sql 副檔名結尾。（模板化）
s3_bucket (str) – 將儲存資料的 bucket。（模板化）
s3_key (str) – 期望的檔案鍵。包含檔名稱。（模板化）
replace (bool) – 如果檔案之前存在，是否替換 S3 中的檔案
sql_conn_id (str) – 對特定資料庫的引用。
sql_hook_params (dict | None) – 要傳遞給底層 hook 的額外配置引數。應與期望的 hook 建構函式引數匹配。
parameters (None | collections.abc.Mapping[str, Any] | list | tuple) – （可選）用於渲染 SQL 查詢的引數。
aws_conn_id (str | None) – 對特定 S3 連線的引用
verify (bool | str | None) –
是否驗證 S3 連線的 SSL 證書。預設情況下驗證 SSL 證書。您可以提供以下值：
- False：不驗證 SSL 證書。SSL 仍將被使用
  (除非 use_ssl 為 False)，但 SSL 證書將不被驗證。
- path/to/cert/bundle.pem：要使用的 CA 證書包的檔名。
  如果您想使用與 botocore 使用的不同的 CA 證書包，可以指定此引數。
file_format (typing_extensions.Literal[csv, json, parquet]) – 目標檔案格式，只接受字串 ‘csv’、‘json’ 或 ‘parquet’。
max_rows_per_file (int) – （可選）用於設定目標檔案行數限制的引數，如果源資料大於此限制，則會分派到多個檔案中。如果指定了 groupby_kwargs 引數，此引數將被忽略。
pd_kwargs (dict | None) – 包含在 DataFrame .to_parquet()、.to_json() 或 .to_csv() 中的引數。
groupby_kwargs (dict | None) – 包含在 DataFrame groupby() 中的引數。