airflow.providers.snowflake.transfers.copy_into_snowflake

子類實現 Snowflake 中的 COPY INTO <TABLE> SQL 的抽象運算子。

類

CopyFromExternalStageToSnowflakeOperator

執行 COPY INTO 命令，用於將檔案從雲端外部暫存區載入到 Snowflake。

模組內容

class airflow.providers.snowflake.transfers.copy_into_snowflake.CopyFromExternalStageToSnowflakeOperator(*, files=None, table, stage, prefix=None, file_format, schema=None, columns_array=None, pattern=None, warehouse=None, database=None, autocommit=True, snowflake_conn_id='snowflake_default', role=None, authenticator=None, session_parameters=None, copy_options=None, validation_mode=None, **kwargs)[source]

基類: airflow.models.BaseOperator

執行 COPY INTO 命令，用於將檔案從雲端外部暫存區載入到 Snowflake。

此運算子需要 snowflake_conn_id 連線。必須在連線中設定 Snowflake 的主機、登入名和密碼欄位。其他輸入可以在連線或 Hook 例項化時定義。

引數:

  • namespace – Snowflake 名稱空間

  • table (str) – Snowflake 表

  • file_format (str) – 檔案格式名稱，例如 CSV, AVRO 等

  • stage (str) – 指向特定 Snowflake 暫存區的引用。如果暫存區的模式與表的模式不同，則必須指定。

  • prefix (str | None) – 指定的雲端儲存位置，用於限制載入的檔案集合

  • files (list | None) – 要載入到表中的檔案

  • pattern (str | None) – 用於將檔案從外部位置載入到表的模式

  • snowflake_conn_id (str) – 指向 Snowflake 連線 ID 的引用

  • account – Snowflake 賬戶名

  • warehouse (str | None) – Snowflake 倉庫名稱

  • database (str | None) – Snowflake 資料庫名稱

  • region – Snowflake 區域名稱

  • role (str | None) – Snowflake 角色名稱

  • schema (str | None) – Snowflake 模式名稱

  • authenticator (str | None) – Snowflake 認證器。'snowflake'（預設）表示使用 Snowflake 內部認證器；'externalbrowser' 表示使用您的網路瀏覽器透過 Okta、ADFS 或任何其他符合 SAML 2.0 的身份提供者 (IdP) 進行認證；https://<your_okta_account_name>.okta.com 表示透過原生的 Okta 進行認證。

  • session_parameters (dict | None) – 您可以在連線到 Snowflake 時設定會話級別引數

  • copy_options (str | None) – Snowflake COPY INTO 語法複製選項

  • validation_mode (str | None) – Snowflake COPY INTO 語法驗證模式

template_fields: collections.abc.Sequence[str] = ('files',)[source]
template_fields_renderers[source]
files = None[source]
table[source]
stage[source]
prefix = None[source]
file_format[source]
schema = None[source]
columns_array = None[source]
pattern = None[source]
warehouse = None[source]
database = None[source]
autocommit = True[source]
snowflake_conn_id = 'snowflake_default'[source]
role = None[source]
authenticator = None[source]
session_parameters = None[source]
copy_options = None[source]
validation_mode = None[source]
hook: airflow.providers.snowflake.hooks.snowflake.SnowflakeHook | None = None[source]
execute(context)[source]

建立運算子時派生。

Context 是與渲染 Jinja 模板時使用的相同的字典。

請參考 get_template_context 獲取更多上下文資訊。

get_openlineage_facets_on_complete(task_instance)[source]

實現 _on_complete，因為我們依賴於查詢的返回值。

此條目是否有用？