CopyFromExternalStageToSnowflakeOperator¶

使用 CopyFromExternalStageToSnowflakeOperator 將儲存在 AWS S3, Google Cloud Storage, 或 Azure Blob Storage 中的資料載入到 Snowflake 表中。

注意

此 operator 是對 COPY INTO table 查詢的簡單封裝，並且需要先建立 stage。

使用 Operator¶

與 SnowflakeOperator 類似，使用 snowflake_conn_id 和其他相關引數來建立與 Snowflake 例項的連線。此 operator 允許從特定的 Snowflake stage（預定義的 S3 路徑）載入一個或多個指定的檔案。為此，將相關檔名傳遞給 files 引數，並將相關的 Snowflake stage 傳遞給 stage 引數。pattern 可用於指定檔名和/或路徑匹配模式（參見文件）。file_format 可用於引用已存在的 Snowflake 檔案格式或定義檔案格式的自定義字串（參見文件）。

CopyFromExternalStageToSnowflakeOperator 的一個示例用法如下

tests/system/snowflake/example_copy_into_snowflake.py

copy_into_table = CopyFromExternalStageToSnowflakeOperator(
    task_id="copy_into_table",
    snowflake_conn_id=SNOWFLAKE_CONN_ID,
    files=[S3_FILE_PATH],
    table=SNOWFLAKE_SAMPLE_TABLE,
    stage=SNOWFLAKE_STAGE,
    file_format="(type = 'CSV',field_delimiter = ';')",
    pattern=".*[.]csv",
)