airflow.providers.google.cloud.transfers.mssql_to_gcs¶

MsSQL 到 GCS 的運算子。

類¶

MSSQLToGCSOperator

將資料從 Microsoft SQL Server 複製到 Google Cloud Storage，格式可為 JSON、CSV 或 Parquet。

模組內容¶

class airflow.providers.google.cloud.transfers.mssql_to_gcs.MSSQLToGCSOperator(*, bit_fields=None, mssql_conn_id='mssql_default', **kwargs)[原始碼]¶

基類: airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

將資料從 Microsoft SQL Server 複製到 Google Cloud Storage，格式可為 JSON、CSV 或 Parquet。

引數:

bit_fields (collections.abc.Sequence[str] | None) – MSSQL “BIT” 資料型別的欄位名稱序列，將在模式中解釋為 “BOOLEAN”。未包含在此序列中的 “BIT” 欄位，預設將解釋為 “INTEGER”。
mssql_conn_id – 指向特定 MSSQL hook 的引用。

示例:

以下運算子將從給定 MSSQL 資料庫中的 Customers 表匯出資料，然後將其上傳到 'mssql-export' GCS 儲存桶（連同模式檔案）。

export_customers = MSSQLToGCSOperator(
    task_id="export_customers",
    sql="SELECT * FROM dbo.Customers;",
    bit_fields=["some_bit_field", "another_bit_field"],
    bucket="mssql-export",
    filename="data/customers/export.json",
    schema_filename="schemas/export.json",
    mssql_conn_id="mssql_default",
    gcp_conn_id="google_cloud_default",
    dag=dag,
)

另請參閱

有關如何使用此運算子的更多資訊，請參閱指南：MSSQLToGCSOperator

ui_color = '#e0a98c'[原始碼]¶

type_map[原始碼]¶

mssql_conn_id = 'mssql_default'[原始碼]¶

bit_fields = [][原始碼]¶

property db_hook: airflow.providers.microsoft.mssql.hooks.mssql.MsSqlHook[原始碼]¶

query()[原始碼]¶

查詢 MSSQL 並返回結果遊標。

返回:: mssql 遊標

field_to_bigquery(field)[原始碼]¶

將 DBAPI 欄位轉換為 BigQuery 模式格式。

classmethod convert_type(value, schema_type, **kwargs)[原始碼]¶

獲取 MSSQL 中的值並將其轉換為對 JSON/Google Cloud Storage/BigQuery 安全的值。

Datetime, Date 和 Time 將轉換為 ISO 格式的字串。

get_openlineage_facets_on_start()[原始碼]¶