airflow.providers.google.cloud.hooks.automl

本模組包含一個 Google AutoML Hook。

類

CloudAutoMLHook

Google Cloud AutoML Hook。

模組內容

class airflow.providers.google.cloud.hooks.automl.CloudAutoMLHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基類： airflow.providers.google.common.hooks.base_google.GoogleBaseHook, airflow.providers.google.common.hooks.operation_helpers.OperationHelper

Google Cloud AutoML Hook。

Hook 中所有使用 project_id 的方法都必須使用關鍵字引數而不是位置引數呼叫。

static extract_object_id(obj)[source]

返回物件的唯一 ID。

get_conn()[source]

檢索與 AutoML 的連線。

返回:

Google Cloud AutoML 客戶端物件。

返回型別:

google.cloud.automl_v1beta1.AutoMlClient

property prediction_client: google.cloud.automl_v1beta1.PredictionServiceClient[source]

建立 PredictionServiceClient。

返回:

Google Cloud AutoML PredictionServiceClient 客戶端物件。

返回型別:

google.cloud.automl_v1beta1.PredictionServiceClient

create_model(model, location, project_id=PROVIDE_PROJECT_ID, timeout=None, metadata=(), retry=DEFAULT)[source]

建立模型 ID，並在完成時在 response 欄位中返回一個模型。

建立模型時，會為其建立多個模型評估：一個全域性評估，以及每個標註規範一個評估。

引數:

  • model (dict | google.cloud.automl_v1beta1.Model) – 要建立的模型 ID。如果提供了字典，則其形式必須與 protobuf 訊息 google.cloud.automl_v1beta1.types.Model 相同

  • project_id (str) – 將建立模型的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types._OperationFuture 例項

返回型別:

google.api_core.operation.Operation

batch_predict(model_id, input_config, output_config, location, project_id=PROVIDE_PROJECT_ID, params=None, retry=DEFAULT, timeout=None, metadata=())[source]

執行批次預測並返回一個長時間執行的操作物件。

與線上 Predict 不同，批次預測結果不會立即在響應中提供。取而代之的是，返回一個長時間執行的操作物件。

引數:

  • model_id (str) – 請求提供批次預測的模型 ID 名稱。

  • input_config (dict | google.cloud.automl_v1beta1.BatchPredictInputConfig) – 必需。批次預測的輸入配置。如果提供了字典，則其形式必須與 protobuf 訊息 google.cloud.automl_v1beta1.types.BatchPredictInputConfig 相同

  • output_config (dict | google.cloud.automl_v1beta1.BatchPredictOutputConfig) – 必需。指定輸出預測應寫入位置的配置。如果提供了字典，則其形式必須與 protobuf 訊息 google.cloud.automl_v1beta1.types.BatchPredictOutputConfig 相同

  • params (dict[str, str] | None) – 用於預測的附加域特定引數，任何字串長度不得超過 25000 個字元。

  • project_id (str) – 模型所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types._OperationFuture 例項

返回型別:

google.api_core.operation.Operation

predict(model_id, payload, location, project_id=PROVIDE_PROJECT_ID, params=None, retry=DEFAULT, timeout=None, metadata=())[source]

執行線上預測並在響應中返回預測結果。

引數:

  • model_id (str) – 請求提供預測的模型 ID 名稱。

  • payload (dict | google.cloud.automl_v1beta1.ExamplePayload) – 必需。用於執行預測的負載。該負載必須與模型 ID 經過訓練以解決的問題型別匹配。如果提供了字典，則其形式必須與 protobuf 訊息 google.cloud.automl_v1beta1.types.ExamplePayload 相同

  • params (dict[str, str] | None) – 附加域特定引數，任何字串長度不得超過 25000 個字元。

  • project_id (str) – 模型所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types.PredictResponse 例項

返回型別:

google.cloud.automl_v1beta1.PredictResponse

create_dataset(dataset, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

建立資料集。

引數:

  • dataset (dict | google.cloud.automl_v1beta1.Dataset) – 要建立的資料集。如果提供了字典，則其形式必須與 protobuf 訊息 Dataset 相同。

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types.Dataset 例項。

返回型別:

google.cloud.automl_v1beta1.Dataset

import_data(dataset_id, location, input_config, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

將資料匯入資料集。對於表，此方法只能在空資料集上呼叫。

引數:

  • dataset_id (str) – AutoML 資料集的名稱。

  • input_config (dict | google.cloud.automl_v1beta1.InputConfig) – 期望的輸入位置及其域特定語義（如果有）。如果提供了字典，則其形式必須與 protobuf 訊息 InputConfig 相同。

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types._OperationFuture 例項

返回型別:

google.api_core.operation.Operation

list_column_specs(dataset_id, table_spec_id, location, project_id=PROVIDE_PROJECT_ID, field_mask=None, filter_=None, page_size=None, retry=DEFAULT, timeout=None, metadata=())[source]

列出表規範中的列規範。

引數:

  • dataset_id (str) – AutoML 資料集的名稱。

  • table_spec_id (str) – 用於路徑構建器的表規範 ID。

  • field_mask (dict | google.protobuf.field_mask_pb2.FieldMask | None) – 指定要讀取哪些欄位的掩碼。如果提供了字典，則其形式必須與 protobuf 訊息 google.cloud.automl_v1beta1.types.FieldMask 相同

  • filter – 過濾表示式，參見 go/filtering。

  • page_size (int | None) – 底層 API 響應中包含的最大資源數量。如果按資源進行分頁流式傳輸，則此引數不影響返回值。如果按頁進行分頁流式傳輸，則此引數確定一頁中的最大資源數量。

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types.ColumnSpec 例項。

返回型別:

google.cloud.automl_v1beta1.services.auto_ml.pagers.ListColumnSpecsPager

get_model(model_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

獲取 AutoML 模型。

引數:

  • model_id (str) – 模型名稱。

  • project_id (str) – 模型所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types.Model 例項。

返回型別:

google.cloud.automl_v1beta1.Model

delete_model(model_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

刪除 AutoML 模型。

引數:

  • model_id (str) – 模型名稱。

  • project_id (str) – 模型所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types._OperationFuture 例項。

返回型別:

google.api_core.operation.Operation

update_dataset(dataset, update_mask=None, retry=DEFAULT, timeout=None, metadata=())[source]

更新資料集。

引數:

  • dataset (dict | google.cloud.automl_v1beta1.Dataset) – 替換伺服器上資源的那個資料集。如果提供了字典，則其形式必須與 protobuf 訊息 Dataset 相同。

  • update_mask (dict | google.protobuf.field_mask_pb2.FieldMask | None) – 應用於資源的更新掩碼。如果提供了字典，則其形式必須與 protobuf 訊息 FieldMask 相同。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types.Dataset 例項。

返回型別:

google.cloud.automl_v1beta1.Dataset

deploy_model(model_id, location, project_id=PROVIDE_PROJECT_ID, image_detection_metadata=None, retry=DEFAULT, timeout=None, metadata=())[source]

部署模型。

如果模型已部署，使用相同的引數再次部署沒有效果。使用不同的引數（例如更改節點數量）部署將重置部署狀態，而不會暫停模型 ID 的可用性。

僅適用於文字分類、影像物件檢測和表；所有其他域都自動管理部署。

引數:

  • model_id (str) – 請求提供預測的模型 ID 名稱。

  • image_detection_metadata (google.cloud.automl_v1beta1.ImageObjectDetectionModelDeploymentMetadata | dict | None) – 影像物件檢測特定的模型部署元資料。如果提供了字典，則其形式必須與 protobuf 訊息 ImageObjectDetectionModelDeploymentMetadata 相同

  • project_id (str) – 將建立模型的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types._OperationFuture 例項。

返回型別:

google.api_core.operation.Operation

list_table_specs(dataset_id, location, project_id=PROVIDE_PROJECT_ID, filter_=None, page_size=None, retry=DEFAULT, timeout=None, metadata=())[source]

列出資料集 ID 中的表規範。

引數:

  • dataset_id (str) – 資料集名稱。

  • filter – 過濾表示式，參見 go/filtering。

  • page_size (int | None) – 底層 API 響應中包含的最大資源數量。如果按資源進行分頁流式傳輸，則此引數不影響返回值。如果按頁進行分頁流式傳輸，則此引數確定一頁中的最大資源數量。

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

一個 google.gax.PageIterator 例項。預設情況下，這是一個 google.cloud.automl_v1beta1.types.TableSpec 例項的可迭代物件。此物件還可以透過 options 引數配置為迭代響應的頁面。

返回型別:

google.cloud.automl_v1beta1.services.auto_ml.pagers.ListTableSpecsPager

list_datasets(location, project_id, retry=DEFAULT, timeout=None, metadata=())[source]

列出專案中的資料集。

引數:

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

一個 google.gax.PageIterator 例項。預設情況下，這是一個 google.cloud.automl_v1beta1.types.Dataset 例項的可迭代物件。此物件還可以透過 options 引數配置為迭代響應的頁面。

返回型別:

google.cloud.automl_v1beta1.services.auto_ml.pagers.ListDatasetsPager

delete_dataset(dataset_id, location, project_id, retry=DEFAULT, timeout=None, metadata=())[source]

刪除資料集及其所有內容。

引數:

  • dataset_id (str) – 要刪除的資料集 ID。

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • location (str) – 專案的位置。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types._OperationFuture 例項

返回型別:

google.api_core.operation.Operation

get_dataset(dataset_id, location, project_id, retry=DEFAULT, timeout=None, metadata=())[source]

檢索給定資料集 ID 的資料集。

引數:

  • dataset_id (str) – 要檢索的資料集 ID。

  • location (str) – 專案的位置。

  • project_id (str) – 資料集所在的 Google Cloud 專案的 ID；如果為 None，則使用預設的專案 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用於重試請求的重試物件。如果指定為 None，則不會重試請求。

  • timeout (float | None) – 等待請求完成的超時時間（秒）。請注意，如果指定了 retry，則此超時時間適用於每次單獨的嘗試。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供給方法的附加元資料。

返回:

google.cloud.automl_v1beta1.types.dataset.Dataset 例項。

返回型別:

google.cloud.automl_v1beta1.Dataset

此條目有幫助嗎？