airflow.providers.amazon.aws.links.emr

類

EmrClusterLink

用於構建 Amazon EMR Cluster Link 的輔助類。

EmrLogsLink

用於構建 Amazon EMR Logs Link 的輔助類。

EmrServerlessLogsLink

用於構建 Amazon EMR Serverless 到 Spark stdout 日誌連結的輔助類。

EmrServerlessDashboardLink

用於構建 Amazon EMR Serverless Dashboard Link 的輔助類。

EmrServerlessS3LogsLink

用於構建 Amazon EMR Serverless 日誌到 S3 控制檯連結的輔助類。

EmrServerlessCloudWatchLogsLink

用於構建 Amazon EMR Serverless 日誌到 CloudWatch 控制檯連結的輔助類。

函式

get_serverless_log_uri(*, s3_log_uri, application_id, ...)

檢索 EMR Serverless 作業日誌的 S3 URI。

get_serverless_dashboard_url(*[, aws_conn_id, ...])

檢索 EMR Serverless 儀表盤的 URL。

get_log_uri(*[, cluster, emr_client, job_flow_id])

檢索 EMR 作業日誌的 S3 URI。

模組內容

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用於構建 Amazon EMR Cluster Link 的輔助類。

name = 'EMR Cluster'[source]

連結名稱。這將是任務 UI 上的按鈕名稱。

key = 'emr_cluster'[source]
format_str = 'https://console.{aws_domain}/emr/home?region={region_name}#/clusterDetails/{job_flow_id}'[source]

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用於構建 Amazon EMR Logs Link 的輔助類。

name = 'EMR Cluster Logs'[source]

連結名稱。這將是任務 UI 上的按鈕名稱。

key = 'emr_logs'[source]
format_str = 'https://console.{aws_domain}/s3/buckets/{log_uri}?region={region_name}&prefix={job_flow_id}/'[source]

格式化 AWS 服務連結。

某些 AWS 服務連結可能需要額外的轉義，在這種情況下應覆蓋此方法。

airflow.providers.amazon.aws.links.emr.get_serverless_log_uri(*, s3_log_uri, application_id, job_run_id)[source]

檢索 EMR Serverless 作業日誌的 S3 URI。

任何 EMR Serverless 作業都可能具有不同的 S3 日誌記錄位置（或無），該位置是 S3 URI。日誌記錄位置為 {s3_uri}/applications/{application_id}/jobs/{job_run_id}。

airflow.providers.amazon.aws.links.emr.get_serverless_dashboard_url(*, aws_conn_id=None, emr_serverless_client=None, application_id, job_run_id)[source]

檢索 EMR Serverless 儀表盤的 URL。

此 URL 是一次性、臨時連結，1 小時後過期且無需認證即可訪問。

必須傳入 AWS 連線 ID 或現有的 EMR Serverless 客戶端。如果傳入連線 ID，則使用該連線生成客戶端。

airflow.providers.amazon.aws.links.emr.get_log_uri(*, cluster=None, emr_client=None, job_flow_id=None)[source]

檢索 EMR 作業日誌的 S3 URI。

需要 describe_cluster 呼叫的輸出，或同時需要 EMR 客戶端和 job_flow_id。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用於構建 Amazon EMR Serverless 到 Spark stdout 日誌連結的輔助類。

name = 'Spark Driver stdout'[source]

連結名稱。這將是任務 UI 上的按鈕名稱。

key = 'emr_serverless_logs'[source]

格式化 AWS 服務連結。

某些 AWS 服務連結可能需要額外的轉義，在這種情況下應覆蓋此方法。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用於構建 Amazon EMR Serverless Dashboard Link 的輔助類。

name = 'EMR Serverless Dashboard'[source]

連結名稱。這將是任務 UI 上的按鈕名稱。

key = 'emr_serverless_dashboard'[source]

格式化 AWS 服務連結。

某些 AWS 服務連結可能需要額外的轉義，在這種情況下應覆蓋此方法。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用於構建 Amazon EMR Serverless 日誌到 S3 控制檯連結的輔助類。

name = 'S3 Logs'[source]

連結名稱。這將是任務 UI 上的按鈕名稱。

key = 'emr_serverless_s3_logs'[source]
format_str = 'https://console.{aws_domain}/s3/buckets/{bucket_name}?region={region_name}&prefix={prefix}/appli...[source]

格式化 AWS 服務連結。

某些 AWS 服務連結可能需要額外的轉義，在這種情況下應覆蓋此方法。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用於構建 Amazon EMR Serverless 日誌到 CloudWatch 控制檯連結的輔助類。

這是一個深層連結，可過濾特定作業執行。

name = 'CloudWatch Logs'[source]

連結名稱。這將是任務 UI 上的按鈕名稱。

key = 'emr_serverless_cloudwatch_logs'[source]
format_str = 'https://console.{aws_domain}/cloudwatch/home?region={region_name}#logsV2:log-groups/log-group/{a...[source]

格式化 AWS 服務連結。

某些 AWS 服務連結可能需要額外的轉義，在這種情況下應覆蓋此方法。

此條目有幫助嗎？