airflow.providers.papermill.hooks.kernel¶

屬性¶

`JUPYTER_KERNEL_SHELL_PORT`
`JUPYTER_KERNEL_IOPUB_PORT`
`JUPYTER_KERNEL_STDIN_PORT`
`JUPYTER_KERNEL_CONTROL_PORT`
`JUPYTER_KERNEL_HB_PORT`
`REMOTE_KERNEL_ENGINE`

類¶

`KernelConnection`	表示核心連線物件的類。
`KernelHook`	KernelHook 可用於與遠端 jupyter 核心互動。
`RemoteKernelManager`	連線到遠端核心的 Jupyter 核心管理器。
`RemoteKernelEngine`	使用 `RemoteKernelManager` 連線到遠端核心並執行 notebook 的 Papermill 引擎。

函式¶

register_remote_kernel_engine()

註冊 RemoteKernelEngine papermill 引擎。

模組內容¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_SHELL_PORT = 60316[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_IOPUB_PORT = 60317[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_STDIN_PORT = 60318[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_CONTROL_PORT = 60319[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_HB_PORT = 60320[source]¶

airflow.providers.papermill.hooks.kernel.REMOTE_KERNEL_ENGINE = 'remote_kernel_engine'[source]¶

class airflow.providers.papermill.hooks.kernel.KernelConnection[source]¶

表示核心連線物件的類。

ip: str[source]¶

shell_port: int[source]¶

iopub_port: int[source]¶

stdin_port: int[source]¶

control_port: int[source]¶

hb_port: int[source]¶

session_key: str[source]¶

class airflow.providers.papermill.hooks.kernel.KernelHook(kernel_conn_id=default_conn_name, *args, **kwargs)[source]¶

基類: airflow.hooks.base.BaseHook

KernelHook 可用於與遠端 jupyter 核心互動。

從連線中獲取核心主機/IP，並引用 extra 欄位中的 jupyter 核心埠和 session_key。: 從 extra 欄位中獲取 jupyter 核心埠和 session_key。

引數：: kernel_conn_id (str) – 包含核心主機/IP 的連線

conn_name_attr = 'kernel_conn_id'[source]¶

default_conn_name = 'jupyter_kernel_default'[source]¶

conn_type = 'jupyter_kernel'[source]¶

hook_name = 'Jupyter Kernel'[source]¶

kernel_conn[source]¶

get_conn()[source]¶

返回 Hook 的連線。

airflow.providers.papermill.hooks.kernel.register_remote_kernel_engine()[source]¶: 註冊 RemoteKernelEngine papermill 引擎。

class airflow.providers.papermill.hooks.kernel.RemoteKernelManager(*args, **kwargs)[source]¶

基類: jupyter_client.AsyncKernelManager

連線到遠端核心的 Jupyter 核心管理器。

session_key[source]¶

property has_kernel: bool[source]¶

是否有已啟動的核心程序正在被我們主動管理。

shutdown_kernel(now=False, restart=False)[source]¶

client(**kwargs)[source]¶

建立一個配置好連線到我們核心的客戶端。

class airflow.providers.papermill.hooks.kernel.RemoteKernelEngine[source]¶

基類: papermill.engines.NBClientEngine

使用 RemoteKernelManager 連線到遠端核心並執行 notebook 的 Papermill 引擎。

classmethod execute_managed_notebook(nb_man, kernel_name, log_output=False, stdout_file=None, stderr_file=None, start_timeout=60, execution_timeout=None, **kwargs)[source]¶: 在本地執行引數化 notebook。