Parametrisierung und Zeitplanung

Mit JupyterLab könnt ihr den Jupyter Scheduler zum Parametrisieren und zeitgesteuertem Ausführen verwenden. Für Jupyter Notebooks steht euch papermill zur Verfügung.

Installieren

$ pipenv install papermill
Installing papermill…
Adding papermill to Pipfile's [packages]…
✔ Installation Succeeded
…

Verwenden

  1. Parametrisieren

    Der erste Schritt ist die Parametrisierung des Notebook. Dazu werden die Zellen in View ‣ Cell Toolbar ‣ Tags als Parameter markiert.

  2. Überprüfen

    Ihr könnt das Notebook inspizieren, z.B. mit

    $ pipenv run papermill --help-notebook docs/refactoring/parameterise/input.ipynb
Usage: papermill [OPTIONS] NOTEBOOK_PATH [OUTPUT_PATH]

Parameters inferred for notebook 'docs/refactoring/parameterise/input.ipynb':
  msg: Unknown type (default None)

  3. Ausführen

    Es gibt zwei Möglichkeiten, ein Notebook mit Parametern auszuführen:

    • … via Python API

      Die Funktion execute_notebook kann aufgerufen werden, um ein Notebook mit einem dict von Parametern auszuführen:

      execute_notebook(INPUT_NOTEBOOK, OUTPUT_NOTEBOOK, DICTIONARY_OF_PARAMETERS)

      z.B. für input.ipynb:

      In [1]: import papermill as pm

In [2]: pm.execute_notebook(
            "PATH/TO/INPUT_NOTEBOOK.ipynb",
            "PATH/TO/OUTPUT_NOTEBOOK.ipynb",
            parameters=dict(salutation="Hello", name="pythonistas"),
        )

      Das Ergebnis ist output.ipynb:

      In [1]: salutation = None
        name = None

In [2]: # Parameters
        salutation = "Hello"
        name = "pythonistas"

In [3]: from datetime import date


        today = date.today()
        print(
            salutation,
            name,
            "– welcome to our event on this " + today.strftime("%A, %d %B %Y"),
        )

Out[3]: Hello pythonistas – welcome to our event on this Monday, 26 June 2023

      import papermill as pm


pm.execute_notebook(
    "PATH/TO/INPUT_NOTEBOOK.ipynb",
    "PATH/TO/OUTPUT_NOTEBOOK.ipynb",
    parameters=dict(salutation="Hello", name="pythonistas"),
)

      Siehe auch

    • … via CLI

      $ pipenv run papermill input.ipynb output.ipynb -p salutation 'Hello' -p name 'pythonistas'

      Alternativ kann auch eine YAML-Datei mit den Parametern angegeben werden, z.B. params.yaml:

      params.yaml
      salutation: "Hello"
name: "Pythonistas"

      $ pipenv run papermill input.ipynb output.ipynb -f params.yaml

      Mit -b kann ein base64-kodierte YAML-String angegeben werden, die die Parameterwerte enthält:

      $ pipenv run papermill input.ipynb output.ipynb -b c2FsdXRhdGlvbjogIkhlbGxvIgpuYW1lOiAiUHl0aG9uaXN0YXMi

      Siehe auch

      Ihr könnt dem Dateinamen auch einen Zeitstempel hinzufügen:

      $ dt=$(date '+%Y-%m-%d_%H:%M:%S')
$ pipenv run papermill input.ipynb output_$(date '+%Y-%m-%d_%H:%M:%S').ipynb -f params.yaml

      Dies erzeugt eine Ausgabedatei, deren Dateiname einen Zeitstempel enthält, z.B. output_2023-06-26_15:57:33.ipynb.

      Schließlich könnt ihr crontab -e verwenden, um die beiden Befehle automatisch zu bestimmten Zeiten auszuführen, z.B. am ersten Tag eines jeden Monats:

      dt=$(date '+%Y-%m-%d_%H:%M:%S')
0 0 1 * * cd ~/jupyter-notebook && pipenv run papermill input.ipynb output_$(date '+%Y-%m-%d_%H:%M:%S').ipynb -f params.yaml

  4. Speichern

    Papermill kann Notebooks an einer Reihe von Orten speichern, einschließlich S3, Azure Data Blobs und Azure Data Lakes. Papermill erlaubt auch, neue Datenspeicher hinzuzufügen.

    Siehe auch