Versuchsmetriken

Mit dem dvc metrics-Kommando ist DVC auch ein Framework zum Erfassen und Vergleichen der Performance von Experimenten.

evaluate.py berechnet den AUC (A rea U nder the C urve, deutsch Fläche unter der Kurve)-Wert. Dabei verwendet es den Testdatensatz, ließt die Features aus features/test.pkl und erstellt die Metrikdatei auc.metric. Sie kann DVC als Metrik kenntlich gemacht werden mit der -M-Option von dvc run, in unserem Beispiel also mit:

$ dvc run -n evaluate -d src/evaluate.py -d model.pkl -d data/features \
    -M auc.json python src/evaluate.py model.pkl data/features auc.json

evaluate:
  cmd: python src/evaluate.py model.pkl data/features auc.json
  deps:
  - data/features
  - model.pkl
  - src/evaluate.py
  metrics:
  - auc.json:
      cache: false

Mit dvc metrics show lassen sich Experimente dann auch über verschiedene Branches und Tags hinweg vergleichen:

$ dvc metrics show
        auc.json: 0.514172

Um nun unsere erste Version der DVC-Pipeline abzuschließen, fügen wir die Dateien und ein Tag dem Git-Repository hinzu:

$ git add dvc.yaml dvc.lock auc.json
$ git commit -m 'Add stage ‹evaluate›'
$ git tag -a 0.1.0 -m "Initial pipeline version 0.1.0"