{
  "schema_version": 1,
  "generated_at": "2026-10-27",
  "reviewed_at": "2026-11-04",
  "status": "preliminary_historical_evaluation",
  "source_documents": [
    "crop-vision evaluation/RESULTS.md",
    "crop-vision evaluation/results.json"
  ],
  "new_evaluation_run": false,
  "method": {
    "en": "One untuned DINOv2 fine-tune; trained on farm folds 2–4, calibrated on fold 1, evaluated on fold 0.",
    "fr": "Un entraînement affiné DINOv2 sans sélection de réglages; entraînement sur les groupes de fermes 2 à 4, calibration sur le groupe 1, évaluation sur le groupe 0."
  },
  "problem_naming": {
    "photos": 50,
    "farms": 21,
    "model_correct": 23,
    "model_accuracy": 0.46,
    "hosted_correct": 40,
    "hosted_accuracy": 0.8,
    "model_minus_hosted": -0.34,
    "model_minus_hosted_95_ci": [
      -0.5609756097560976,
      -0.14754098360655737
    ],
    "confidence_interval_unit": "proportion_difference",
    "resampling_unit": "farm"
  },
  "training_inventory": {
    "deduplicated_photos": 14126,
    "farms": 183,
    "human_judged_photos": 365,
    "cross_farm_duplicates_removed": 464,
    "within_farm_duplicates_removed": 2068
  },
  "separate_selection_diagnostic": {
    "folds": [
      1,
      2,
      3,
      4
    ],
    "corrected_photos": 42,
    "corrected_names_returned": 0,
    "held_out_evaluation": false
  },
  "held_out_evaluation_log_count": 8,
  "limitations": {
    "en": [
      "All human-judged photos used here were flagged by a hosted model; missed problems are unmeasured.",
      "Confirmations inherit hosted problem names, favouring that comparator.",
      "The hosted comparator includes the versions that read each photo originally.",
      "Small sample, one training run and repeated held-out evaluations limit generalization.",
      "Agreement with hosted labels does not establish correctness.",
      "This is not outcome-training, phone-latency or cost evidence."
    ],
    "fr": [
      "Toutes les photos jugées utilisées ici avaient été signalées par un modèle hébergé; les problèmes manqués ne sont pas mesurés.",
      "Les confirmations reprennent les noms proposés par le modèle hébergé, ce qui favorise ce comparateur.",
      "Le comparateur regroupe les versions ayant analysé chaque photo à l’origine.",
      "Le petit échantillon, un seul entraînement et les évaluations répétées limitent la généralisation.",
      "L’accord avec les étiquettes hébergées ne prouve pas leur exactitude.",
      "Ces résultats ne mesurent ni l’apprentissage des résultats, ni la latence sur téléphone, ni le coût."
    ]
  }
}
