Technische Inzichten

Dia 10/12

🔧 Technische Inzichten

Key Technical Learnings
De belangrijkste inzichten uit ons deep learning experiment

⚡ Efficiency Sweet Spot

EfficientNetB0 bewees dat groter niet altijd beter is in deep learning.

ResNet50V2

76.6%

24M parameters

EfficientNetB0

84.5%

4.4M parameters

5× minder parameters, 9.9% hogere accuracy

🧠 Transfer Learning Power

ImageNet pre-training gaf ons een enorme voorsprong. Zonder transfer learning hadden we vanaf nul moeten beginnen.

84.5% accuracy na slechts 3 epochs screening

Waarom het werkte:
• Frozen backbone behoudt ImageNet features
• Custom head leert dinosaurus-specifieke patronen
• Strategic unfreezing verfijnt features (91.3% finale)

📈 Progressive Training

Onze 3-fase aanpak was cruciaal voor succes. Elke fase had een specifiek doel en bouwde voort op de vorige.

84.5% → 88.5% → 91.3% = +6.8% totale winst

Systematische aanpak:
• Screening: model keuze op basis van data
• Deep training: maximale frozen potential (+4.0%)
• Fine-tuning: laatste optimalisatie push (+2.8%)

🛡️ Overfitting Prevention

Met een kleine dataset (1264 afbeeldingen) was overfitting onze grootste vijand. Multiple layers van bescherming waren essentieel.

⏹️ Early stopping: 9/20 epochs in fine-tuning
Best weights automatisch hersteld

Multi-layer strategie:
• Data augmentation: kunstmatige diversiteit
• Early stopping: automatic training halt
• Dropout layers: regularization in classifier head
• Conservative learning rates: 0.0001 in fine-tuning

🔑 Belangrijkste Lessen

🎯

Data-Driven Keuzes

EfficientNetB0 empirisch beter dan intuïtie

⚖️

Balance is Alles

Performance vs Parameters vs Training time

🛡️

Early Stopping Works

Automatische overfitting preventie effectief