MindNavigator

AI Validatie & Kwaliteitsborging

Transparantie over hoe we de betrouwbaarheid van AI-gegenereerde rapporten waarborgen.

Ons Doel: Betrouwbare Inzichten

Bij MindNavigator zetten we AI in om gepersonaliseerde en schaalbare inzichten te bieden. We begrijpen dat de betrouwbaarheid van deze AI-gegenereerde content cruciaal is. Daarom hebben we een geautomatiseerd validatiesysteem ontwikkeld dat na elke generatie de kwaliteit van een rapport controleert. Dit proces zorgt ervoor dat de output niet alleen nuttig, maar ook accuraat en veilig is.

Het 3-Staps Validatieproces
Elk AI-rapport wordt direct na generatie onderworpen aan de volgende drie controles:
1. Input-Output Afstemming

Doel: Controleren of de AI de verstrekte data correct gebruikt en geen scores 'verzint'.

Methode: Het systeem extraheert alle numerieke scores (bv. "scoort 3.2/4") uit het gegenereerde rapport. Vervolgens vergelijkt het deze met de daadwerkelijke scores uit de quiz-input. Voor elke genoemde score moet een overeenkomende input-score bestaan (binnen een kleine tolerantie).

Resultaat: Een 'Input Alignment Score' die aangeeft hoe trouw de AI is aan de feitelijke data.

2. Detectie van Hallucinaties

Doel: Voorkomen dat de AI specifieke, niet-ondersteunde details toevoegt die de geloofwaardigheid ondermijnen.

Methode: Het systeem scant het rapport op claims die niet uit de quizvragen kunnen worden afgeleid. Denk aan:

  • Absolute claims: Woorden als "altijd", "nooit", "constant".
  • Specifieke contexten: Details over "in de klas" of "met vrienden" die niet in de vragen voorkwamen.
  • Leeftijds-incongruentie: Een rapport voor een 13-jarige mag geen advies bevatten over 'werk' of 'universiteit'.

Resultaat: Een 'Hallucination Penalty Score'. Hoe hoger de score, hoe meer ongefundeerde claims er zijn gedetecteerd.

3. Kwaliteit van de Content

Doel: Evalueren of het rapport daadwerkelijk nuttig, concreet en relevant is.

Methode: Het systeem controleert op:

  • Generieke zinnen: Een overmaat aan vage uitspraken zoals "het is belangrijk om..." leidt tot een lagere score.
  • Concrete voorbeelden: De aanwezigheid van specifieke, bruikbare voorbeelden (zoals "probeer 5 minuten...") wordt positief gewaardeerd.
  • Relevantie: De tekst wordt vergeleken met de sleutelwoorden uit de quizvragen en de geselecteerde focus-categorieën om te zien of de analyse on-topic is.

Resultaat: Een 'Content Quality Score' die de bruikbaarheid van het rapport aangeeft.

De Uiteindelijke 'Validatie Score'

De scores van de drie stappen worden gecombineerd in een gewogen gemiddelde om tot een definitieve Validatie Score (0-100%) te komen. Rapporten met een te lage score worden intern gemarkeerd voor menselijke review en verbetering. In het admin-dashboard is deze score zichtbaar, en voor de gebruiker wordt de kwaliteit vertaald naar een icoon (Goud, Professioneel, Basis) in het rapport.

function calculateOverallScore(inputAlignment, contentQuality, hallucinationPenalty) {
  // Weighted average for a balanced score. Accuracy is most important.
  const weights = {
    inputAlignment: 0.4,
    contentQuality: 0.35,
    hallucinations: 0.25
  };
  
  const score = (inputAlignment * weights.inputAlignment) +
                (contentQuality * weights.contentQuality) +
                ((100 - hallucinationPenalty) * weights.hallucinations);
  
  return Math.max(0, Math.min(score, 98)); // Cap at 98 for realism
}

Vragen over onze aanpak?

We staan open voor feedback en vragen van professionals en gebruikers.

Neem Contact Op