Overzicht

Een onderzoeksbedrijf op het gebied van computervisie dat een AI-platform voor oogvolging ontwikkelt, werkte samen met Sourcefit om gegevensvalidatie, blikclassificatie en consistentie van annotaties in model trainingsworkflows te ondersteunen. Het team had gestructureerde menselijke beoordeling nodig om de output van de blikrichting te evalueren, labelingsproblemen te identificeren en onnauwkeurige classificaties te corrigeren. Sourcefit bouwde een speciaal QA-programma om datasets te valideren en modelverbeteringscycli te versterken.

De uitdaging

De resultaten van de oogvolging moesten nauwkeurig worden gevalideerd en geclassificeerd.
De datasets omvatten verschillende hoofdposities, lichtomstandigheden en ooghoeken.
Inconsistente labels verminderden de kwaliteit van de training en beperkten de voortgang van het model.
De klant had behoefte aan menselijke beoordelaars die op één lijn zaten wat betreft classificatiecriteria.
Kalibratie was nodig om consistentie tussen annotators te garanderen.

Onze aanpak

Sourcefit heeft een gestructureerde QA-workflow ontwikkeld en beheert deze met behulp van een getraind team dat gespecialiseerd is in het beoordelen van oogbewegingen, het evalueren van visuele patronen en het toepassen van classificatieregels. Het team valideert modeloutputs door de kijkrichting te beoordelen op basis van de oriëntatie van het hoofd, de positie van de ogen en contextuele aanwijzingen.

Tijdens het instellen, Sourcefit:

Kalibratiesessies gehouden om beoordelaars op één lijn te brengen wat betreft de regels voor het classificeren van blikken.
Validatiechecklists gemaakt voor hoofduitlijning, ooghoek en betrouwbaarheidsscores
Meerstaps QA-controle geïmplementeerd om onnauwkeurige of inconsistente labels op te sporen
De nauwkeurigheid van recensenten bijgehouden en voortdurend feedback gegeven om de consistentie te behouden
Ondersteunde modelverbeteringscycli door middel van dagelijkse validatie van datasets en updates van documentatie

Vandaag de dag blijft Sourcefit doorlopende validatie van datasets en gestructureerde QA-ondersteuning bieden om de prestaties van modellen te versterken en de betrouwbaarheid van trainingen te verbeteren.

Resultaten

Verbeterde nauwkeurigheid van labels in grote datasets met oogvolgsystemen
Minder inconsistenties als gevolg van verschillende belichting, hoeken en hoofdbewegingen
Verhoogde betrouwbaarheid van datasets voor trainings- en testcycli
Ondersteuning voor snellere iteratie voor modelverfijning en experimenten

Belangrijkste opmerkingen

Duidelijke classificatieregels verbeteren de kwaliteit van datasets: kalibratie en afstemming van criteria versterken de nauwkeurigheid van complexe visuele datasets.
Menselijke validatie versterkt de betrouwbaarheid: handmatige beoordeling legt subtiele signalen vast die geautomatiseerde systemen vaak verkeerd classificeren.
Gestructureerde kwaliteitsborging versnelt modelverbetering: consistente validatieworkflows ondersteunen snellere iteratie en verfijning.

Leerervaringen uit de sector

Eye-tracking-systemen zijn tijdens de vroege trainingsfasen afhankelijk van nauwkeurige menselijke beoordelingen. Kleine variaties in blikrichting, hoofdhoek en belichting kunnen de interpretatie van het model verstoren. Speciale QA-teams versterken de nauwkeurigheid van de labeling, stabiliseren datasets en ondersteunen iteratieve verbeteringen in alle computer vision-pijplijnen.

Meer informatie

Sourcefit bouwt schaalbare QA- en validatieteams voor AI-, onderzoeks- en computervisieorganisaties.

Ontdek WorkingAI voor automatisering en het beheren van datasets, of SourceCX voor klantgerichte ondersteuningsprogramma's.

Neem contact op met ons AI-operatieteam voor meer informatie over gestructureerde validatie en ondersteuning bij annotatie.