Welke data worden er uitgelezen?

Data die uitgelezen worden bij A/B-testen worden net als bij het scheikunde geordend in een metriek stelsel. Deze standaard meeteenheden heten metrieken. En in dit specifieke geval gebruik ik de term Content metrieken omdat deze de data van de content omvatten. Onder het volgende kopje Content metrieken staan de meest voorkomende metrieken die gebruikt worden om de effectiviteit van de content te meten. Om deze lijst op te stellen is onder andere gekeken naar hoe Facebook en Youtube omgaan met de data van de bij hun geuploade video’s.

Content metrieken

Aantal kijkers

Video – Illustratie

Een van de effectiefste manieren om te zien hoe goed content scoort is door te kijken hoe vaak de content is bekeken. Hierbij moet niet iedere kijker geteld worden maar het aantal kijkers dat langer kijkt dan een x aantal seconden/minuten.

Hierbij kan tevens een drop out percentage gegeven worden zodat het duidelijk is hoeveel procent van de gebruikers te kort kijkt om mee te tellen als kijker.

 

Aantal voorbijgangers

Video – Illustratie

Een aantal kijkers is leuk om te weten. 100 Views in een dag lijkt misschien veel. Maar wat als vervolgens blijkt dat er 10.000 mensen waren? Dit houdt in dat nog geen 1% naar de content keek. Het weten van het aantal mensen dat de content heeft kunnen zien geeft dus extra informatie die in dit geval geen overbodige luxe is.

 

Kijkduur

Video – Illustratie

De kijkduur is de totale tijd dat de gebruiker naar de content kijkt. Over het algemeen is het beter om een hogere waarde te hebben, hoe hoger de score hoe beter. Al loopt de score ook op als er tien gebruikers een seconde lang kijken. Dat houdt in dat een video die een keer voor tien seconden bekeken wordt net zo hoog scoort als een video die tien keer voor een seconde bekeken is. Terwijl de video die een keer bekeken is wel langer bekeken is en dus beter is.

 

Gemiddelde kijkduur

Video – Illustratie

De gemiddelde kijkduur is de totale kijkduur gedeeld door het aantal kijkers. Hoe hoger de gemiddelde kijkduur hoe beter de video de aandacht van de kijker vasthoudt. Het kan ook voorkomen dat de doelgroep een voorkeur voor een lengte heeft. Dit blijkt dan uit de uitkomst van dit gemiddelde. Als je video 45 seconden duurt en de gemiddelde kijkduur blijft rond de 30 seconden hangen dan zal de video ingekort moeten worden.

 

Voltooiingspercentage

Video

Het voltooiingspercentage geeft aan hoeveel procent van de kijkers de video afkijkt. Als blijkt dat dit percentage erg laag is, wordt er gesproken van een probleem.

 

Interesse/Herhalingen

Video – (Illustratie, toepasbaar op een andere manier)

Herhalingen geven een onderdeel aan dat extra interessant was voor de gebruiker. Als een bepaald moment vaker herhaald wordt is dit een onderwerp dat bij de doelgroep in de smaak valt. Door hier meer tijd aan te besteden zal de video een langere gemiddelde kijkduur verkrijgen.

 

Aandachtsverlies

Video

Aandachtsverlies is het tegenovergestelde van het voorgaande. In plaats van te meten wanneer de gebruiker iets interessant vindt, kijk je nu naar de momenten waarop de kijker de aandacht verliest. Dit betreft de momenten dat de gebruiker wegkijkt.

 

Lead conversion rate

Video – Illustratie

Hierbij wordt gekeken naar het aantal geïnteresseerden/kijkers dat vervolgens klant wordt. Dit wordt gemeten aan de hand van clicks en acties die volgen na het bekijken van de content.

 

Doelgroep analyse

Video – Illustratie

Dit zijn gegevens over de kijker zoals het geslacht en de leeftijd. Hieruit valt af te leiden of de vooropgestelde doelgroep bereikt wordt. Neem als voorbeeld een product van Nivea dat speciaal gericht is op mannen. Nivea heeft hierbij twee mogelijkheden om te testen:

• Ze gaan de mannen zelf benaderen met hun reclame.
• Ze gaan de partner van de man benaderen.

Door deze data wordt vervolgens zichtbaar of de versie voor mannen wel mannen bereikt en of de versie relatief gezien meer mannen bereikt dan de vrouwelijke versie vrouwen. Als er relatief gezien meer vrouwen kijken is het verstandiger om de versie voor vrouwen uit te brengen. Waarna met nieuwe testen zichtbaar wordt welke variant meer vrouwen bereikt.

 

Acties

Video

Op YouTube worden acties veel gebruikt, video’s zitten er ondertussen vol mee, kleine links en verwijzingen die over de video worden weergegeven. Bij dit onderdeel wordt zichtbaar hoe goed een video gebruikers activeert. Zo kan de plaats van een link of knop op het eind meer gebruikt worden dan in het begin.

 

Toepassing

Aantal kijkers

Het aantal kijkers wordt bepaald aan de hand van hoeveel gebruikers er voor een langere duur naar de content kijken. Omdat de software hiervoor nog vrij jong is en enkele bugs kunnen hebben wordt er een onderscheid gemaakt in kijker en voorbijganger aan de hand van een tijdsduur.

Als een gebruiker minder dan drie seconde gedetecteerd is, is er sprake van een voorbijganger. Bij langer dan drie seconden is het een kijker en telt deze mee in de score.

Voor het vastleggen van kijkers zijn twee opties:

• Eye Tracking
• Face Detection/Face Recognition

Eye Tracking

Met Eye Tracking kun je daadwerkelijk registreren wanneer een gebruiker naar de content kijkt. Als de kijkrichting gedurende de drie seconde overeenkomt met de richting van het scherm wordt de gebruiker geteld.

Face Detection

Met face detection is de kijkrichting onbekend. Hierbij wordt alleen gekeken of er een gezicht voor het scherm staat. Hiermee wordt dus het aantal gezichten geteld voor het scherm in plaats van het aantal ogen gericht op het scherm.

Hoewel Eye Tracking een betere/preciezere keuze is valt deze optie af door de limitaties van de software. De afstand waarover de meting gedaan kan worden is nog te kort. Ook het aantal gebruikers dat gelijktijdig een meting kan afnemen is te laag. Momenteel is Eye Tracking alleen mogelijk per individuele gebruiker. Omdat het een presentatie opstelling is zullen er vaker meerdere gebruikers tegelijk voor het scherm staan. Al deze gebruikers zullen meegenomen moeten worden in de meting wat bij de Eye Tracking nog niet mogelijk is.

Daarom is gekozen voor de Face Detection (via Node.js). Omdat de Face Detection mogelijkheden nog niet geheel nauwkeurig zijn is er wel een minimale tijdsduur bij nodig voor de persoon als “kijker” te tellen om zo overige objecten niet mee te tellen.

 

Aantal voorbijgangers

Het aantal voorbijgangers wordt verkregen aan de hand van Object Detection. In plaats van de Face Detection die zoekt naar gezichten wordt met Object Detection gekeken naar het lichaam en of gedeelten van het lichaam.

 

Kijkduur

De totale kijkduur zal terugkomen op dezelfde manier als dat het aantal kijkers bepaald wordt. Zodra er een “kijker” gedetecteerd is zal er een teller starten. In verband met de nog jonge ontwikkelingsfase van deze software en techniek komt het voor dat de detectie soms weg valt. Daarom zal gekeken worden naar een minimale tijd van twee seconde afwezigheid voordat deze teller stopt. De duur van deze tellers (min de twee seconden als de gebruiker stopt) wordt bij elkaar opgeteld.

 

Gemiddelde kijkduur

De gemiddelde kijkduur wordt bepaald aan de hand van de kijkduur gedeeld door het aantal gebruikers. Omdat zowel de kijkduur en het aantal kijkers dezelfde code zullen gebruiken delen ze ook dezelfde nadelen. Verhoudingsgewijs zal de gemiddelde kijkduur dus kloppen, in ieder geval van de vastgelegde resultaten (gezien de kans op onvolledige gegevens bij de aantal kijkers en de kijkduur).

 

Voltooiingspercentage

Het voltooiingspercentage wordt berekend aan de hand van de aantal weergaven die de volledige video keken gedeeld door het aantal kijkers.

 

Interesse/Herhalingen

Omdat de content continu gepresenteerd wordt valt niet te meten hoe en waar herhalingen zijn. Dit omdat de kijker niet zelf iets kan herhalen. Wel kan er gekeken worden waar over het algemeen het meest naar gekeken wordt. Dit kan op twee manieren:

• Eye Tracking, zo zie je precies waar de gebruikers naar kijken.
• Het aantal gebruikers tijdens de frames

Eye Tracking

Met heatmapping wordt vastgelegd waar de gebruikers het meest naar kijken, in een video is dit over een tijdsduur. De gebieden waar de aandacht naar uitgaat worden “warmer”. Hoe “warmer” een gebied kleurt hoe meer ernaar gekeken is. Op deze manier wordt inzichtelijk of er gekeken wordt naar de punten die ertoe doen, bijvoorbeeld of teksten gelezen worden. Als de “warme” gebieden verkeerd liggen weet je dat daar te veel aandacht naar uitgaat en dat dit onderdeel aangepast moet worden.

Aantal kijkers

In plaats van de precieze content kan ook worden vastgesteld hoe een frame “scoort”. Door de start en eindtijden op te slaan kan bepaald worden hoeveel gebruikers op een bepaald moment kijken. Aan de hand van het totaal aantal gebruikers kan hiermee een heatmap gemaakt worden over de frames. Hierdoor verkrijgt de testpersoon een beter overzicht waar de aandacht verloren gaat maar ook waar deze juist naar toe getrokken word.

 

Aandachtsverlies

Het aandachtsverlies wordt gemeten aan de hand van de momenten dat de gebruiker wegkijkt. Deze waarde zal bestaan uit een tijdstip: het moment dat de gebruiker weg kijkt en voor ± vijf seconden niet terugkijkt. Als een tijdstip, aan de hand van een vast te stellen percentage van het totaal aantal kijkers over een tijdsduur van drie seconden (een seconde voor en een seconde na het starten van de meting), vaker terugkomt houdt dit in dat er zich een probleem voordoet en dat er rond dit tijdstip iets moet veranderen in de video.

 

Doelgroep analyse

Met behulp van de camera en Face Recognition software worden visuele kenmerken van de gebruiker vastgesteld. Onder deze gegevens vallen de leeftijd en het geslacht.

 

Beperking

Eye Tracking

Eye Tracking heeft in de meeste gevallen externe hardware nodig. Zonder deze hardware is het nauwelijks mogelijk om de ogen te volgen. Hoewel er ondertussen een mogelijkheid is om dit zonder deze hardware te doen is deze mogelijkheid nog niet precies genoeg. Daar komt nog bij dat dit niet zonder configuratie kan. En deze configuratie verschilt per persoon waardoor deze optie afvalt voor grote groepen.

Eye Tracking heeft ook als nadeel dat dit maar met één persoon tegelijk kan. Als de stand op een beurs of dergelijke locatie staat zullen de gebruikers niet een voor een komen waardoor een groot deel van de data verloren gaat. Daarbij is de afstand waarover de Eye Tracking werkt onvoldoende, gebruikers zouden voor een meting te dicht op het scherm staan.

Face Detection

Face detection detecteert alleen het gezicht. Je bent dus niet 100% verzekerd dat deze kijker ook daadwerkelijk naar je content gekeken heeft. Ook wordt een gezicht niet herkend van de zijkant, wat inhoudt dat de gebruiker met het gezicht richting de opstelling moet staat. In tegenstelling tot de Eye Tracking ondersteunt Face Detection wel de herkenning van meerdere gebruikers.

Face Recognition

Zowel Eye Tracking als Face Detection herkennen niet een specifieke gebruiker. Mocht de gebruiker later nog een keer terugkeren dan wordt dit gezien als een nieuwe gebruiker. Om dit probleem op te lossen zou je een “foto” van de gebruiker kunnen maken en met Face Recognition kunnen bepalen of het een nieuwe kijker is. Maar in dit geval kom je op glad ijs in verband met de AVG gezien deze “foto” onder persoonsgegevens valt.

Nauwkeurigheid

De techniek werkt goed maar is niet heel nauwkeurig. Zo komt het regelmatig voor dat objecten zoals een plafond, koffiemok en dergelijke gezien worden als een gezicht als gevolg van de wiskundig berekening waarmee bepaald wordt of het een gezicht is. Deze korte mis inschattingen zijn vaak van korte duur en blijven als een knipperlicht.

Het wegvallen en terugkomen van een gebruiker zal moeten worden afgevangen omdat dit grote invloed heeft op de gemiddelde kijkduur. Indien één persoon tijdens een “play” wegvalt en opnieuw gedetecteerd wordt zijn er twee gebruikers geweest. Als hij toevallig de gehele video heeft bekeken daalt de gemiddelde kijkduur al naar 50% in plaats van de volledige 100% terwijl de totale kijkduur gelijk blijft.

Lokaliteit

Voor het berekenen van de Lead Conversion Rate is internet nodig. Omdat het systeem bedoeld is zonder internet te werken zal deze optie niet op de tool komen.

 

Bibliografie

A/B-test. (2018, augustus 29). Opgehaald van Wikipedia: https://nl.wikipedia.org/wiki/A/B-test

Childs, M. (2018, augustus 29). How A/B Testing Works With Video Marketing. Opgehaald van 50wheel: https://50wheel.com/how-ab-testing-works-with-video-marketing/

English, J. (2018, augustus 29). 7 Key Video Metrics to Measure the Success of Your Content. Opgehaald van Skeleton: https://www.skeletonproductions.com/insights/video-metrics

Jain, P. (2018, augustus 29). What Metrics Should You Measure While Carrying Out A/B Testing? Opgehaald van Rocketium academy: https://rocketium.com/academy/ab-tests-videos/