Het nieuwste boekje in de reeks "De Skeptische Kijk" is uit.
U kan het hier bij Owl Press bestellen.
Opmerking vooraf: het model is voor velen beter bekend onder de oorspronkelijke naam “Types of Work Wheel” of het “Team Management Wheel”.
Het model kwam naar eigen zeggen tot stand door “vele jaren te spreken met managers over hun jobs” (TMQP – excecutive summary, blz. 1).
Een (psychologisch) meetinstrument dient altijd betrouwbaar te zijn (meet de test wel op een voldoende betrouwbare manier) en valide te zijn (meet het instrument echt wat het beweert te meten?) En wat leert die meting ons eigenlijk, bijvoorbeeld wat voorspelt dat inzake huidig (concurrent criterion validity) of toekomstig werkgedrag (predictieve criteriumvaliditeit)?.
In de databases van APA (1/3/2015) is geen enkele studie te vinden over noch de theorie, noch de betrouwbaarheid of validiteit van het instrument. Dus of het instrument berust op deugdelijke theorie, betrouwbaar en valide is, valt niet te achterhalen.
In het Nederlands taalgebied is de test ook niet aangemeld bij en beoordeeld door de Commissie Test-aangelegenheden van het NIP. Dergelijke evaluatie heeft niet het gewicht van een peer-reviewed publicatie en de typische uitwisseling/discussie die tussen academici gebruikelijk is, maar is wel een minimale indicatie.
We moeten ons dus baseren op twee documenten die we konden consulteren:
We bespreken beide documenten hierna.
Het eerste (uitsluitings)criterium om een test te beoordelen is de theoretische deugdelijkheid. Als u weet dat de horoscoop uitgaat van een compleet foute theorie, mag u ook geen belang hechten aan een test die daarop is gebaseerd en de resultaten ervan. De theoretische onderbouwing wordt in de eigen Research Manual helemaal niet beschreven, maar in de commerciële brochure lezen we dat het gaat om een bewerking van de theorie van Carl Gustav Jung – hoogst problematisch dus (zie elders in het trefwoordenregister).
De theoretische onderbouwing wordt door de BPS als “inadequate” beoordeeld. In het materiaal dat aan de beoordelaars werd meegedeeld, werd blijbkaar verwezen naar het werk van andere mensen, onder andere Hersey & Blanchard (zie elders bij ‘situationeel leiderschap’).
Over de testconstructie en het nut van de test leren we het volgende:
De verdelers (TMSDI) schrijven zelf in hun commerciële brochure:
“ Margerison and McCann decided to take a closer look at what we can actually measure about people to predict performance. Adapting the research of Carl Jung to the work situation, they created a validated questionnaire to explore the critical work preferences that drive us all.”
In de “Team Management Systems Research Manual” lezen we echter een tegenstrijdige bewering (blz. 8):
“The Team Management Profile Questionnaire was not designed as a predictive instrument and no claims are made about its predictive validity.”
Nochtans is een van de belangrijkste vragen die gebruikers zich stellen: ‘wat leer ik hier nu uit?’ Wat het in kaart brengen van de werkpreferenties dus zegt over werkgedrag of toekomstig werkgedrag is geheel onduidelijk. Ook de externe beoordelaars van British Psychological Society geven hierop kritiek (blz. 16):
“however, no criterion−related validity evidence (neither concurrent nor predictive validity evidence) is yet available. Collecting such validity evidence to support the use of the questionnaires should now be a priority.”
Verder lezen we in dezelfde Research Manual dat de structurele validiteit van het instrument (de cirkelvorm) werd onderzocht met de multi-dimensional scaling techniek (MDS). Slechts 16 MBT studenten werden gevraagd om 16 types werk te rangschikken en nadien werden hun beoordelingen aan een MDS-analyse onderworpen. , De auteurs melden zelf dat het om een “very low sample size” gaat, maar durven er toch positieve conclusies aan te verbinden over de structurele validiteit.
Het cirkelvormige model lijkt op een circumplex (zie elders: circumplex) maar is er geen, want de eisen van een circumplex werden niet getest. Zo is het helemaal niet duidelijk of de onderlinge verhouding van de 4 orthogonale assen onderlinge verhoudingen van 45° van een circumplex voorkomen (de aldus bekomen 8 schalen worden worden voorgesteld als perfect 1/8 van een cirkel of dus 45°) , of de afstand van het middelpunt even lang is voor elke schaal, of de tegenpolen negatief correleren en aanliggende velden positief correleren. Dit zijn allemaal minimumcriteria van een circumplex. Voor een interpersoonlijk circumplex (wat dit zou moeten zijn gelet op de interpersoonlijke dimensie introversie-extraversie) geld bovendien dat twee hoofdfactoren agency en communion moeten worden gevonden in een onderlinge verhouding van 90° op elkaar. Ook al wordt niet beweerd dat het om een (interpersoonlijk) circumplex gaat, bepaalde dimensies zoals introversie-extraversie zijn wel degelijk op een waarachtig interpersoonlijk circumplex terug te vinden. De visuele voorstelling in een cirkel/circumplex suggereert op die manier dus ten onrechte onderlinge correlaties (positief voor aanliggende schalen, negatief voor tegenoverliggende schalen).
Uit de beoordeling door de BPS leren we nog het volgende:
De theoretische grondslag waarnaar wordt verwezen is verkeerd (Jung), zeer problematisch (Hersey & Blanchard) en helemaal niet uitgewerkt. Daardoor krijgt deze een score van -5 (werk van Jung – idem beoordeling als MBTI en Enneagram) volgens de criteria die we sinds 2015 hanteren:
6 de theorie geldt bij experten in het domein als een theorum (99,99% zeker)
5 er zijn heel veel convergente bevindingen uit verschillende wetenschapsdomeinen die de theorie steun verlenen (bijv. evolutie: 22 domeinen)
4 het gaat om een high-level (meta) theorie die een breder verklaringsmodel biedt en vaak complex is (bijvoorbeeld: evolutie)
3 het gaat om een mid-range theorie die een bepaald fenomeen in het algemeen probeert te vatten (ijvoorbeeld kin-selection & reciprocal altruism)
2 het gaat om een low-level (mini) theorie die een heel specifiek (eng) aspect beschrijft (bijvoorbeeld: de heup-tailleverhouding)
1 de theorie beroept zich op redeneren en logica (≈discovery) en/of de theorie beroept zich ook op theorieën uit aanliggende velden
0 er is geen theorie
-1 het is een geval van ‘dust bowl empiricism’ of ‘rainforest empiricism’ OF men beroept zich op anecdotes
-2 de theoretische beschouwingen gaan in tegen valide en rationele redeneringen of de theorie werd verlaten (not fruitful)
-3 de theorie legt niets uit of voorspelt niets of is niet testbaar of men weigert ze te testen
-4 de theorie is in tegenspraak met de bevindingen uit de ‘gevestigde’ wetenschappen (biologie, chemie, fysica)
-5 al het voorgaande, maar de proponenten proberen de impressie te wekken dat ze wetenschappelijk zijn of leggen de bewijslast bij de sceptici
-6 de proponenten beweren dat de wetenschappelijke methoden te kort schieten; ze organiseren bovendien geen zelfcontrole
De empirische evidentie is mager. De normale onderzoeken werden niet uitgevoerd. Hierdoor krijgt dit criterium een score van -1 volgens de criteria die we sinds 2015 hanteren:
4 geconfirmeerd in systematische reviews zoals meta-analyses
3 er is onafhankelijk replicatieonderzoek dat bevestigt
2 de onderzoekers deden zelf replicatieonderzoeken die bevestigden
1 de methodes zijn deugdelijk, maar het gaat momenteel om ‘single studies’ – replicatie is nodig
0 er zijn (nog) geen empirische bevindingen die de hypotheses bevestigen
-1 er zijn methodologische problemen met de onderzoeken
-2 de evidentie is negatief en doet de hypotheses verwerpen OF de vragenlijst is psychometrisch niet deugdelijk
-3 meerdere studies leveren evidentie op die de hypotheses en de theorie verwerpen
-4 systematische reviews zoals meta-analyses verwerpen de hypotheses OF onderzoeker heeft zelf de theorie ingetrokken
De BPS beveelt aan om het instrument niet te gebruiken buiten een context van teambuilding en ontwikkeling. Dat is in onze ogen gelet op de problemen met theorie, data en testconstructie erg grootmoedig.
Straffe beweringen en beloftes dus (beter samenwerken, elkaar leren waarderen, complexiteit beter begrijpen, bouwt resilience en helpt mensen duurzaam ontwikkelen), maar slechte theoretische basis en een problematische testconstructie (gebrekkige normen, geen test-hertest beoordeling uitgevoerd volgens de regels van de kunst…).
• www.apa.org
• http://www.cotandocumentatie.nl
• Brochure: the TMS Approach (www.tmsdi.com)
• Team Management Systems Research Manual (bezorgd door DMSI)
• British Psychological Society (2005, 2014) Test Review Margerison-McCann Linking Skills Profile. Aangekocht bij BPS.