daob/epc-interest-ranking-paper

epc-interest-ranking-paper's Issues

Rewrite Abstract

Reproduction materials

Comments Jeroen

Write Discussion

Comments Jeroen #2

Hier is het stuk met mijn commentaar in de pdf. Ik kan morgen niet bij de bespreking zijn ivm een begrafenis van een (oude) tante van Harriet (haar peettante, ofwel madrina in het Spaans).

Even nog een paar losse opmerkingen ....

Ik het begin (de inleiding) heb ik commentaar vermeld mbt de positionering. Maar gezien het vervolg van het paper met de sterke nadruk op de toepassing ipv wat je statistisch toevoegd (EPC-interest voor LCA, inclusief modellen voor rankings en multilevel versies), is de positionering misschien toch wel oké.

Een technisch puntje is dat de likelihood gebaseerd moet zijn het een model is voor de groep en niet voor het individu (zie ook paper van Erwin). Het conditionele model voor het individu (conditioneel op G), is hier een stukje van. Je kunt G pas uitsommeren nadat je alle personen in een groep hebt samen genomen.

De eerste-orde afgeleiden van de incomplete data log-likelihood zijn gelijk aan de eerste orde afgeleiden van de expected complete data log-likelihood. Dat betekent dat je voor de item parameters in feite een som heb over groepen, personen, group klassen, en persoon klassen van de afgeleide van de log model kans in kwestie hebt met gewichten gelijk aan de joint posterior van G en X. Ik denk niet dat dit helemeel is wat jij weergeeft. Als ik nog eens kijk naar de formule, lijkt het erop dat het laatste stukje (het deel wat standaard is in een logistisch model) oké is, maar dat de gewichten binnen de som posteriors moeten zijn ivm priors. Ik mis nog wel de response van de persoon, er het feit dat elke parameter voorkomt in de eerste en in de tweede keuze (dus in twee keuzes).

Ik had nog een inhoudelijk punt, dat ook te maken heeft met het werk van Erwin (zag meer links trouwens). Je kijkt naar directe effecten en interacties van G. Maar G is een latente variabele, hetgeen betekent dat je conditioneert op de huidige betekenis van G. Of zie ik dat fout? Worden mogelijke verschuivingen in de betekenis van G meegenomen door rekening te houden met de afhankelijkheden met alle huidige parameters. In het werk van Erwin zagen we dat opnemen van een G->Y relatie niet voldoende was, maar dat we meer klassen nodig hadden om ook andere specifieke verschillen tussen groepen op te pikken. Wel is het zo dat de BVRgroup if feite een EPC is met groepsdummies as predictoren en niet de groepsklasse.

Ik had hier en daar het gevoel dat er wat herhalingen waren, waardoor het stuk misschien wat korter zou kunnen. Aan de andere kant is dat iets dat de editor later ook nog kan aangeven.

Email Guy

Hi Daniel,

Ik vind het fijn dat je mij als 3e auteur laat opdraven in jouw paper maar vind mijn eigen bijdrage te weinig om dit ook te rechtvaardigen. Een eervolle vermelding in een dankwoord lijkt me dan ook meer dan voldoende.
Met één issue blijf ik worstelen. Een belangrijke motivatie van het empirisch voorbeeld in het onderzoek is dat je wil aantonen dat het EPC-interest procedure stabiele substantieve conclusies toelaat voor wat measurement invariance. Ik weet echter niet of je dat helemaal hard kunt maken met dit empirisch voorbeeld. Je lijkt in de paper te suggereren dat Inglehart’s meetinstrument ‘redelijk’ measurement invariant is (en Inglehart zal het maar al te graag horen). Doorgaans start een MI test echter met een soort ‘omnibus’ test waarbij de ‘factorstructuur’ van de gepoolde data wordt vergeleken met die van elk land afzonderlijk. Het onderzoekje waar ik zelf mee bezig was richt zich enkel op het verkorte schaaltje (met 4 items) en één van de meest opvallende zaken was dat de resultaten van de gepoolde data-analyse nagenoeg in geen enkel land afzonderlijk kon gerepliceerd worden. Dat jouw EPC-interest procedure een stap voorwaarts is, is zeer duidelijk. Dat je in dit empirisch voorbeeld sluitende resultaten hebt is veel minder en naar mijn aanvoelen te veel het gevolg van arbitraire keuzes die je hebt moeten maken in termen van het aantal latente klassen. Ik denk dat het verstandig is om aan de lezer alvast mee te geven dat het empirisch voorbeeld een illustratie is en niet een “indepth” onderzoek naar de meetinvariante van het postmaterialisme meetinstrument.
Groetjes
Guy

Cover letter

Change discussion of Table 5 (Guy's comments)

Finish EPC-interest section

Intro to model section

Submission

Email Eldad

I think that it fits perfectly to the special issue. Also the fact that the discussion on EPC appeared already earlier in the journal is good, because it would make it difficult for reviewers to argue that it is too complicated for the readers of PA.

Maybe you could make the abstract a bit clearer and shorter. It includes 3 relevant goals - maybe it is possible to simplify them a bit? I tried to do it myself, but it did not really become simpler, maybe because the goals are rather complex... Just an idea.

Inglehart did not indicate in his studies whether he uses his materialism - post materialism index on the individual or macro level. You could indicate this and say on which level you use it (is it expected to be equivalent on the micro and macro levels?).

I do not have any technical comments on the paper. But I would try to simplify (and shorten if possible) the text as much as possible where possible, to make it readable and understandable also for people who have no idea what equivalence is, or what multilevel is or what latent class model is (or what all of these are). Your paper includes all components, and I suspect that it may be a point for reviewers / editors to consider, that it is readable for the large audience of the journal.