Guia completa per a la construcció de tests psicomètrics

A. Esquema i continguts de les etapes de construcció d'un test psicomètric de norma de grup

1. Etapa de Conceptualització

Planificació i previsió del tret a mesurar, documentació d'informació relacionada, precedents, estudi de la població a la qual es dirigirà, mostra necessària, calendari general, costos, tipus d'ítems que s'empraran, correcció, variables més rellevants (ex. dades compromeses), criteris de validació i vendes.

2. Etapa empírico-estadística d'elaboració

Creació i aplicació dels ítems d'assaig a un grup pilot seleccionat per valorar la seva unidimensionalitat.

• Selecció del grup o grups de subjectes d'assaig.
• Elaboració i preselecció dels ítems.
• Estandardització de les condicions d'aplicació: consigna o instruccions de resposta, temps d'aplicació, exemples i experiència, variables personals, registre i control de condicions ambientals.
• Valoració de respostes: dicotòmics, puntuació graduada, inversions, màscares, ordre intern.
• Aplicació del test d'assaig al grup d'assaig.
• Tabulació i puntuació de respostes.
• Anàlisi d'ítems: dificultat, dispersió, discriminació, conjectura, omissions.
• Selecció i adequació de l'escala d'assaig.
• Adaptació al grup normatiu.

3. Etapa d'objectivització

Mesurar la fiabilitat i la validesa del test en el tret definit. Obtenció dels coeficients.

4. Etapa d'estandardització

Estandarditzar el test, és a dir, controlar el caràcter mètric de les puntuacions per a cada grup normatiu. Garantir una mesura que permeti comparacions i anàlisis qualitatives i quantitatives.

• Prova d'ajustament a la normalitat.
• Obtenir la puntuació típica.
• Creació de barems per a grups normatius i perfils personals a qui es dirigeixi la prova.

B. Esquema amb les principals característiques de les escales de mesura

La classificació més habitual de les escales de mesura procedeix de Stevens, amb quatre nivells definits bàsicament per l'existència d'un valor nul i una unitat de mesura. Cada escala de mesura reflexa un conjunt diferent de normes d'assignació de nombres a propietats d'objectes, en aquest cas, trets psicològics de persones o ítems.

Escala Nominal

És una simple classificació, sense ordre ni distància entre els nombres. Manca també de sentit la existència d'un origen o valor zero. Els nombres com a tal tenen en aquesta escala la seva mínima "qualitat", ja que podrien ser substituïts per lletres de l'alfabet grec, figures geomètriques o colors. La funció dels nombres es limita a etiquetar característiques. Estadísticament, l'escala nominal només permet el recompte de casos generant freqüències, la Moda i proves de Chi quadrat.

Escala Ordinal

Són escales de major utilització en Psicometria, ja que permeten establir jerarquies on la distància o valor unitari no existeix o es desconeix. L'escala ordinal acumula les propietats de les nominals, afegint una nova norma: tot nombre expressa una quantitat comparable a la d'altres en termes de "major o igual que" o "menor o igual que". La condició principal serà mantenir l'ordre inicial (transformació isotònica). L'escala ordinal admet operacions com la Mediana, Percentils i totes aquelles comparacions i correlacions no paramètriques (Spearman, Kendall, etc.).

Escala d'Interval

Disposa d'un valor origen i una unitat de mesura arbitràriament establert. La unitat és constant per a tota l'escala, podent relacionar els seus valors no només en termes d'ordre sinó també per la distància entre els mateixos. Tant l'origen com la unitat poden canviar-se per altres valors generant una nova mètrica, mantenint invariable les propietats de l'escala (transformació lineal positiva). La mitjana, la variància, desviació típica, correlació de Pearson, t de Student, etc., són estadístics admesos per les transformacions d'aquestes escales. El zero és un simple punt de referència.

Escala de Raó

Són de difícil obtenció en Psicologia, ja que exigeixen unes condicions poc habituals. Són un cas particular de les d'interval, però disposen d'un zero veritable. L'origen o zero absolut redueix les possibilitats de transformació de l'escala. Amb aquesta escala, el nombre arriba a la seva màxima qualitat relacionant valors en termes de quocient. Les operacions estadístiques admeses per aquestes escales seran totes, sense limitació alguna.

C. Esquema classificatori dels principals formats d'ítem i les seves característiques

a) Tancat o d'elecció de la resposta

El subjecte tria la resposta entre diverses alternatives ja elaborades que se li ofereixen.

• Elecció múltiple: Molt freqüent en tests cognitius. Oscil·len entre 4 i 10 alternatives i només una d'elles és correcta.
• Binaris: S'utilitza tant en proves cognitives, de personalitat i interessos com en les d'actitud. Es coneixen com a test de "veritable-fals".
• Tríades: Emprenades en inventaris de personalitat on una alternativa indica una posició neutra/desconeixement/indecisió respecte al tema de l'enunciat.
• Rating Scales (escales graduades): Es respon mitjançant respostes graduades ordinalment a partir del grau de coincidència de l'examinat amb l'ítem.
• Escales del Diferencial Semàntic: Es mesura el significat psicològic que per al subjecte tenen una sèrie d'esdeveniments, objectes o persones per mitjà d'una sèrie d'escales descriptives d'adjectius bipolars (oposats).
• Escales d'Adjectius: S'utilitzen especialment en l'avaluació de l'estat d'ànim.

b) Obert o d'elaboració de la resposta

L'examinand ha d'elaborar, construir o executar la resposta al plantejat en el document.

• Resposta extensa: La resposta de l'examinand és il·limitada.
• Resposta restringida: L'examinand ha de respondre amb termes molt concrets (una quantitat, una data, un nom...).

c) Ordenament de diversos estímuls

Consisteix que l'examinand numèri o escrigui ordenadament segons un criteri preestablert una certa quantitat d'elements.

d) Aparellament de diversos estímuls

Es tracta d'associar els enunciats d'una llista amb les respostes d'una altra llista diferent.

• Exhaustius: Cada element de les preguntes correspon a un dels elements de les respostes.
• No exhaustius: Pot donar-se que algun element de les preguntes no es correspongui amb cap dels elements de les respostes, també poden haver-hi elements "màscara".

e) Comparació i valoració de diversos estímuls

Se li presenten a l'examinand una sèrie reduïda d'elements que ha d'ordenar segons criteris objectius o subjectius.

D. Esquema general sobre tipus de tests

Les classificacions generals agrupen els tests en grans categories segons criteris importants comunament acceptats:

• Tests de Llapis i Paper – Tests Manipulatius
  • Llapis i paper: És el model més estès i s'exigeix de l'examinand la resposta per escrit.
  • Tests manipulatius: L'individu maneja diferents objectes o aparells pels quals l'examinador valora i puntua la seva execució.
• Tests Cognitius - Tests no Cognitius
  • Tests cognitius: Coneguts també com a d'execució màxima, ja que el subjecte ha de mostrar el màxim nivell en l'atribut mesurat.
  • Tests no cognitius: Associats a trets de personalitat, aptituds, interessos, etc., són proves on no té sentit "fer-ho millor o pitjor".
• Tests Col·lectius – Tests Individuals
  • Tests col·lectius: Poden administrar-se simultàniament a diversos individus.
  • Tests individuals: Només poden administrar-se individualment, ja que l'examinador intervé directament en l'administració del test.
• Tests Verbals i no Verbals
  • Tests verbals: El material dels seus ítems consisteix en preguntes, completar frases, valorar enunciats, aparellar conceptes, etc.
  • Tests no verbals: Proves que fan servir material gràfic en els seus ítems.
• Tests de Norma de Grup (TNG) – Tests Referits a un Criteri (TRC)
  • TNG: La interpretació de la mesura d'un individu té sentit en relació a la norma o execució global del grup al qual pertany. La mitjana i la desviació típica adopten una importància capital en aquest enfocament.
  • TRC: Són els construïts per produir mesures directament interpretable en termes de normes estàndard prèviament especificades i independents de l'execució d'un grup determinat. S'usen molt en l'avaluació d'aprenentatges.
• Test d'Orientació Escolar, Clínica o de Selecció
  • Escolar: Avaluen l'aprofitament d'un aprenentatge, diagnostiquen àrees deficitàries, orienten vocacionalment i estableixen pronòstics d'èxit acadèmic i professional.
  • Clínica: Exploren trets de personalitat, diagnostiquen, elaboren perfils i estableixen pronòstics.
  • Selecció: Aporten informació sobre la idoneïtat d'un candidat a un lloc de treball.
• Per la Qualificació que exigeix el seu Ús
  • Nivell a: Proves fàcils d'utilitzar amb l'ajuda del manual i informació general.
  • Nivell b: Proves que exigeixen coneixement sobre el procés de construcció de tests i els seus límits d'aplicació.
  • Nivell c: Proves que requereixen un profund domini i coneixement de la teoria dels tests.
• Per la seva Forma i Estratègia de Presentació
  • Tots els individus-tots els ítems: Tots els examinands han de respondre, o almenys intentar-ho, tots els reactius de la prova.
• Proves Situacionals – Personals
  • Situacionals: Pretenen mesurar climes, preferentment s'usa l'individu perquè informi i avaluï la percepció que té sobre l'atmosfera de treball en l'empresa o el clima motivacional en l'aula.
  • Personals: Una persona manifesta algun tret personal, bé intel·lectual o afectiu, de si mateix.
• Pel Tipus de Validació Aplicat
  • Contingut: El mostratge del contingut d'un programa escolar o de formació en general és fonamental per assegurar la utilitat de l'avaluació.
  • Criteri: La prova es correlacionarà amb d'altres de disseny anterior i d'utilitat reconeguda. És l'estratègia més costosa.

Dins d'aquests, alguns tests a la seva vegada tenen una subclassificació (classificacions secundàries):

• Tests d'aptitud, rendiment i capacitat.
• Tests de velocitat i potència.
• Tests de personalitat, actituds, interessos, valors i opinions.
• Proves d'estat / rang.

E. Descripció detallada del procés d'anàlisi d'ítems

Constitueix el procés d'examen dels reactius del test per avaluar si compleixen les principals qualitats d'una prova (dimensionalitat, fiabilitat, validesa). Es fa una anàlisi d'tipus estadístic i una altra a nivell qualitatiu. Ambdós s'han d'integrar i interpretar per prendre decisions sobre l'ítem: mantenir-lo, modificar-lo o excloure'l.

Existeixen diversos models, però treballarem amb el Mètode Convencional o Sumatiu, el qual busca anomalies partint de la base que és unidimensional. Com a element fonamental del model es considera l'acumulació de les puntuacions dels ítems.

Treballarem amb indicadors, dades numèriques de cada ítem (paràmetres de l'ítem), que variaran segons la forma de puntuar el test (dicotòmica o gradual). Aquests indicadors són:

• Dificultat
• Variabilitat
• Discriminació
• Reproductibilitat
• Anàlisi d'alternatives incorrectes
• Asimetria i curtosi
• Anàlisi i correcció de les conjectures
• Homogeneïtat de les eleccions
• Anàlisi del recurs de ponderació
• Perfil d'un ítem (Curva característica de l'ítem - CCI) i (Curva d'omissió - COI)

F. Esquema i continguts bàsics dels procediments per calcular la discriminació d'ítem

Els procediments bàsics que s'utilitzen per calcular la discriminació són:

• COM A CORRELACIÓ: És el procediment més exigent, ja que contempla parelles de dades (ítem-criteri). Consisteix a trobar la correlació entre les puntuacions que dona l'ítem i les puntuacions d'un criteri extern. Exclou omissions i coeficients inferiors a 0.3 (fins a 0.5 en algun cas). Interessa trobar un valor el més elevat possible. A proves de pocs ítems cal utilitzar la discriminació corregida. Es poden donar 5 situacions segons el tipus de variables implicades:
  • a) Ítem dicotòmic - criteri dicotòmic: coeficient Phi
  • b) Ítem dicotòmic - criteri continu: Coeficients biserial puntual i biserial
  • c) Ítem dicotòmic - criteri dicotomitzada: Coeficient tetracòric
  • d) Ítem continu - criteri continu: Coeficient Triserial i en general r de Pearson
  • e) Ítem continu - criteri dicotòmic: biserial, biserial Puntual
• MÈTODE DE GRUPS EXTREMS: Consisteix a dicotomitzar artificialment la mostra en dos grups extrems segons les puntuacions. S'espera trobar una diferència elevada entre la proporció d'encerts obtinguts pel subjecte del grup "superior" respecte a la del grup "inferior". És un procediment rudimentari i obvia gran part de la informació disponible. Els estadístics són:
  • a) d de Kelly per ítems de puntuació dicotòmica.
  • b) Diferència de valors mitjans obtinguts per les respostes en l'ítem en cada grup extrem.
• SENSIBILITAT TEMPORAL: S'ha d'aplicar la mateixa prova en dos moments diferents entre els quals hi ha hagut una intervenció. Es busca que en el segon moment hi hagi una situació contrària al primer per demostrar l'efectivitat del tractament i l'adequació de la prova. S'utilitza més en TRC, ja que un ítem en TRC serà útil si és capaç d'informar d'un canvi (normalment un aprenentatge) entre dues aplicacions de la mateixa prova.
• MITJANÇANT PROVES CHI-QUADRAT: Admet tot tipus de mesures, fins i tot les nominals. S'aplica als ítems i criteris dicotòmics en taules quàdruples. També s'aplica en categoritzar el criteri i la puntuació de document, comprovant la similitud o independència entre ambdues.
• ÍNDEX DE REPRODUCTIVITAT: És la característica del model de l'escalograma. Es refereix al grau en què és possible reproduir o conèixer la pauta de respostes dels subjectes mitjançant la puntuació total que generen. Els valors que discriminen són 0.9-1 (amb mostres grans també s'accepten 0.7-0.8), no discriminen els valors 0.5-0.7.

G. Procés d'elaboració d'un escalograma

1. Elaborar una bateria d'ítems procurant que siguin "escalones quasi-perfectes", almenys en teoria, recolzant-se en alguna proposta conceptual sobre el tret mesurat.
2. Ordenar-los estimant la seva dificultat ascendent (des del primer –més fàcil– fins a l'últim –el més difícil–); és possible que hi hagi escalons mal situats.
3. Seleccionar una mostra de població, el més àmplia possible i relacionada amb els objectius de mesura de l'instrument, a la qual se li administra l'escalograma.
4. Valorar la unidimensionalitat i consistència interna de l'escala.
5. Les dades obtingudes es codifiquen i ordenen en una matriu rectangular (1,0), amb els subjectes en les files i la seva valoració als ítems en les columnes.
6. Per a cada ítem, es compta el número de 1 que conté. Amb aquest valor es reordenen de forma estricta tots els ítems, des del que obté el major valor (més fàcil) fins al que obté el menor valor (més difícil i, per tant, amb més 0).
7. Per a cada subjecte es compara el patró de resposta observat amb el patró de resposta ideal, i es compten els errors produïts en el conjunt de la matriu.
8. Comprovar si l'escala que hem construït és realment una escala acumulativa. Per a això, cal realitzar les següents comprovacions:
   • Aplicar el Coeficient de Reproductibilitat de Guttman (CR). Si el coeficient és menor que 0.90, es considera que no hi ha un bon ajust i hi hauria d'eliminar/reelaborar ítems i començar de nou; seguir si és ≥ 0,90.
   • Calcular la Reproductibilitat Marginal Mínima (RMM) per comprovar si el valor CR correspon a una escala ben realitzada o és producte de puntuacions marginals extremes degut a un biaix poblacional o error de disseny.
   • Calcular el Coeficient d'Escalabilitat (CE) que ha de resultar com a mínim 0.60 per indicar que la escala és veritablement acumulativa.
9. Elaborar l'escalograma definitiu que usaran els subjectes per a auto-posicionar-se.

H. Procés d'elaboració del mètode de grups extrems

Es dicotomitza artificialment la mostra en dos grups extrems segons la puntuació criteri. Originàriament, es separaven els subjectes amb major puntuació dels de menor en funció del total obtingut en el mateix test.

El mètode clàssic de dicotomització de grups consisteix en seleccionar el 27% superior i el 27% inferior, i rebutjar el 46% central de puntuacions per a l'ítem. Aquest 27% correspon a la distribució de criteri normal.

Si l'ítem puntua sistemàticament alt en el grup superior i baix en l'inferior, es considerarà que discrimina entre ambdues situacions i que és sensible a les diferències individuals sobre el tret mesurat. Aquest procediment tendeix a la correlació, tot i que amb ell s'obvia una gran part de la informació obtinguda amb els resultats dels ítems.

En escales dicotòmiques s'espera trobar una diferència entre la proporció d'encerts obtinguts pels subjectes del grup superior dels obtinguts pel grup inferior. En el cas de trobar-nos amb escales graduades, s'empra com a dada bàsica el número de respostes vàlides per a cada ítem/grup.

I. Tipus de coeficients de correlació emprats en psicometria (anàlisi d'ítems, fiabilitat…)

• COEFICIENT DE CORRELACIÓ DE PEARSON (r) o coeficient Producte-Moment: Quantifica la relació i la intensitat d'aquesta entre qualsevol tipus de variables mesurades com a mínim en escala d'interval, entre els límits -1 i +1. S'aplica per obtenir coeficients de discriminació, fiabilitat i validesa.
• COEFICIENT DE CORRELACIÓ D'SPEARMAN (rs): Quantifica la relació i la intensitat d'aquesta entre dues variables mesurades en escala ordinal, entre els límits -1 i +1. La seva aplicació s'empra per obtenir coeficients de fiabilitat i validesa.
• COEFICIENT BISERIAL PUNTUAL (rbp): Relaciona una variable contínua amb una altra dicotòmica natural (com encert-error a un ítem). Oscil·la entre -1 i +1. S'empra per obtenir el coeficient de discriminació. Particularitats en la seva aplicació: la variabilitat de la puntuació dicotòmica afecta considerablement el tamany del coeficient. Es convenient no aplicar rbp en variables amb p o q inferiors a 0.10. En condicions ideals, el coeficient trobat tindrà el seu màxim en 0.8.
• EL COEFICIENT PHI: S'utilitza quan les dues variables són realment dicotòmiques (dicotòmiques naturals), si bé també és freqüent dicotomitzar artificialment dues variables originalment contínues. Els seus límits oscil·len entre -1 i +1 i s'empra per obtenir el coeficient de discriminació.
• COEFICIENT BISERIAL (rbis): S'aplica en les mateixes condicions que rbp (variable contínua i dicotòmica natural) però suposant que la variable dicotòmica procedeix de la divisió d'una en origen contínua i normalment distribuïda (dicotòmica artificial). Per a unes mateixes dades, rbis és sempre superior a rbp i proporciona una estimació de rPM més aproximada si es compleix la normalitat subjacent a la variable dicotòmica. Els seus límits oscil·len entre -1.25 i +1.25, i s'empra per obtenir coeficients de discriminació.
• COEFICIENT TRISERIAL (rtris): És una variant del coeficient biserial, però s'aplica quan la variable és tricotòmica i l'altra contínua. Els límits del coeficient són -1.25 i +1.25, i se'n fa ús per calcular el coeficient de discriminació.
• COEFICIENT TETRACÒRIC (rt): És útil en els casos on es relacionen dues sèries de puntuacions procedents de la divisió artificial d'unes variables realment contínues, és a dir, dues variables dicotòmiques artificials. La fiabilitat de rt millora amb grans mostres. Els seus límits oscil·len entre -1 i +1, i s'aplica per obtenir el coeficient de discriminació.
• R DE GUTTMAN: Serveix per trobar les inconsistències en un escalograma.
• Coeficient de correlació de fiabilitat: entre tests.
• Coeficient de correlació de validesa: entre test i criteri.