Close
Antes de empezar, decir que como sabéis, en general, este blog tiene un tono distendido. Bien, pues en esta entrada no es el caso. Y aunque introduciré algunas imágenes, es absolutamente técnico y de lectura profesional y especializada. Empezamos.
Descripción del cuestionario:
El cuestionario del Geniotipo se ha elaborado con la finalidad de ayudar a las personas a describir cuál es su talento natural que encauza su vocación o trayectoria profesional. Según la teoría de Tony Estruch, todos nosotros nacemos con un talento innato que reúne un conjunto de rasgos y habilidades que definen nuestro propósito de vida. De este modo, esta primera versión del cuestionario del Geniotipo se ha elaborado para ser una herramienta que permita al usuario descubrir cuál es su talento y predilección vocacional, mediante la definición de unos constructos fáciles de manejar y comprender. También se ha diseñado el cuestionario para poder estudiar con más profundidad los perfiles del Geniotipo y así poder aportar futuros datos que refuercen y fundamenten esta teoría del talento. Dicha prueba consta de 47 ítems los cuales se reparten en 8 subescalas de autoevaluación, que miden distintos rasgos asociados al talento: círculo, cuadrado, elipse, pentágono, infinito, estrella, triángulo, rombo.
Ámbitos de aplicación y método de administración:
El cuestionario está diseñado para aplicarse dentro de los ámbitos de psicología, psicoterapia, coaching, crecimiento personal e investigación. Sin embargo, esta planeado que en futuras versiones pueda aplicarse también en el ámbito educativo. Por otro lado, el cuestionario se administra a través de una página web, concretamente: https://www.conocetugeniotipo.com/. Los resultados de la prueba son calculados mediante percentiles (baremación), y entregados mediante un vídeo explicativo enviado a través de un correo electrónico al usuario que ha solicitado la evaluación.
Descripción de las poblaciones diana
El cuestionario del Geniotipo se puede aplicar a la población española con un rango de edad entre los 18 y 70 años, tanto hombres como mujeres. Actualmente, no se dispone de una versión para niños y adolescentes porque se desconoce aún a qué edad empieza a manifestarse el constructo.
Escala de respuesta y obtención de las puntuaciones
Para este cuestionario se ha elegido una escala de respuesta tipo Likert con 4 opciones que expresan opinión respecto al contenido descrito en cada uno de los ítems: “Nada de acuerdo = 0”, “Algo de acuerdo = 1”, “Bastante de acuerdo =2, Totalmente de acuerdo = 3”. La corrección de las puntuaciones directas del cuestionario se hace mediante el sumatorio de todas las respuestas de los ítems. En función de la escala, los resultados pueden ir de 0 a 12 puntos (Triangulo, Estrella), de 0 a 15 puntos (Cuadrado), de 0 a 18 puntos (Pentágono) y de 0 a 21 puntos (Círculo, Elipse, Infinito, Rombo). En todas las escalas, mayor puntuación indica mayor manifestación del perfil evaluado.
Una vez obtenidas las puntuaciones directas finales de cada subescala, estas se transforman mediante rangos percentiles obtenidos con una muestra normativa. Generalmente, percentiles iguales o superiores a 75 indican la presencia del perfil evaluado, en menor o mayor grado. En el apartado de baremos, pueden consultarse unos puntos de corte que indican el grado de manifestación del perfil. Cada usuario puede obtener percentiles altos (> 90) en un máximo de 3 subescalas, siendo considerado el perfil del Geniotipo con mayor puntuación percentil el predominante y los dos restantes, los complementarios. Asimismo, la obtención de percentiles altos (> 90) en 4 o más subescalas indican una clara incoherencia en las respuestas, por lo que se debe revisar las contestaciones del usuario y, en caso necesario, repetir la administración de la prueba. Finalmente, la ausencia de percentiles superiores a 75 en las subescalas del cuestionario, indica la presencia del noveno perfil del Geniotipo llamado “Rectángulo”.
Tratamiento de respuestas en blanco
El programa informático mediante el cual se administra el cuestionario tiene activado por defecto el parámetro de obligatoriedad de todos los campos de texto, para así evitar que los usuarios dejen respuestas en blanco ya sea por omisión o por despiste. De este modo, el usuario no podrá enviar el formulario con sus respuestas si se ha dejado preguntas en blanco, siendo notificado de ello mediante un mensaje de aviso. Por consiguiente, no hace falta hacer un tratamiento adicional de las respuestas en blanco por parte del profesional o del investigador que lo administra.
FUNDAMENTACIÓN ESTADÍSTICA
Antes de la creación de este cuestionario, ya existía una versión preliminar de unos 100 ítems de longitud que se administró durante los años anteriores para determinar el perfil del Geniotipo. Sin embargo, nunca se había prestado atención a las propiedades psicométricas del test, las cuales eran inexistentes. Por este motivo, se decidió crear una segunda versión que presentará unas buenas propiedades psicométricas, así como siguiera un proceso de creación y diseño acorde a los estándares actuales. Para ello, el equipo asesor se reunió con el creador del proyecto, Tony Estruch, para así definir los límites del constructo a definir, los ítems, qué método de respuesta serían los idóneos y qué modos para detectar incoherencias u otras problemáticas se aplicarían.
Durante la primera fase de la creación, se recopiló los rasgos más característicos o esenciales de cada uno de los Geniotipos. Inicialmente se planteó que el cuestionario tuviera 9 subescalas, ya que son 9 los perfiles del Geniotipo descritos en dicha teoría. Sin embargo, después de analizar las características de cada uno de los Geniotipos se llegó a la conclusión de que el noveno Geniotipo llamado “Rectángulo” no debía ser incluido en la prueba piloto. Esta decisión se basó en el hecho que los usuarios con perfil rectángulo no suelen buscar asesoramiento o ayuda profesional para conocer y desarrollar su vocación idónea, dado que su principal motivación es encontrar trabajos que les aporten un sustento económico acorde a sus necesidades básicas. En otras palabras, no manifiestan aspiraciones como el crecimiento personal o el autoconocimiento terapéutico. Por este motivo, se decidió excluir dicho Geniotipo de la versión final del cuestionario, y considerar que aquellos usuarios que obtuvieran puntuaciones bajas en todos los Geniotipos les fuera asignado el perfil “Rectángulo”. En cambio, los Geniotipos que sí se incluyeron en la versión piloto del cuestionario fueron: Circulo, Cuadrado, Elipse, Pentágono, Infinito, Rombo, Triangulo y Estrella. Una vez definidas las subescalas, se llevó a cabo una lista de los 20 rasgos más característicos de cada uno de los perfiles para guiar la posterior creación de los ítems.
1.1 Construcción provisional de la prueba
Una vez definidos los rasgos y elementos característicos de cada Geniotipo se procedió a definir cuántos ítems debía tener el cuestionario. Inicialmente se redactaron 102 ítems, siendo el doble de ítems esperados para, posteriormente a la administración de la prueba, quedarnos con los mejores. Todos los ítems se redactaron utilizando el momento presente (nunca pasado o futuro) y se buscó que el contenido fuera relevante, evitando enunciados abstractos que dieran lugar a confusión. Se puso especial hincapié a que cada ítem expresará solo un rasgo de un Geniotipo y se tuvo sumo cuidado para que el contenido fuera lo más claro posible, evitando una excesiva generalidad o palabras demasiado técnicas. También se buscó que la sintaxis y la estructura gramatical fueran correctas y que semánticamente se ajustará al contenido a la comprensión lingüística del público diana. Finalmente, se procuró evitar todo lo posible el uso de negaciones que dificultará la comprensión de la frase, así como evitar el uso de conceptos demasiado universales a la hora de describir el rasgo.
Para las opciones de respuesta del cuestionario se escogió una escala de tipo Likert, con cuatro opciones de respuesta que expresan: nada, algo, bastante o total acuerdo. Asimismo, se descartó el uso de una categoría de respuesta intermedia dado que, con demasiada frecuencia, termina siendo la elegida por los usuarios que responden con poco interés o de forma poco sincera. Además, incluir una categoría intermedia como por ejemplo “indiferente”, resultaba incoherente a la hora de definir el grado de vínculo, concordancia o acuerdo con los rasgos asociados a cada Geniotipo, por lo que no se contempló en la construcción de la prueba piloto.
Para detectar posibles incoherencias en las respuestas, se crearon inicialmente ítems paralelos para detectar irregularidades en este sentido. Es decir, los usuarios debían mostrar respuesta parecidas en aquellos ítems duplicados o paralelos. También se planteó generar una novena subescala para evaluar la mentira, aunque se sustituyó la idea rápidamente por la estrategia de los ítems paralelos mencionada anteriormente. Dadas las dificultades operativas no se evaluó el grado de “Deseabilidad social”, la cual se define como la tendencia a mostrar una buena imagen siguiendo un estándar social (Abad et al., 2014). Tampoco se estableció estrategias para detectar el “Faking Bad” o la “simulación”, entendida cómo la tendencia a escoger opciones extrañas o que dan una mala imagen de uno mismo, ya que el contenido de los ítems no daba opción a ello (Abad et al., 2014). Finalmente, se prestó atención al fenómeno de la “Aquiescencia”, entendida como la tendencia a escoger las opciones positivas (Abad et al., 2014), redactando el 35% de los ítems en formato inverso para así evitar el uso de patrones de respuesta positiva o mecánica.
1.2 Muestra del estudio
Antes de escoger la muestra del estudio para administrar la prueba piloto, se decidió que el cuestionario iría destinado a un público adulto residentes en España, de edades comprendidas entre los 18 y 70 años. No se incluyó en la muestra participantes provenientes de una población latinoamericana, dadas las diferencias culturales y lingüísticas existentes. Tampoco se incluyó niños y adolescentes dado que, actualmente, se desconoce a qué edad empieza a manifestarse el perfil del Geniotipo. Otras variables cómo el nivel socioeconómico, la profesión o el nivel educativo no fueron consideradas a la hora de escoger la muestra del estudio porque la teoría del Geniotipo determina que, el talento, es innato y no es inherente a dichas variables.
Se emplearon 3 muestras para el estudio, dependiendo de la fase en la que se encontraba el desarrollo y validación de la prueba (ver siguiente apartado). Para la primera valoración de los 102 ítems creados, se empleó 15 personas provenientes del equipo del Geniotipo, concretamente 11 mujeres y 4 hombres, residentes en Cataluña y de edades entre los 28 y 50 años. Posteriormente a la revisión de los ítems, se administró el cuestionario a 50 personas voluntarias, más concretamente conocidos y ex alumnos de Tony Estruch, 32 mujeres y 18 hombres, de edades entre los 20 y 65 años. Finalmente, la prueba revisada con 52 ítems fue administrada a 291 personas, 71 hombres y 220 mujeres, con edades entre los 18 y 70 años, para valorar sus propiedades psicométricas. La mayoría de los 291 participantes provinieron de la comunidad autónoma de Cataluña (239). También hubo presencia de otras comunidades autónomas, aunque en menor representatividad: Andalucía (2), Aragón (2), Asturias (1), Baleares (5), Canarias (8), Cantabria (2), Castilla la Mancha (2), Castilla y león (4), Ceuta y Melilla (1), Comunidad Valenciana (8), Extremadura (1), Galicia (1), Madrid (14), País Vasco (1).
2. Administración de la prueba piloto: evidencias de contenido y procesos de respuesta
Para garantizar la validez de contenido, se administró inicialmente el cuestionario a los 15 profesionales que componen el equipo del Geniotipo, para así obtener una opinión especializada sobre la adecuación de los ítems a la hora de evaluar el constructo. Se discutió la pertinencia y cobertura de los contenidos, la claridad de los conceptos de los enunciados, así como qué ítems describían mejor cada rasgo mediante 3 niveles de valoración: “lo describe mucho”, “lo describe poco” y “no lo describe nada”. También se analizó qué ítems eran confusos e irrelevantes a nivel de contenido y cuáles debían ser reescritos por presentar ciertas fallas de semántica, gramática o presencia de tecnicismos que dificultaran su comprensión al lector.
Respecto a la validez de proceso de respuesta, se analizó la presencia de aquiescencia, la tendencia a responder de forma poco sincera, qué ítems presentaban mayores dificultades a la hora de responder, así como la adecuación de las instrucciones. Con este análisis, el equipo se percató que mostrar como primera opción “Nada de acuerdo” dificultaba el proceso de respuesta. Esto surgía especialmente en aquellos ítems cuyos enunciados eran complejos o inversos y dónde el usuario mostraba un absoluto grado de acuerdo. Por ejemplo: si el usuario estaba plenamente de acuerdo con la afirmación “Nunca realizaría operaciones quirúrgicas”, tardaba más tiempo en contestar la opción “Totalmente de acuerdo” si ésta se ubicaba en la cuarta posición. En definitiva, se consideró más oportuno definir las opciones de la respuesta mediante el siguiente orden de aparición: 1) Totalmente, 2) Bastante, 3) Algo y 4) Nada de acuerdo; en lugar de ordenar las opciones de la siguiente forma: 1) Nada, 2) Algo, 3) Bastante y 4) Totalmente de acuerdo. También se valoró si era necesario modificar el formato de respuesta, llegando a la conclusión que con la inversión del orden de las opciones era suficiente.
En segundo lugar, se administró la prueba a 50 participantes, principalmente ex alumnos de Tony Estruch, para poder recoger sus opiniones como público diana. Para ello se realizaron diversas entrevistas semiestructuradas a todos los participantes para valorar la adecuación del contenido y del proceso de respuesta. De hecho, una de las principales quejas de los participantes fue la extensión del cuestionario, considerando bastante tedioso contestar un total de 102 ítems. Otros participantes hicieron hincapié en lo repetitivos que les parecían algunos ítems, especialmente los diseñados para evaluar la incoherencia en las respuestas. Además, destacaron que algunos enunciados daban lugar a múltiples interpretaciones por ser demasiado inespecíficos. Por ejemplo: “No me gusta asumir riesgos innecesarios en la vida”. En este ítem particular, los participantes nos preguntaban:¿a qué riesgos se refiere? ¿A nivel personal, laboral, relacional?, dando una gran variabilidad en las respuestas.
Por otro lado, los participantes también destacaron haber tenido problemas a la hora de comprender algunos enunciados de los ítems, por ser demasiado abstractos o por usar un lenguaje demasiado “psicoterapéutico”. Por ejemplo: “Prestar atención a las corazonadas de la vida”; “Ser una persona pragmática”; “Me siento realizado siendo representante o mánager”, etc. Asimismo, algunos recalcaron dificultades a la hora de responder ciertos ítems cuyo enunciado estaban describiendo negación y preferencia (agrado) al mismo tiempo: “No me importaría trabajar como contable”; “Dudo que me guste trabajar en una ONG”. Finalmente se llevó a cabo un cálculo preliminar de las puntuaciones directas de las 8 subescalas, y posteriormente sus percentiles, para así determinar el perfil del Geniotipo de cada participante. Cabe recalcar que los resultados no eran fiables dado que se estaba tomando como muestra de referencia a 50 personas, pero al menos daban una idea aproximada de hasta qué punto el cuestionario discriminaba bien los distintos perfiles del Geniotipo. El 75% de los participantes mostraron estar de acuerdo con los resultados obtenidos, mientras que el 25% restante no se sintieron del todo reconocidos con los resultados que les ofrecía el cuestionario.
Una vez recopiladas todas las opiniones, se corrigió el redactado de algunos ítems, y se eliminaron aquellos que se consideran confusos, ambiguos o irrelevantes. También se descartaron los ítems duplicados para evaluar la coherencia de las respuestas, dado que no discriminaban bien la discrepancia en las respuestas. Finalmente, se decidió dejando el cuestionario del Geniotipo con un total de 52 ítems, para poder reducir así el tiempo de contestación de la prueba, y evitar que los usuarios contestaran las preguntas de una forma mecánica pasadas 2/3 partes del cuestionario. Una vez definida la versión final de la prueba piloto del Geniotipo, este se introdujo a una plataforma online de formularios llamada Google Forms para poder ser administrada de una forma más cómoda y rápida. Posteriormente, se llevó a cabo un anuncio en redes sociales para que los usuarios respondieran el cuestionario, así como se reclutó antiguos alumnos del curso del Geniotipo como voluntarios para completar una muestra total de 291 participantes, como se ha comentado en apartados anteriores.
3. Primer análisis de los ítems: capacidad de discriminación y consistencia interna (Alfa)
Para valorar la capacidad en que un ítem discrimina a aquellos sujetos que puntúan alto en el constructo o puntúan bajo, se valoró el índice de correlación entre el ítem y el test, así como la correlación entre el ítem y el resto del test. Por otro lado, para valorar la consistencia interna de la prueba, se empleó el índice Alpha de Cronbach. Ambos índices se calcularon mediante el programa estadístico STATA en versión 14.0. A continuación, se presentan los resultados obtenidos en la siguiente tabla:
| Ítem | Ítem-test correlation | Ítem-rest correlation | Alpha | ||
| Item1 | 0.3891 | 0.3397 | 0.8054 | ||
| Item2 | 0.3253 | 0.2710 | 0.8070 | ||
| Item3 | 0.1560 | 0.0959 | 0.8114 | ||
| Item4 | 0.3189 | 0.2586 | 0.8072 | ||
| Item5 | 0.2657 | 0.2029 | 0.8088 | ||
| Item6 | 0.3397 | 0.2804 | 0.8066 | ||
| Item7 | 0.3985 | 0.3540 | 0.8053 | ||
| Item8 | 0.5130 | 0.4683 | 0.8020 | ||
| Item9 | 0.4213 | 0.3738 | 0.8046 | ||
| Item10 | 0.1640 | 0.1074 | 0.8110 | ||
| Item11 | 0.3910 | 0.3356 | 0.8052 | ||
| Item12 | 0.2238 | 0.1577 | 0.8102 | ||
| Item13 | 0.3011 | 0.2328 | 0.8081 | ||
| Item14 | 0.0609 | 0.0033 | 0.8135 | ||
| Item15 | 0.3564 | 0.2918 | 0.8063 | ||
| Item16 | -0.0636 | -0.1354 | 0.8192 | ||
| Item17 | 0.2884 | 0.2330 | 0.8079 | ||
| Item18 | -0.0289 | -0.0795 | 0.8146 | ||
| Item19 | 0.1977 | 0.1439 | 0.8100 | ||
| Item20 | 0.4155 | 0.3671 | 0.8047 | ||
| Item21 | 0.4301 | 0.3710 | 0.8039 | ||
| Item22 | 0.3825 | 0.3246 | 0.8054 | ||
| Item23 | 0.1399 | 0.0826 | 0.8116 | ||
| Item24 | -0.0965 | -0.1480 | 0.8163 | ||
| Item25 | 0.2670 | 0.2133 | 0.8084 | ||
| Item26 | 0.3886 | 0.3198 | 0.8053 | ||
| Item27 | 0.4008 | 0.3566 | 0.8053 | ||
| Item28 | 0.5145 | 0.4620 | 0.8013 | ||
| Item29 | 0.4268 | 0.3708 | 0.8041 | ||
| Item30 | 0.4463 | 0.3899 | 0.8034 | ||
| Item31 | 0.5092 | 0.4542 | 0.8013 | ||
| Item32 | 0.4506 | 0.4096 | 0.8042 | ||
| Item33 | 0.3924 | 0.3524 | 0.8057 | ||
| Item34 | 0.2506 | 0.1839 | 0.8095 | ||
| Item35 | -0.0983 | -0.1557 | 0.8174 | ||
| Item36 | 0.3527 | 0.2936 | 0.8063 | ||
| Item37 | 0.3529 | 0.2981 | 0.8062 | ||
| Item38 | 0.4225 | 0.3555 | 0.8041 | ||
| Item39 | 0.0709 | 0.0069 | 0.8140 | ||
| Item40 | 0.4249 | 0.3651 | 0.8041 | ||
| Item41 | -0.0031 | -0.0623 | 0.8152 | ||
| Item42 | 0.2605 | 0.2003 | 0.8088 | ||
| Item43 | 0.3735 | 0.3085 | 0.8057 | ||
| Item44 | 0.3929 | 0.3460 | 0.8053 | ||
| Item45 | 0.1895 | 0.1448 | 0.8098 | ||
| Item46 | 0.3565 | 0.2885 | 0.8064 | ||
| Item47 | 0.4826 | 0.4351 | 0.8028 | ||
| Item48 | 0.2695 | 0.2114 | 0.8085 | ||
| Item49 | 0.2691 | 0.2075 | 0.8086 | ||
| Item50 | 0.4633 | 0.4062 | 0.8028 | ||
| Item51 | 0.4043 | 0.3505 | 0.8048 | ||
| Item52 | 0.4915 | 0.4365 | 0.8019 | ||
| Alfa total | 0.8105 |
Como se puede observar en la tabla, los ítems 3, 10, 14, 16, 18, 23, 24, 35, 39, 41 presentan una deficiente capacidad de discriminación (valores inferiores a 0,2 puntos), e incrementan el Alfa total de la prueba cuando son eliminados (ver quinta columna, valores marcados en rojo). Asimismo, los ítems 19 y 45 también presentan una baja capacidad de discriminación, aunque al ser eliminados no mejoran el resultado del Alfa total, todo lo contrario, aspecto el cual generan dudas sobre sí vale la pena eliminarlos o no.
Por otro lado, resulta importante recalcar que, aquellos ítems que presentan la peor capacidad de discriminación del cuestionario corresponden a la subescala “Cuadrado”. También resulta recalcable mencionar, que los ítems de la subescala cuadrado tienen índices de discriminación negativos, como si de ítems inversos se tratasen. Sin embargo, esto no es posible dado que todos los ítems inversos ya fueron recodificados previamente antes de realizar dichos análisis. Finalmente, se observó que los participantes del estudio tenían problemas para responder el ítem 15, por tener un contenido demasiado abstracto y general (“a veces me dicen que estoy demasiado en las nubes”). Sin embargo, dicho ítem presenta buenas capacidades de discriminación y una menor Alfa cuando se elimina de la prueba, lo cual generar dudas sobre su inclusión o eliminación.
Si eliminamos todos los ítems marcados en rojo en la tabla, y recalculamos el Alfa total obtenemos un resultado de 0.8553. La ganancia es significativa, pero el sacrificio es eliminar por completo la subescala “Cuadrado”, excepto el ítem 15, eliminado completamente la visibilidad de este perfil en el cuestionario final. Una posible explicación a este fenómeno es que la prueba evalúa un tipo de talento que no se ve muy representado en la muestra utilizada. Dicho en otras palabras, había pocos usuarios “cuadrados” en la muestra empleada para el estudio. Este argumento tendría su lógica dado que la teoría del Geniotipo considera un usuario con perfil “Cuadrado” es aquél que muestra poco interés por el campo del autoconocimiento, por desarrollar su talento, dado que son personas muy racionales y rígidas. Por tanto, suelen tener claro a qué dedicarse y cuál es la principal motivación que estimula su búsqueda vocacional. En este caso, presentan similitudes con “Rectángulo”. Otra de las posibles explicaciones ante estos resultados, es que los ítems de la subescala cuadrado realmente estuvieran mal redactados o planteados y, por lo tanto, deberían reformularse y volverse a evaluar.
Dado que los datos obtenidos no eran suficientes para tomar una decisión final sobre qué ítems eliminar de la prueba, se llevó a cabo otros análisis (factoriales, normalidad) para aportar mayor claridad en este asunto.
3.1 Evidencias basadas en la estructura interna
Antes de evaluar la estructura interna de la prueba del Geniotipo se llevó a cabo un análisis para valorar la existencia de normalidad multivariante, requisito necesario para decidir el estimador del análisis factorial confirmatorio (AFC). Este análisis se efectuó mediante el programa estadístico R en su versión 4.1.2. Como se puede observar en la siguiente tabla, los resultados indican la ausencia de normalidad multivariante en los datos, lo cual descarta el uso del método Máxima Verosimilitud (ML) utilizado normalmente en los AFC.
| Test | Estadístico | P value | Resultado |
| Mardia Skewness | 32037.2814 | <0.0001 | NO |
| Mardia Kurtosis | 16.6872 | 0 | NO |
| MVN | <NA> | <NA> | NO |
Asimismo, otro de los supuestos para el uso de ML en el Análisis factorial confirmatorio es establecer que, las variables latentes y observadas, deben ser continuas. Sin embargo, aunque las escalas de tipo Likert suelen asumir que el constructo latente es de naturaleza continua, las variables observadas realmente se registran mediante una escala de medida ordinal (Morata-Ramirez et al., 2015). Ante las problemáticas que plantea el uso de escalas tipo Likert y la falta de normalidad multivariante, se ha empleado el método de estimación de Mínimos Cuadrados no Ponderados (en inglés, Unweighted Least Squares o ULS) para este estudio de AFC.
Para valorar la estructura interna de la prueba, se llevó a cabo un Análisis factorial confirmatorio (AFC) mediante el programa de código libre JASP en su versión 0.16.00. A continuación, se presentan diversas tablas con los resultados del ajuste del modelo teniendo en cuenta distintas condiciones:
AFC 1: Modelo factorial sin eliminar ningún ítem de la prueba
Los índices de bondad de ajuste obtenidos en este primer análisis ponen de relieve la falta de coincidencia entre la estructura factorial propuesta y los datos observados. Respecto a los índices descriptivos de ajuste absoluto, solo se obtienen resultados satisfactorios en el RMSEA (0.046, P = 0.969), como puede observarse en las tablas. Asimismo, dado que hemos empleado un estimador ULS no podemos obtener el grado de significación de la prueba Chi Cuadrado, por lo que dichos resultados no han sido incluidos en este documento. Por otro lado, en lo que se refiere a los índices descriptivos de ajuste comparativo, no se obtienen resultados óptimos o razonables en ninguno de ellos (por ejemplo: CFI, TLI, NNFI). Por consiguiente, se quiso valorar nuevamente el ajuste del modelo a los datos, eliminando los ítems inconsistentes y poco discriminatorios.
AFC 2: Modelo factorial eliminando todos los ítems inconsistentes
El estudio de la bondad de ajuste (Goodness fit) en este segundo modelo factorial, muestra mejores resultados que los obtenidos con el primer modelo. Por ejemplo, el índice RMSEA presenta valores satisfactorios (0.047, P = 0.866), mientras que el índice SRMS presenta valores casi óptimos (0.086). Por lo que respecta a los índices descriptivos de ajuste comparativo, aunque no todos superan los criterios de corte necesarios para considerar la existencia de un “óptimo” ajuste del modelo (NFI, GFI), la mayoría de ellos presentan valores razonables, es decir, valores superiores o iguales a 0.9 (TLI, CFI, NNFI). Sin embargo, la presente solución factorial no incluye la subescala del Geniotipo “Cuadrado”, lo cual disminuye la utilidad práctica del cuestionario y plantea un importante problema: definir nuevamente ítems para dicha subescala, buscar otra muestra para su estudio, etc.
AFC 3: Modelo factorial eliminando únicamente los ítems 3, 10, 14, 23, 41
Para este análisis de la bondad de ajuste (Goodness fit) se han incluido, dentro del modelo factorial, los ítems de la subescala “Cuadrado”, así como los ítems 19 y 45. Los resultados muestran un grado de ajuste a los datos muy parecido entre el modelo 2 y el 3. Por ejemplo, el valor SRMR solo varía 0.001 puntos entre modelos, mientras que el índice RMSEA es más pequeño en este modelo 3 (0.044, P = 0.991). Respecto a los índices descriptivos de ajuste comparativo, encontramos ciertas variaciones en los valores del modelo 3 al compararlos con los valores obtenidos en el modelo 2, aunque dichas variaciones son casi inapreciables (CFI = 0.906 vs 0.911; TLI = 0.900 vs 0.903; NNFI = 0.906 vs 0.903). Por consiguiente, dado que no se vislumbra una mejora significativa en la bondad de ajuste al comparar ambos modelos, se decidió quedarse con el modelo 3 por incluir la subescala “Cuadrado”, así como el ítem 19 de la subescala “Estrella” y el 45 de la subescala “Elipse”.
AFC 4: Modelo factorial eliminando únicamente los ítems 10, 14, 15, 23, 41
Anteriormente, en el apartado de fiabilidad y primer análisis de los ítems se comentó que el ítem 15, correspondiente a la subescala “Cuadrado” (A veces me dicen que estoy demasiado en las nubes), presentaba un enunciado demasiado abstracto y general, a pesar de presentar buenos índices de discriminación. De este modo, se quiso valorar qué impacto tendría su eliminación en el análisis factorial confirmatorio. De igual forma, el ítem 3 del cuestionario (Primero van los demás y luego yo), hace referencia a uno de los rasgos más definitorios de perfil “Círculo” por lo que, a pesar de tener una baja capacidad de discriminación, se quiso evaluar también qué efectos tendría su inclusión en la bondad de ajuste del modelo factorial.
Si se comparan las tablas de los índices de bondad de ajuste entre los modelos 3 y 4, puede observarse que las diferencias entre los valores son prácticamente mínimas. Por tanto, se consideró oportuno quedarnos con este 4º y último modelo factorial (el cual excluye los ítems 10, 14, 15, 23, 41) por presentar un grado de ajuste a los datos razonables en la mayoría de los indicadores, así como por solucionar algunas problemáticas inherentes a la validez de contenido y el proceso de respuesta de la prueba.
Por último, se llevó a cabo un análisis para determinar la invarianza de los datos al comparar los modelos factoriales en función de la variable sexo. La invariancia de medición entre grupos determina si los sujetos con niveles aparentemente idénticos en la variable latente presentan la misma puntuación directa esperada en la medida (Hirschfeld & von Brachel, 2014). A continuación, se muestran los datos obtenidos con el programa R:
| Df | AIC | BIC | Chi Q | Chi Q – difference | Df – difference | P Value | |
| Config | 2012 | 31481 | 32721 | 32721 | 4168.7 | NA | NA |
| Weak | 2051 | 31507 | 32604 | 32604 | 4272.8 | 104.168 | <0.0001 |
| Strong | 2090 | 31535 | 32489 | 32489 | 4378.7 | 105.918 | <0.0001 |
| Strict | 2137 | 31516 | 32298 | 32298 | 4453.9 | 75.107 | 0.0057 |
Como se puede observar, las diferencias de chi-cuadrado en las distintas pruebas de la invariancia son estadísticamente significativas, por lo que concluimos que las restricciones de invarianza son demasiado exigentes y que la estructura factorial es distinta en función del sexo, incluso en el nivel más básico. De este modo, lo que podemos decir es que el cuestionario no mide el mismo constructo para hombres y mujeres, aunque pueden ser constructos parecidos. Por consiguiente, como no se alcanza ningún grado de invarianza en este análisis, en futuras líneas de investigación deberán explorarse qué tipo de mediciones deberían ejecutarse para medir los perfiles del Geniotipo por razón de género de forma correcta.
3.2 Fiabilidad: consistencia interna
En la siguiente tabla se describen los resultados de la consistencia interna para cada subescala, siguiendo el 4º modelo factorial obtenido en el análisis factorial confirmatorio (AFC), el cual se menciona en el apartado anterior. Para efectuar este análisis se empleó el programa JASP versión 0.16.00.
| Subescala | Alfa (α) | IC 95% | Omega (Ѡ) | IC 95% | ||||
| Círculo | 0.787 | 0.747 | 0.823 | 0.781 | 0.742 | 0.819 | ||
| Cuadrado | 0.666 | 0.599 | 0.723 | 0.688 | 0.631 | 0.744 | ||
| Elipse | 0.867 | 0.842 | 0.889 | 0.884 | 0.864 | 0.905 | ||
| Estrella | 0.653 | 0.582 | 0.714 | 0.650 | 0.586 | 0.714 | ||
| Infinito | 0.813 | 0.778 | 0.844 | 0.817 | 0.785 | 0.849 | ||
| Pentágono | 0.778 | 0.736 | 0.815 | 0.775 | 0.736 | 0.815 | ||
| Rombo | 0.674 | 0.613 | 0.727 | 0.667 | 0.611 | 0.722 | ||
| Triangulo | 0.704 | 0.641 | 0.758 | 0.736 | 0.689 | 0.758 |
A pesar de que los índices de consistencia interna de algunas subescalas podrían parecer bajos, no debemos olvidar que Triangulo, Estrella y Cuadrado tienen entre 4 y 5 ítems respectivamente, por lo que los resultados no son nada despreciables. Asimismo, destacan los índices obtenidos en las subescalas de Elipse e Infinito, mostrando valores muy prometedores a pesar de contener solo 7 ítems cada una, mientras que la subescala Rombo, la cual tiene el mismo número de ítems, presenta un valor moderado. Futuras líneas de investigación se deberán centrar en el análisis pormenorizado del contenido de los ítems con el fin de poder mejorar los índices de consistencia interna para cada subescala y en el cuestionario en general.
Respecto a los índices de consistencia interna empleados, la aplicación de la Alfa de Cronbach implica el cumplimiento de ciertas asunciones como la Unidimensionalidad, la Tau-equivalencia o la No-correlación de los errores (Ventura-León, 2019). De este modo, se calculó de forma complementaria el Omega de McDonald para evitar una sobreestimación de los valores de consistencia interna, siendo el Omega más adecuado cuando no se cumplen algunos de los supuestos que requiere Alfa (Trizano-Hermosilla & Alvarado, 2016). En general, ambos índices presentan resultados similares.
Por otro lado, en este análisis no se han mostrado “indicadores globales” de consistencia interna para el cuestionario, dado que la teoría del Geniotipo considera que cada perfil o arquetipo es distinto al resto, a pesar de compartir algunas características comunes. En otras palabras, no tiene sentido calcular la consistencia interna para un factor general. De hecho, se llevó a cabo un cálculo de la Omega jerárquica mediante el programa R, versión 4.1.2, para valorar la consistencia interna de un modelo multidimensional jerárquico, obteniendo un valor global de apenas 0.46. Asimismo, la solución factorial propuesta por el análisis de la Omega jerárquica no coincidía con el 4º modelo factorial obtenido en el AFC. En definitiva, los Geniotipos son muy distintos entre sí y estudiarlos por separado nos permite capturar con mayor precisión la fiabilidad que puede llegar a tener cada uno de los perfiles. De esta forma, analizarlo como un todo podría ser un error sustantiva y metodológicamente hablando, y por ese motivo se decidió llevar a cabo un cálculo independiente de la consistencia interna para cada una de las subescalas.
3.3 Fiabilidad Test y Re-Test de la prueba
Para valorar la estabilidad temporal de la prueba se volvió a administrar el cuestionario a 48 voluntarios de la muestra de estudio, 3 meses después de la primera administración. A continuación, se indican los índices del Intervalo de Correlación Intraclase (ICC) para medidas individuales con el objetivo de valorar el grado de estabilidad temporal de las puntuaciones. El programa estadístico que se empleó para llevar a cabo el presente análisis ha sido el software SPSS en su versión 15.0.
| Subescala | ICC | [95% Conf. Interval] | |
| Círculo | 0.674 | 0.448 | 0.812 |
| Cuadrado | 0.693 | 0.509 | 0.815 |
| Elipse | 0.754 | 0.598 | 0.854 |
| Estrella | 0.479 | 0.229 | 0.670 |
| Infinito | 0.670 | 0.475 | 0.820 |
| Pentágono | 0.790 | 0.655 | 0.876 |
| Rombo | 0.824 | 0.707 | 0.897 |
| Triangulo | 0.744 | 0.584 | 0.848 |
Los índices ICC recogidos en la tabla nos indican la existencia de una buena estabilidad temporal en las subescalas “Rombo y Pentágono”, mientras que en las subescalas restantes se obtiene valores moderados. Sin embargo, la subescala que muestra una peor estabilidad temporal de las puntuaciones es “Estrella”, con un índice ICC menor de 0.5. Cabe mencionar que a la hora de efectuar el análisis de estabilidad temporal se tuvo que lidiar con algunas complicaciones que podrían explicar el margen de mejora de los resultados obtenidos:
En primer lugar, solo un 17% de los participantes efectuaron la segunda evaluación para evaluar la estabilidad temporal de las puntuaciones, perdiendo potencia estadística al ser una muestra más pequeña que la inicial. Dicho en otras palabras, quizás hubiera diferencias individuales no controladas que pudieran explicar los resultados observados. En segundo lugar, algunos usuarios reconocieron haber respondido la prueba de forma mecánica y con poco interés durante la segunda administración. Otros reconocieron acordarse de la mayoría de sus respuestas, por lo contestaron la prueba únicamente buscando obtener su perfil del Geniotipo, en lugar de responder de forma honesta a todos los ítems de la prueba.
En tercer lugar, la subescala Estrella mostró ser algo controvertida, dado que muchos usuarios obtuvieron resultados altos en la primera administración de la prueba, sobreestimando sus habilidades personales en dicho perfil del Geniotipo. Curiosamente, durante la segunda administración del cuestionario observamos una tendencia inversa en las puntuaciones (subestimación), lo que explicaría su baja estabilidad temporal. Asimismo, los bajos índices encontrados en dicha subescala también podrían deberse a que solo contiene 4 ítems, por lo que una mínima variación en las puntuaciones podría zarandear enormemente la estabilidad temporal. En definitiva, deberían realizarse futuros análisis test y re-test para corroborar o no dicha hipótesis.
4. Construcción de los Baremos
Para el proceso de tipificación, se recogieron datos de un nuevo grupo de usuarios españoles, mediante un método de muestreo de cadena o bola de nieve (llamamiento a través de las redes sociales), para asegurar la robustez y estabilidad de los baremos resultantes. Se confeccionaron las tablas de los baremos en función del sexo del usuario (hombres y mujeres). La muestra normativa está conformada por 727 personas, 156 hombres y 571 mujeres, con edades entre los 18 y 70 años. Cabe mencionar que, en dicha muestra normativa, se incluyen las puntuaciones de cada subescala obtenidas en la muestra de 291 participantes que hicieron posible el análisis estadístico previo. También participaron, en el proceso de recogida de datos para la tipificación, 120 usuarios de otros países, generalmente de Latinoamérica, pero fueron descartados para la construcción de los baremos.
La mayoría de los participantes de la muestra normativa provinieron de la comunidad autónoma de Cataluña (465). También hubo presencia de otras comunidades autónomas, aunque en menor representatividad: Andalucía (46), Aragón (5), Asturias (3), Baleares (11), Canarias (22), Cantabria (5), Castilla la Mancha (10), Castilla y león (19), Ceuta y Melilla (1), Comunidad Valenciana (43), Extremadura (4), Galicia (8), La Rioja (5), Madrid (49), Murcia (10), Navarra (11) y País Vasco (10).
Para la tipificación de los resultados se emplearon baremos centiles, los cuales asignan a cada puntuación de la prueba un rango percentil. Cada rango indica el porcentaje de personas que obtienen puntuaciones inferiores si tomamos una puntuación directa como referencia (Abad et al., 2014). Los percentiles fueron calculados mediante el programa estadístico SPSS versión 15.0. Finalmente, el equipo del proyecto se reunió para establecer una serie de puntos de corte para determinar el grado de manifestación del constructo evaluado:
Finalmente, presentamos las tablas de conversión de las puntuaciones directas a percentiles, en función del sexo:
Tabla percentiles Hombres
| Circulo | Cuadrado | Pentágono | Triangulo | Rombo | Infinito | Elipse | Estrella | ||
| N | Válidos | 156 | 156 | 156 | 156 | 156 | 156 | 156 | 156 |
| Perdidos | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| Percentiles | 5 | 6,00 | ,00 | 1,00 | 1,00 | 3,00 | 2,00 | 5,00 | ,00 |
| 10 | 7,00 | ,00 | 1,00 | 1,00 | 4,00 | 3,00 | 7,00 | ,00 | |
| 15 | 8,00 | 1,00 | 2,00 | 2,00 | 5,00 | 5,00 | 9,00 | ,00 | |
| 20 | 8,00 | 1,00 | 3,00 | 2,40 | 6,00 | 6,00 | 10,00 | 1,00 | |
| 25 | 9,00 | 1,25 | 3,00 | 3,00 | 6,00 | 7,00 | 11,00 | 1,00 | |
| 30 | 10,00 | 2,00 | 4,00 | 3,00 | 6,10 | 8,00 | 12,00 | 1,00 | |
| 35 | 11,00 | 2,00 | 4,00 | 3,00 | 7,00 | 9,00 | 13,00 | 2,00 | |
| 40 | 11,00 | 3,00 | 4,00 | 4,00 | 7,00 | 9,00 | 14,00 | 2,00 | |
| 45 | 12,00 | 3,00 | 5,00 | 4,00 | 8,00 | 10,00 | 15,00 | 2,00 | |
| 50 | 12,00 | 4,00 | 6,00 | 5,00 | 8,00 | 11,00 | 15,00 | 2,00 | |
| 55 | 13,00 | 4,00 | 6,00 | 5,00 | 9,00 | 11,00 | 16,00 | 3,00 | |
| 60 | 13,00 | 4,00 | 7,00 | 5,00 | 9,00 | 12,00 | 16,00 | 3,00 | |
| 65 | 14,00 | 5,00 | 8,00 | 6,00 | 10,00 | 13,00 | 17,00 | 3,00 | |
| 70 | 14,00 | 5,00 | 8,00 | 6,00 | 10,00 | 14,00 | 18,00 | 4,00 | |
| 75 | 14,00 | 6,00 | 9,00 | 6,00 | 11,00 | 14,00 | 19,00 | 4,00 | |
| 80 | 15,00 | 6,00 | 10,00 | 7,00 | 11,00 | 15,00 | 19,00 | 4,00 | |
| 85 | 16,00 | 7,00 | 11,00 | 8,00 | 12,00 | 16,00 | 20,00 | 5,00 | |
| 90 | 16,00 | 8,00 | 12,00 | 9,00 | 13,00 | 17,00 | 20,00 | 5,00 | |
| 93 | 17,00 | 13,00 | 10,00 | 14,00 | |||||
| 95 | 18,00 | 9,00 | 14,00 | 11,00 | 15,00 | 18,00 | 21,00 | 6,00 | |
| 96 | 10,00 | 16,00 | |||||||
| 97 | 11,00 | 15,00 | 19,00 | 7,00 | |||||
| 98 | 12,00 | 17,00 | |||||||
| 99 | > 20,00 | > 13,00 | > 16,00 | 12,00 | 18,00 | > 20,00 | 21,00 | > 8,00 |
Nota* = valores iguales o superiores obtienen el percentil 99
Tabla percentiles Mujeres
| Circulo | Cuadrado | Pentágono | Triangulo | Rombo | Infinito | Elipse | Estrella | ||
| N | Válidos | 571 | 571 | 571 | 571 | 571 | 571 | 571 | 571 |
| Perdidos | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | |
| Percentiles | 5 | 7,00 | ,00 | ,00 | 1,00 | 4,00 | 5,00 | 7,00 | ,00 |
| 10 | 8,00 | ,00 | ,00 | 1,00 | 5,00 | 7,00 | 9,00 | ,00 | |
| 15 | 10,00 | 1,00 | 1,00 | 2,00 | 6,00 | 8,00 | 10,00 | ,00 | |
| 20 | 10,00 | 1,00 | 2,00 | 2,00 | 7,00 | 9,00 | 11,00 | ,00 | |
| 25 | 11,00 | 1,00 | 2,00 | 2,00 | 8,00 | 10,00 | 12,00 | 1,00 | |
| 30 | 12,00 | 1,00 | 3,00 | 3,00 | 8,00 | 11,00 | 12,00 | 1,00 | |
| 35 | 12,00 | 2,00 | 3,00 | 3,00 | 9,00 | 11,00 | 13,00 | 1,00 | |
| 40 | 12,00 | 2,00 | 4,00 | 3,00 | 9,00 | 12,00 | 14,00 | 1,00 | |
| 45 | 13,00 | 2,00 | 4,00 | 3,00 | 10,00 | 12,00 | 14,00 | 1,00 | |
| 50 | 13,00 | 3,00 | 5,00 | 4,00 | 10,00 | 13,00 | 15,00 | 2,00 | |
| 55 | 14,00 | 3,00 | 5,00 | 4,00 | 11,00 | 13,00 | 15,00 | 2,00 | |
| 60 | 14,00 | 3,00 | 6,00 | 4,00 | 11,00 | 14,00 | 16,00 | 2,00 | |
| 65 | 15,00 | 4,00 | 6,00 | 5,00 | 12,00 | 14,00 | 17,00 | 2,00 | |
| 70 | 16,00 | 4,00 | 7,00 | 5,00 | 12,00 | 15,00 | 17,00 | 3,00 | |
| 75 | 16,00 | 5,00 | 8,00 | 6,00 | 13,00 | 16,00 | 18,00 | 3,00 | |
| 80 | 17,00 | 5,00 | 8,00 | 6,00 | 14,00 | 16,00 | 19,00 | 4,00 | |
| 85 | 17,00 | 6,00 | 9,00 | 7,00 | 14,00 | 17,00 | 20,00 | 4,00 | |
| 88 | 10,00 | ||||||||
| 90 | 18,00 | 7,00 | 11,00 | 7,00 | 15,00 | 18,00 | 20,00 | 5,00 | |
| 93 | 19,00 | 8,00 | |||||||
| 95 | 20,00 | 8,00 | 12,00 | 9,00 | 16,00 | 19,00 | 21,00 | 6,00 | |
| 96 | 7,00 | ||||||||
| 97 | 9,00 | 13,00 | 10,00 | 17,00 | |||||
| 98 | 8,00 | ||||||||
| 99 | 21,00 | *> 10,00 | *> 14,00 | *> 11,00 | 18,00 | *> 20,00 | 21,00 | *> 9,00 |
Nota* = valores iguales o superiores obtienen el percentil 99
Referencias bibliográficas
Abad, F. J., Olea, J., Ponsoda, V., & García, C. (2014). Medición en ciencias sociales y de la salud. Síntesis. https://www.dawsonera.com/abstract/9788499586144
Hirschfeld, G., & von Brachel, R. (2014). Multiple-Group confirmatory factor analysis in R – A tutorial in measurement invariance with continuous and ordinal indicators. Practical Assessment, Research, and Evaluation, 19(7), 1-10.
Morata-Ramirez, M. Á., Holgado Tello, F. P., Barbero-García, M. I., & Mendez, G. (2015). Análisis factorial confirmatorio. Recomendaciones sobre mínimos cuadrados no ponderados en función del error Tipo I de Ji-Cuadrado y RMSEA. Acción Psicológica, 12(1), 79-90. https://doi.org/10.5944/ap.12.1.14362
Trizano-Hermosilla, I., & Alvarado, J. M. (2016). Best Alternatives to Cronbach’s Alpha Reliability in Realistic Conditions: Congeneric and Asymmetrical Measurements. Frontiers in Psychology, 7. https://doi.org/10.3389/fpsyg.2016.00769
Ventura-León, L. (2019). Is this the end for Cronbach’s alpha? Adicciones, 20(10), 80-81.
Tony Estruch 2022 © Copyright Todos los derechos reservados