Método de jerarquía de atributos
El método de jerarquía de atributos ( AHM ) es un procedimiento psicométrico basado cognitivamente desarrollado por Jacqueline Leighton, Mark Gierl y Steve Hunka en el Centro de Investigación en Medición y Evaluación Aplicadas (CRAME) de la Universidad de Alberta. El AHM es una forma de evaluación de diagnóstico cognitivo que tiene como objetivo integrar la psicología cognitiva con la medición educativa con el fin de mejorar la instrucción y el aprendizaje de los estudiantes.
Una evaluación diagnóstica cognitiva(CDA), está diseñado para medir estados de conocimiento específicos y habilidades de procesamiento cognitivo en un dominio determinado. Los resultados de un CDA arrojan un perfil de puntajes con información detallada sobre las fortalezas y debilidades cognitivas de un estudiante.
Esta retroalimentación diagnóstica cognitiva tiene el potencial de guiar a los instructores, padres y estudiantes en sus procesos de enseñanza y aprendizaje.
Para generar un perfil de habilidades de diagnóstico, las respuestas de los ítems de prueba de los examinados se clasifican en un conjunto de patrones de atributos estructurados que se derivan de los componentes de un modelo cognitivo del desempeño de la tarea. El modelo cognitivo contiene atributos, que se definen como una descripción del conocimiento procesal o declarativo que necesita un examinado para responder correctamente a un elemento de prueba dado.
Las interrelaciones entre los atributos se representan mediante una estructura jerárquica, por lo que se especifica el orden de las habilidades cognitivas. Este modelo proporciona un marco para diseñar elementos de diagnóstico basados en atributos, que vincula el rendimiento de la prueba de los examinados con inferencias específicas sobre el conocimiento y las habilidades de los examinados.
Diferencias entre el AHM y el método del espacio de reglas
El AHM difiere del Método del espacio de reglas de Tatsuoka (RSM) con el supuesto de dependencias entre los atributos dentro del modelo cognitivo. En otras palabras, el AHM se derivó de RSM al suponer que algunas o todas las habilidades pueden representarse en orden jerárquico. El modelado de atributos cognitivos utilizando el AHM requiere la especificación de una jerarquía que describa las dependencias entre los atributos.
Como tal, la jerarquía de atributos sirve como modelo cognitivo del desempeño de la tarea diseñado para representar los procesos cognitivos interrelacionados requeridos por los examinados para resolver los elementos de prueba. Esta suposición refleja mejor las características de la cognición humana porque los procesos cognitivos generalmente no funcionan de forma aislada sino que funcionan dentro de una red de competencias y habilidades interrelacionadas.
En contraste, el RSM no hace suposiciones con respecto a las dependencias entre los atributos. Esta diferencia ha llevado al desarrollo deprocedimientos psicométricos basados en IRT y no basados en IRT para analizar las respuestas a los ítems de la prueba utilizando el AHM. El AHM también difiere del RSM con respecto a la identificación de los atributos cognitivos y la lógica subyacente a las inferencias de diagnóstico realizadas a partir del análisis estadístico.
Identificación de los atributos cognitivos
El RSM utiliza un enfoque post-hoc para la identificación de los atributos necesarios para resolver con éxito cada elemento en una prueba existente. Por el contrario, el AHM utiliza un enfoque a priori para identificar los atributos y especificar sus interrelaciones en un modelo cognitivo.
Inferencias de diagnóstico del análisis estadístico
El RSM utiliza la clasificación de patrones estadísticos donde los patrones de respuesta observados de los examinados se corresponden con los patrones de respuesta predeterminados que corresponden a un estado cognitivo o de conocimiento particular. Cada estado representa un conjunto de reglas correctas e incorrectas utilizadas para responder los ítems de la prueba.
El enfoque con el RSM es la identificación de reglas erróneas o conceptos erróneos. El AHM, por otro lado, utiliza el reconocimiento de patrones estadísticos donde los patrones de respuesta observados de los examinados se comparan con patrones de respuesta que son consistentes con la jerarquía de atributos.
El propósito del reconocimiento de patrones estadísticos es identificar las combinaciones de atributos que es probable que posea el examinado. Por lo tanto, el AHM no identifica reglas incorrectas o conceptos erróneos como en el RSM.
Diseño de prueba con principios
El AHM utiliza un enfoque centrado en la construcción para probar el desarrollo y el análisis. Centrado en el constructo enfatiza el papel central del constructo en la dirección de las actividades de desarrollo de pruebas y análisis. La ventaja de este enfoque es que las inferencias hechas sobre el desempeño del estudiante están firmemente basadas en la construcción especificada.
El diseño de prueba basado en principios abarca 3 etapas amplias:
Desarrollo del modelo cognitivo
Desarrollo de prueba
Análisis psicométrico.
El desarrollo del modelo cognitivo comprende la primera etapa del proceso de diseño de la prueba. Durante esta etapa, el conocimiento cognitivo, los procesos y las habilidades se identifican y organizan en una jerarquía de atributos o modelo cognitivo. Esta etapa también abarca la validación del modelo cognitivo antes de la etapa de desarrollo de la prueba.
El desarrollo de la prueba comprende la segunda etapa del proceso de diseño de la prueba. Durante esta etapa, los elementos se crean para medir cada atributo dentro del modelo cognitivo mientras se mantienen las dependencias modeladas entre los atributos.
El análisis psicométrico comprende la tercera etapa en el proceso de diseño de la prueba. Durante esta etapa, se evalúa el ajuste del modelo cognitivo en relación con las respuestas observadas de los examinados para determinar la idoneidad del modelo para explicar el rendimiento de la prueba. Luego se analizan las respuestas de los ítems de la prueba del examinado y se crean perfiles de habilidades de diagnóstico que destacan las fortalezas y debilidades cognitivas del examinado.
Desarrollo del modelo cognitivo
Qué es un modelo cognitivo?
Un análisis AHM debe comenzar con la especificación de un modelo cognitivo del desempeño de la tarea. Un modelo cognitivo en la medición educativa se refiere a una «descripción simplificada de la resolución de problemas humanos en tareas educativas estandarizadas, que ayuda a caracterizar el conocimiento y las habilidades que han adquirido los estudiantes en diferentes niveles de aprendizaje y facilitar la explicación y predicción del desempeño de los estudiantes».
Estas habilidades cognitivas, conceptualizadas como un atributo en el marco de AHM, se especifican en un tamaño de grano pequeño para generar inferencias de diagnóstico específicas que subyacen al rendimiento de la prueba. Los atributos incluyen diferentes procedimientos, habilidades y / o procesos que un examinado debe poseer para resolver un elemento de prueba.
Luego, estos atributos se estructuran utilizando una jerarquía, por lo que se especifica el orden de las habilidades cognitivas.
El modelo cognitivo puede ser representado por varias estructuras jerárquicas. En general, hay cuatro formas generales de estructuras jerárquicas que se pueden expandir y combinar fácilmente para formar redes de jerarquías cada vez más complejas donde la complejidad cognitiva corresponde a la naturaleza de la tarea de resolución de problemas.
Las cuatro formas jerárquicas incluyen: a) lineal, b) convergente, c) divergente yd) no estructurado.
Cómo se crean y validan los modelos cognitivos?
Las teorías del desempeño de la tarea pueden usarse para derivar modelos cognitivos del desempeño de la tarea en un dominio de materia. Sin embargo, la disponibilidad de estas teorías sobre el desempeño de tareas y los modelos cognitivos en educación es limitada. Por lo tanto, se utilizan otros medios para generar modelos cognitivos.
Un método es el uso de un análisis de tareas de elementos de prueba representativos de un dominio de materia. Un análisis de tareas representa un modelo cognitivo hipotético de desempeño de tareas, donde se especifican los probables conocimientos y procesos utilizados para resolver el ítem de prueba.
Un segundo método consiste en hacer que los examinados piensen en voz alta mientras resuelven los elementos de prueba para identificar el conocimiento, los procesos y las estrategias reales generados por la tarea. El informe verbal recopilado a medida que los examinados hablan en voz alta puede contener el conocimiento, las habilidades y los procedimientos relevantes utilizados para resolver el elemento de prueba.
Estos conocimientos, habilidades y procedimientos se convierten en los atributos del modelo cognitivo, y su secuencia temporal documentada en el informe verbal proporciona el orden jerárquico. Un modelo cognitivo derivado del análisis de una tarea puede validarse y, si es necesario, modificarse utilizando informes verbales examinados recopilados de estudios de pensamiento en voz alta.
Por qué es importante la precisión del modelo cognitivo?
Un modelo cognitivo preciso es crucial por dos razones. Primero, un modelo cognitivo proporciona el marco interpretativo para vincular las interpretaciones de puntaje de la prueba con las habilidades cognitivas. Es decir, el desarrollador de la prueba está en una mejor posición para hacer afirmaciones defendibles sobre el conocimiento, las habilidades y los procesos de los estudiantes que explican el rendimiento de la prueba.
En segundo lugar, un modelo cognitivo proporciona un vínculo entre la psicología cognitiva y de aprendizaje con la instrucción. Con base en el patrón de respuesta observado de un examinado, se puede proporcionar información detallada sobre las fortalezas y debilidades cognitivas de un examinado a través de un informe de puntaje.
Esta información de diagnóstico se puede usar para informar la instrucción adaptada al examinado, con el objetivo de mejorar o remediar habilidades cognitivas específicas.
Un ejemplo de un modelo cognitivo
La siguiente jerarquía es un ejemplo del desempeño de una tarea de modelo cognitivo para el conocimiento y las habilidades en las áreas de razón, factorización, función y sustitución (denominada jerarquía de proporciones y álgebra). Esta jerarquía es divergente y se compone de nueve atributos que se describen a continuación.
Si se supone que el modelo cognitivo es verdadero, se supone que un examinado que ha dominado el atributo A3 ha dominado los atributos debajo de él, es decir, los atributos A1 y A2. Por el contrario, si un examinado ha dominado el atributo A2, entonces se espera que el examinado haya dominado el atributo A1 pero no A3.
La jerarquía contiene dos ramas independientes que comparten un requisito previo común: el atributo A1. Además del atributo A1, la primera rama incluye dos atributos adicionales, A2 y A3, y la segunda rama incluye una sub-jerarquía autónoma que incluye los atributos A4 a A9. Tres ramas independientes componen la sub-jerarquía:
Atributos A4, A5, A6; atributos A4, A7, A8; y atributos A4, A9. Como atributo de prerrequisito, el atributo A1 incluye las habilidades de operación aritmética más básicas, como la suma, resta, multiplicación y división de números. Los atributos A2 y A3 tratan ambos factores. En el atributo A2, el examinado necesita tener conocimiento sobre la propiedad de los factores..
En el atributo A3, el examinado no solo requiere conocimiento de factorización (es decir, atributo A2), sino también la habilidad de aplicar las reglas de factorización. Por lo tanto, el atributo A3 se considera un atributo más avanzado que el A2.
La sub-jerarquía autónoma contiene seis atributos. Entre estos atributos, el atributo A4 es el requisito previo para todos los demás atributos en la sub-jerarquía. El atributo A4 tiene el atributo A1 como requisito previo porque A4 no solo representa habilidades básicas en operaciones aritméticas (es decir, el atributo A1), sino que también implica la sustitución de valores en expresiones algebraicas que es más abstracta y, por lo tanto, más difícil que el atributo A1.
La primera rama en la sub-jerarquía trata, principalmente, con la lectura de gráficos funcionales. Para el atributo A5, el examinado debe poder mapear el gráfico de una función familiar con su función correspondiente. En un elemento que requiere el atributo A5 (p. Ej., El elemento 4), el atributo A4 generalmente se requiere porque el examinado debe encontrar puntos aleatorios en el gráfico y sustituir los puntos en la ecuación de la función para encontrar una coincidencia entre el gráfico y la función.
El atributo A6, por otro lado, se ocupa de las propiedades abstractas de las funciones, como reconocer la representación gráfica de la relación entre variables independientes y dependientes. Los gráficos para funciones menos familiares, como una función de polinomios de mayor potencia, pueden estar involucrados.
Por lo tanto, el atributo A6 se considera más difícil que el atributo A5 y se coloca debajo del atributo A5 en la sub-jerarquía.
La segunda rama en la sub-jerarquía considera las habilidades asociadas con la sustitución avanzada. El atributo A7 requiere que el examinado sustituya los números en expresiones algebraicas. La complejidad del atributo A7 en relación con el atributo A4 radica en la gestión concurrente de múltiples pares de números y múltiples ecuaciones.
El atributo A8 también representa las habilidades de sustitución avanzada. Sin embargo, lo que hace que el atributo A8 sea más difícil que el atributo A7 es que las expresiones algebraicas, en lugar de los números, deben sustituirse por otra expresión algebraica. La última rama en la sub-jerarquía contiene solo un atributo adicional, A9, relacionado con las habilidades asociadas con la comprensión y aplicación de reglas..
Es la regla, más que el valor numérico o la expresión algebraica, lo que debe sustituirse en el elemento para llegar a una solución.
Representación del modelo cognitivo
La jerarquía de atributos Ratio y Algebra también se puede expresar en forma de matriz. Para comenzar, la relación directa entre los atributos se especifica mediante una matriz de adyacencia binaria (A) de orden (k, k), donde k es el número de atributos, de modo que cada elemento en la matriz A representa la ausencia (es decir, 0 ) o presencia (es decir, 1) de una conexión directa entre dos atributos.
La matriz A para la jerarquía de relación y álgebra presentada se muestra a continuación.
Cada fila y columna, la matriz A representa un atributo; la primera fila y columna representa el atributo A1 y la última fila y columna representa el atributo A9. La presencia de un 1 en una fila particular denota una conexión directa entre ese atributo y el atributo correspondiente a la posición de la columna.
Por ejemplo, el atributo A1 está directamente conectado al atributo A2 debido a la presencia de un 1 en la primera fila (es decir, el atributo A1) y la segunda columna (es decir, el atributo A2). Las posiciones de 0 en la fila 1 indican que A1 no está directamente conectado a sí mismo ni a los atributos A3 y A5 a A9.
Las relaciones directas e indirectas entre los atributos están especificadas por la matriz de accesibilidad binaria (R) de orden (k, k), donde k es el número de atributos. Para obtener la matriz R de la matriz A, se realizan operaciones de suma y multiplicación booleanas en la matriz de adyacencia, lo que significa{\ displaystyle R = (A I) ^ {n}}{\ displaystyle R = (A I) ^ {n}}donde n es el número entero requerido para alcanzar la invariancia,{\ displaystyle n = 1,2, \ cdots, m}{\ displaystyle n = 1,2, \ cdots, m}, y yo es la matriz de identidad.
La matriz R para la jerarquía de Razón y Álgebra se muestra a continuación.
Displaystyle {\begin{bmatrix}&1&1&1&1&1&1&1&1\\&1&1&0&0&0&0&0&0\\&0&1&0&0&0&0&0&0\\&0&0&1&1&1&1&1&1\\&0&0&0&1&1&0&0&0\\&0&0&0&0&1&0&0&0\\&0&0&0&0&0&1&1&0\\&0&0&0&0&0&0&1&0\\&0&0&0&0&0&0&0&1\end{bmatrix}}}{\ Displaystyle {\ begin {bmatrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 1 y 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 y 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 0 & 0 & 0 & 1 & 1 y 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 y 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 y 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 y 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 \ end {bmatrix}}}
Similar a la matriz A, cada fila y columna en la matriz representa un atributo; la primera fila y columna representa el atributo A1 y la última fila y columna representa el atributo A9. El primer atributo está conectado directa o indirectamente a todos los atributos A1 a A9. Esto se representa por la presencia de 1 en todas las columnas de la fila 1 (es decir, que representa el atributo A1).
En la matriz R, un atributo se considera relacionado consigo mismo, lo que resulta en 1 a lo largo de la diagonal principal. Volviendo a la jerarquía, se muestra que el atributo A1 está directamente conectado al atributo A2 e indirectamente a A3 a través de su conexión con A2. El atributo A1 está conectado indirectamente a los atributos A5 a A9 a través de su conexión con A4.
El conjunto potencial de elementos está representado por la matriz de incidencia (Q) matriz de orden ( k, p ), donde k es el número de atributos y p es el número de elementos potenciales. Este conjunto de elementos representa todas las combinaciones de los atributos cuando los atributos son independientes entre sí.
Sin embargo, este conjunto de elementos se puede reducir para formar la matriz de incidencia reducida (Q r ), imponiendo las restricciones de la jerarquía de atributos tal como se define en la matriz R. La matriz Q r representa elementos que capturan las dependencias entre los atributos definidos en la jerarquía de atributos.
El Q rLa matriz se forma utilizando la inclusión booleana determinando qué columnas de la matriz R se incluyen lógicamente en cada columna de la matriz Q. La matriz Q r es de orden ( k,) donde k es el número de atributos e i es el número reducido de elementos resultantes de las restricciones en la jerarquía.
Para la jerarquía Ratio y Algebra, la matriz Q r se muestra a continuación.
Displaystyle {\begin{bmatrix}&1&1&1&1&1&1&1&1\\&1&1&0&0&0&0&0&0\\&0&1&0&0&0&0&0&0\\&0&0&1&1&1&1&1&1\\&0&0&0&1&1&0&0&0\\&0&0&0&0&1&0&0&0\\&0&0&0&0&0&1&1&0\\&0&0&0&0&0&0&1&0\\&0&0&0&0&0&0&0&1\end{bmatrix}}}{\ Displaystyle {\ begin {bmatrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 1 y 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 y 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 0 & 0 & 0 & 1 & 1 y 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 y 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 1 y 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 y 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 \ end {bmatrix}}}
La matriz Q r sirve un importante plan de desarrollo de elementos de prueba donde los elementos se pueden crear para medir cada combinación específica de atributos. De esta manera, cada componente del modelo cognitivo puede evaluarse sistemáticamente. En este ejemplo, se requieren un mínimo de 9 elementos para medir todas las combinaciones de atributos especificadas en la matriz Q r.
Los patrones de respuesta esperados del examinado ahora se pueden generar utilizando la matriz Q r. Un examinado esperado se conceptualiza como un examinado hipotético que responde correctamente los ítems que requieren atributos cognitivos que el examinado ha dominado. La matriz de respuesta esperada (E) se crea, mediante la inclusión booleana, comparando cada fila de la matriz de patrones de atributos (que es la transposición de la matriz Q r ) con las columnas de la matriz Q r.
La matriz de respuesta esperada es de orden ( j, i ), donde j es el número de examinados e i es el número reducido de elementos resultantes de las restricciones impuestas por la jerarquía. La matriz E para la jerarquía de Razón y Álgebra se muestra a continuación.
Displaystyle {\begin{bmatrix}&0&0&0&0&0&0&0&0\\&0&0&0&0&0&0&0&0\\&1&0&0&0&0&0&0&0\\&1&1&0&0&0&0&0&0\\&0&0&1&0&0&0&0&0\\&1&0&1&0&0&0&0&0\\&1&1&1&0&0&0&0&0\\&0&0&1&1&0&0&0&0\\&1&0&1&1&0&0&0&0\\&1&1&1&1&0&0&0&0\\&0&0&1&1&1&0&0&0\\&1&0&1&1&1&0&0&0\\&1&0&1&1&1&0&0&0\\&0&0&1&0&0&1&0&0\\&1&0&1&0&0&1&0&0\\&1&1&1&0&0&1&0&0\\&0&0&1&1&0&1&0&0\\&1&0&1&1&0&1&0&0\\&1&1&1&1&0&1&0&0\\&0&0&1&1&1&1&0&0\\&1&0&1&1&1&1&0&0\\&1&1&1&1&1&1&0&0\\&0&0&1&0&0&1&1&0\\&1&0&1&0&0&1&1&0\\&1&1&1&1&0&1&0&0\\&0&0&1&1&0&1&1&0\\&1&0&1&1&0&1&1&0\\&1&1&1&1&0&1&1&0\\&0&0&1&1&1&1&1&0\\&1&0&1&1&1&1&1&0\\&1&1&1&1&1&1&1&0\\&0&0&1&0&0&0&0&1\\&1&0&1&0&0&0&0&1\\&1&1&1&0&0&0&0&1\\&0&0&1&1&0&0&0&1\\&1&0&1&1&0&0&0&1\\&1&1&1&1&0&0&0&1\\&0&0&1&1&1&0&0&1\\&1&0&1&1&1&0&0&1\\&1&1&1&1&1&0&0&1\\&0&0&1&0&0&1&0&1\\&1&0&1&0&0&1&0&1\\&1&1&1&0&0&1&0&1\\&0&0&1&1&0&1&0&1\\&1&0&1&1&0&1&0&1\\&1&1&1&1&0&1&0&1\\&0&0&1&1&1&1&0&1\\&1&0&1&1&1&1&0&1\\&1&1&1&1&1&1&0&1\\&0&0&1&0&0&1&1&1\\&1&0&1&0&0&1&1&1\\&1&1&1&0&0&1&1&1\\&0&0&1&1&0&1&1&1\\&1&0&1&1&0&1&1&1\\&1&1&1&1&0&1&1&1\\&0&0&1&1&1&1&1&1\\&1&0&1&1&1&1&1&1\\&1&1&1&1&1&1&1&1\end{bmatrix}}}{\ Displaystyle {\ begin {bmatrix} 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 1 y 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 1 & 1 y 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 1 & 1 & 1 y 0 & 0 & 0 & 0 & 0 & 0 \\ 1 y 0 y 0 y 1 y 0 & 0 & 0 & 0 & 0 \\ 1 & 1 y 0 y 1 y 0 & 0 & 0 & 0 & 0 \\ 1 & 1 & 1 & 1 y 0 & 0 & 0 & 0 & 0 \\ 1 y 0 y 0 y 1 & 1 y 0 & 0 & 0 & 0 \\ 1 & 1 y 0 y 1 & 1 y 0 & 0 & 0 & 0 \\ 1 & 1 & 1 & 1 & 1 y 0 & 0 & 0 & 0 \\ 1 y 0 y 0 y 1 & 1 & 1 y 0 & 0 & 0 \\ 1 & 1 y 0 y 1 & 1 & 1 y 0 & 0 & 0 \\ 1 & 1 y 0 y 1 & 1 & 1 y 0 & 0 & 0 \\ 1 y 0 y 0 y 1 y 0 y 0 y 1 y 0 y 0 \ \ 1 y 1 y 0 y 1 y 0 y 0 y 1 y 0 y 0 \\ 1 y 1 y 1 y 1 y 0 y 0 y 1 y 0 y 0 \\ 1 y 0 y0 y 1 y 1 y 0 y 1 y 0 y 0 \\ 1 y 1 y 0 y 1 y 1 y 0 y 1 y 0 y 0 \\ 1 y 1 y 1 y 1 y 1 y 0 y 1 y 0 y 0 \\ 1 y 0 y 0 y 1 y 1 y 1 y 1 y 0 y 0 \\ 1 y 1 y 0 y 1 y 1 y 1 y 1 y 0 y 0 \\ 1 y 1 y 1 y 1 y 1 y 1 y 1 y 0 y 0 \\ 1 y 0 y 0 y 1 y 0 y 0 y 1 y 1 y 0 \\ 1 y 1 y 0 y 1 y 0 y 0 y 1 y 1 y 0 \\ 1 y 1 y 1 y 1 y 1 y 0 y 1 y 0 y 0 \\ 1 y 0 y 0 y 1 y 1 y 0 y 1 y 1 y 0 \\ 1 y 1 y 0 y 1 y 1 y 0 y 1 y 1 y 0 \\ 1 y 1 y 1 y 1 y 1 y 0 y 1 y 1 y 0 \\ 1 y 0 y 0 y 1 y 1 y 1 y 1 y 1 y 0 \\ 1 y 1 y 0 y 1 y 1 y 1 y 1 y 1 y 0 \\ 1 y 1 y 1 y 1 y 1 y 1 y 1 y 1 y 0 \\ 1 y 0 y 0 y 1 y 0 & 0 & 0 & 0 & 1 \\ 1 y 1 y 0 y 1 y 0 & 0 & 0 & 0 &1 \\ 1 & 1 & 1 & 1 y 0 & 0 & 0 & 0 & 1 \\ 1 y 0 y 0 y 1 & 1 y 0 & 0 & 0 & 1 \\ 1 & 1 y 0 y 1 & 1 y 0 & 0 & 0 & 1 \\ 1 & 1 & 1 & 1 & 1 y 0 & 0 & 0 & 1 \\ 1 y 0 y 0 y 1 & 1 & 1 y 0 y 0 y 1 \\ 1 & 1 y 0 y 1 & 1 & 1 y 0 y 0 y 1 \\ 1 & 1 & 1 & 1 & 1 & 1 y 0 y 0 y 1 \\ 1 y 0 y 0 y 1 y 0 y 0 y 1 y 0 y 1 \\ 1 & 1 y 0 y 1 y 0 y 0 y 1 y 0 y 1 \\ 1 & 1 & 1 & 1 y 0 y 0 y 1 y 0 y 1 \\ 1 y 0 y 0 y 1 & 1 y 0 y 1 y 0 y 1 \\ 1 & 1 y 0 y 1 & 1 y 0 y 1 y 0 y 1 \\ 1 & 1 & 1 & 1 & 1 y 0 y 1 y 0 y 1 \\ 1 y 0 y 0 y 1 & 1 & 1 & 1 y 0 y 1 \\ 1 & 1 y 0 y 1 & 1 & 1 & 1 y 0 y 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 y 0 y 1 \ \ 1 y 0 y 0 y 1 y 0 y 0 y1 & 1 & 1 \\ 1 & 1 y 0 y 1 y 0 y 0 y 1 & 1 & 1 \\ 1 & 1 & 1 & 1 y 0 y 0 y 1 & 1 & 1 \\ 1 y 0 y 0 y 1 & 1 y 0 y 1 & 1 & 1 \\ 1 & 1 y 0 y 1 & 1 y 0 y 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 y 0 y 1 & 1 & 1 \\ 1 y 0 y 0 y 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 y 0 y 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \ end {bmatrix}}} \ end {bmatrix}}} \ end {bmatrix}}}
Si el modelo cognitivo es verdadero, los examinados que escriben estos artículos basados cognitivamente deberían producir 58 patrones únicos de respuesta a los ítems. Por lo general, se agrega una fila de 0 a la matriz E que representa a un examinado que no ha dominado ningún atributo. Para resumir, si el patrón de atributos del examinado contiene los atributos requeridos por el ítem, entonces se espera que el examinado responda el ítem correctamente.
Sin embargo, si el patrón de atributos del examinado no tiene uno o más de los atributos cognitivos requeridos por el ítem, no se espera que el examinado responda el ítem correctamente.
Desarrollo de prueba
Papel del modelo cognitivo en el desarrollo de ítems
El modelo cognitivo en forma de jerarquía de atributos tiene implicaciones directas para el desarrollo de ítems. Los elementos que miden cada atributo deben mantener el orden jerárquico de los atributos según lo especificado por el modelo cognitivo, al tiempo que miden procesos cognitivos cada vez más complejos.
Estos tipos de elementos pueden estar en formato de opción múltiple o de respuesta construida. Hasta la fecha, el AHM se ha utilizado con elementos que se puntúan dicotómicamente donde 1 corresponde a una respuesta correcta y 0 corresponde a una respuesta incorrecta. Por lo tanto, el rendimiento de la prueba de un alumno puede resumirse en un vector de respuestas correctas e incorrectas en forma de 1 y 0.
Este vector sirve entonces como entrada para el análisis psicométrico donde se estima el dominio de los atributos del examinado.
Enfoque para el desarrollo de elementos
Los atributos en el modelo cognitivo se especifican en un tamaño de grano fino para obtener un perfil detallado de habilidades cognitivas sobre el rendimiento de la prueba del examinado. Esto requiere muchos elementos que deben crearse para medir cada atributo en la jerarquía. Para las pruebas basadas en computadora, la generación automatizada de elementos (AIG) es un método prometedor para generar múltiples elementos «sobre la marcha» que tienen una forma y propiedades psicométricas similares utilizando una plantilla común.
Ejemplo de elementos alineados a los atributos en una jerarquía
Refiriéndose a la representación gráfica de la jerarquía de Ratio y Álgebra, se puede construir un elemento para medir las habilidades descritas en cada uno de los atributos. Por ejemplo, el atributo A1 incluye las habilidades de operación aritmética más básicas, como sumar, restar, multiplicar y dividir números.
Un elemento que mide esta habilidad podría ser el siguiente: a los examinados se les presenta la expresión algebraica{\ displaystyle 4 (t u) 3 = 19}{\ displaystyle 4 (t u) 3 = 19}y se le pidió que resolviera (t u). Para este ítem, los examinados deben restar 3 de 19 y luego dividir 16 entre 4.
El atributo A2 representa el conocimiento sobre la propiedad de los factores. Un ejemplo de un elemento que mide este atributo es «Si (p 1) (t – 3) = 0 y p es positivo, ¿cuál es el valor de t?» El examinado debe conocer la propiedad de que el valor de al menos un factor debe ser cero si el producto de múltiples factores es cero.
Una vez que se reconoce esta propiedad, el examinado podría reconocerlo porque p es positivo, (t – 3) debe ser cero para hacer que el valor de la expresión completa sea cero, lo que finalmente arrojaría el valor de 3. Para responder correctamente a este ítem, el examinado debería haber dominado los atributos A1 y A2.
El atributo A3 representa no solo el conocimiento de factorización (es decir, el atributo A2), sino también las habilidades para aplicar las reglas de factorización. Un ejemplo de un elemento que mide este atributo es «{\ displaystyle {\ mbox {If}} {\ frac {x y} {ab}} = {\ frac {2} {3}} {\ mbox {, entonces}} {\ frac {9x 9y} { 10a-b}} =?}{\ displaystyle {\ mbox {If}} {\ frac {x y} {ab}} = {\ frac {2} {3}} {\ mbox {, entonces}} {\ frac {9x 9y} { 10a-b}} =?}».
Solo después de que el examinado factoriza la segunda expresión en el producto de la primera expresión, el cálculo del valor de la segunda expresión será evidente. Para responder este ítem correctamente, el examinado debe haber dominado los atributos A1, A2 y A3.
Análisis psicométrico
Durante esta etapa, el reconocimiento de patrones estadísticos se utiliza para identificar las combinaciones de atributos que es probable que posea el examinado en función de la respuesta observada del examinado en relación con los patrones de respuesta esperados derivados del modelo cognitivo.
Evaluación del ajuste de datos del modelo
Antes de cualquier análisis posterior, el modelo cognitivo especificado debe reflejar con precisión los atributos cognitivos utilizados por los examinados. Se espera que haya discrepancias, o resbalones, entre los patrones de respuesta observados generados por un gran grupo de examinados y los patrones de respuesta esperados.
El ajuste del modelo cognitivo en relación con los patrones de respuesta observados obtenidos de los examinados se puede evaluar utilizando el Índice de Consistencia Jerárquica. La HCI evalúa el grado en que los patrones de respuesta observados son consistentes con la jerarquía de atributos. La HCI para el examinado i viene dada por:
Displaystyle HCI_ {i} = 1 – {\ frac {\ sum _ {j = 1} ^ {J} \ sum _ {g \ in s_ {j}} X_ {i_ {j}} (1-X_ { i_ {g}})} {N_ {c_ {i}}}}}{\ displaystyle HCI_ {i} = 1 – {\ frac {\ sum _ {j = 1} ^ {J} \ sum _ {g \ in s_ {j}} X_ {i_ {j}} (1-X_ { i_ {g}})} {N_ {c_ {i}}}}}
Donde J es el número total de ítems, X i j es el puntaje del examinado i (es decir, 1 o 0) al ítem j, S j incluye ítems que requieren el subconjunto de atributos del ítem j, y N c i es el total Número de comparaciones para preguntas respondidas correctamente por el examinado i.
Los valores del HCI varían de −1 a 1. Los valores más cercanos a 1 indican un buen ajuste entre el patrón de respuesta observado y los patrones de respuesta esperados del examinado generados a partir de la jerarquía. Por el contrario, los valores bajos de HCI indican una gran discrepancia entre los patrones de respuesta de examinado observados y los patrones de respuesta de examinado esperados generados a partir de la jerarquía.
Los valores de HCI superiores a 0,70 indican un buen ajuste de datos del modelo.
Por qué es importante el ajuste de datos del modelo?
Obtener un buen ajuste de datos del modelo proporciona evidencia adicional para validar la jerarquía de atributos especificada, que se requiere antes de proceder a la determinación del dominio de los atributos de un examinado. Si no se muestra que los datos se ajustan al modelo, varias razones pueden explicar la gran cantidad de discrepancias que incluyen:
Una especificación errónea de los atributos, un orden incorrecto de los atributos dentro de la jerarquía, elementos que no miden los atributos especificados y / o el modelo no refleja los procesos cognitivos utilizados por una muestra dada de examinados. Por lo tanto, el modelo cognitivo debe estar correctamente definido y estrechamente alineado con los patrones de respuesta observados para proporcionar un marco sustantivo para hacer inferencias sobre un grupo específico de conocimientos y habilidades de los examinados.
لابلب
Estimación de probabilidades de atributo
Una vez que establecemos que el modelo se ajusta a los datos, se pueden calcular las probabilidades de los atributos. El uso de probabilidades de atributo es importante en los análisis psicométricos de la AHM porque estas probabilidades brindan a los examinados información específica sobre su desempeño a nivel de atributo como parte del proceso de informe de diagnóstico.
Para estimar la probabilidad de que los examinados posean atributos específicos, dado su patrón de respuesta al ítem observado, se utiliza un enfoque de red neuronal artificial.
Breve descripción de una red neuronal
La red neuronal es un tipo de arquitectura de procesamiento paralelo que transforma cualquier estímulo recibido por la unidad de entrada (es decir, unidades de estímulo) en una señal para la unidad de salida (es decir, unidades de respuesta) a través de una serie de unidades ocultas de nivel medio. Cada unidad en la capa de entrada está conectada a cada unidad en la capa oculta y, a su vez, a cada unidad en la capa de salida.
En términos generales, una red neuronal requiere los siguientes pasos. Para comenzar, cada celda de la capa de entrada recibe un valor (0 o 1) correspondiente a los valores de respuesta en el vector ejemplar. Cada celda de entrada luego pasa el valor que recibe a cada celda oculta. Cada celda oculta forma una suma ponderada linealmente de su entrada y transforma la suma usando la función logística y pasa el resultado a cada celda de salida.
Cada celda de salida, a su vez, forma una suma ponderada linealmente de sus entradas de las celdas ocultas y la transforma utilizando la función logística, y genera el resultado. Debido a que el resultado se escala utilizando la transformación logística, los valores de salida varían de 0 a 1. El resultado puede interpretarse como la probabilidad de que el valor correcto o objetivo para cada salida tenga un valor de 1.
Los objetivos de salida en las unidades de respuesta (es decir, los atributos del examinado) se comparan con el patrón asociado con cada entrada de estímulo o ejemplo (es decir, los patrones de respuesta esperados). Es probable que la solución producida inicialmente con los pesos de conexión de estímulo y asociación sea discrepante, lo que da como resultado un error relativamente grande.
Sin embargo, este resultado discrepante se puede utilizar para modificar los pesos de conexión, lo que conduce a una solución más precisa y un término de error más pequeño. Un enfoque popular para aproximar los pesos para minimizar el término de error es con un algoritmo de aprendizaje llamado la regla delta generalizada que se incorpora en un procedimiento de entrenamiento llamado propagación de error.
Especificación de la red neuronal
El cálculo de las probabilidades de atributo comienza presentando la red neuronal con los patrones de respuesta de examinado esperados generados desde la Etapa 1, con sus patrones de atributo asociados que se derivan del modelo cognitivo (es decir, la transposición de la matriz Q r ), hasta que la red aprende cada asociación El resultado es un conjunto de matrices de peso que se utilizarán para calcular la probabilidad de que un examinado haya dominado un atributo cognitivo particular en función de su patrón de respuesta observado.
Una probabilidad de atributo cercana a 1 indicaría que el examinado probablemente ha dominado el atributo cognitivo, mientras que una probabilidad cercana a 0 indicaría que el examinado probablemente no ha dominado el atributo cognitivo.
Informar los resultados
La importancia del proceso de presentación de informes
El informe de puntaje cumple una función crítica como interfaz entre el desarrollador de la prueba y una audiencia diversa de usuarios de la prueba. Un informe de puntaje debe incluir información detallada, que a menudo es de naturaleza técnica, sobre los significados y las posibles interpretaciones de los resultados que los usuarios pueden hacer.
Las Normas para las Pruebas Educativas y Psicológicas definen claramente el papel de los desarrolladores de pruebas en el proceso de presentación de informes. El estándar 5.10 establece: Cuando la información de puntaje de la prueba se divulga a estudiantes, padres, representantes legales, maestros, clientes o medios de comunicación, los responsables de los programas de prueba deben proporcionar las interpretaciones apropiadas.
Las interpretaciones deben describir en un lenguaje simple lo que cubre el examen, lo que significan los puntajes y cómo se usarán los puntajes.
Informe de resultados de diagnóstico cognitivo utilizando el AHM
Una ventaja clave del AHM es que admite informes de puntaje de diagnóstico individualizados utilizando los resultados de probabilidad de atributo. Los informes de puntaje producidos por el AHM tienen no solo un puntaje total sino también información detallada sobre qué atributos cognitivos se midieron mediante la prueba y el grado en que los examinados han dominado estos atributos cognitivos.
Esta información de diagnóstico está directamente vinculada a las descripciones de los atributos, individualizada para cada alumno y presentada fácilmente. Por lo tanto, estos informes proporcionan comentarios de diagnóstico específicos que pueden dirigir las decisiones de instrucción. Para demostrar cómo se puede usar el AHM para informar los puntajes de las pruebas y proporcionar comentarios de diagnóstico, a continuación se presenta un informe de muestra.
En el ejemplo de la derecha, el examinado dominó los atributos A1 y A4 a A6. Se seleccionaron tres niveles de rendimiento para informar el dominio del atributo: no dominio (valor de probabilidad del atributo entre 0.00 y 0.35), dominio parcial (valor de probabilidad del atributo entre 0.36 y 0.70) y dominio (valor de probabilidad del atributo entre 0.71 y 1.00).
Los resultados en el informe de puntaje revelan que el examinado ha dominado claramente cuatro atributos, A1 (operaciones aritméticas básicas), A4 (habilidades requeridas para sustituir valores en expresiones algebraicas), A5 (las habilidades de mapear un gráfico de una función familiar con su correspondiente función) y A6 (propiedades abstractas de funciones).
El examinado no ha dominado las habilidades asociadas con los cinco atributos restantes.
Implicaciones de AHM para la evaluación diagnóstica cognitiva
Integración de evaluación, instrucción y aprendizaje
El aumento de la popularidad de las evaluaciones de diagnóstico cognitivo se puede rastrear a dos fuentes: desarrolladores de evaluaciones y usuarios de evaluaciones. Los desarrolladores de evaluaciones ven un gran potencial para las evaluaciones de diagnóstico cognitivo para informar la enseñanza y el aprendizaje al cambiar la forma en que se diseñan las evaluaciones actuales.
Los desarrolladores de evaluaciones también argumentan que para maximizar los beneficios educativos de las evaluaciones, el plan de estudios, la instrucción y el diseño de la evaluación deben estar alineados e integrados.
Los usuarios de evaluaciones, incluidos los docentes y otros interesados en educación, exigen cada vez más resultados relevantes de las evaluaciones educativas. Esto requiere que las evaluaciones se alineen con la práctica en el aula para que tengan el máximo valor educativo.
El AHM hasta la fecha, como una forma de evaluación de diagnóstico cognitivo, aborda el camino entre el currículo y el diseño de la evaluación mediante la identificación del conocimiento, las habilidades y los procesos realmente utilizados por los examinados para resolver problemas en un dominio determinado.
Estos atributos cognitivos organizados en un modelo cognitivo se convierten no solo en la representación del constructo de interés, sino también en el modelo de prueba cognitiva. Los ítems se pueden construir para medir sistemáticamente cada combinación de atributos dentro del modelo cognitivo.
El camino entre el diseño de la evaluación y la instrucción también se aborda mediante la retroalimentación específica y detallada sobre el desempeño de un examinado en términos de los atributos cognitivos dominados. Esta retroalimentación de diagnóstico cognitivo se proporciona a estudiantes y maestros en forma de informe de puntaje.
El maestro puede utilizar el perfil de dominio de las habilidades, junto con información complementaria, como elementos de prueba ejemplares, para enfocar los esfuerzos de instrucción en áreas donde el estudiante requiere asistencia adicional. Los resultados de la evaluación también pueden proporcionar retroalimentación al maestro sobre la efectividad de la instrucción para promover los objetivos de aprendizaje.
El AHM es un método prometedor para la evaluación del diagnóstico cognitivo. El uso de un enfoque de diseño de prueba basado en principios, que integra la cognición en el desarrollo de la prueba, puede promover inferencias más fuertes sobre cómo los estudiantes realmente piensan y resuelven problemas.
Con este conocimiento, los estudiantes pueden recibir información adicional que puede guiar su aprendizaje, lo que lleva a un mejor rendimiento en evaluaciones educativas futuras y tareas de resolución de problemas.
Autor
