Evaluacion Por El Sigilo

Discreto evaluación de los procesos de aprendizaje
Potencial de impacto: medio
Escala de tiempo: largo (4+ años)

Como la gente jugar juegos modernos de computación - que exploran mundos simulados, la lucha contra los enemigos y superación de desafíos - el software monitorea su progreso, el cambio del mundo del juego, generando nuevos enemigos y el establecimiento de los problemas cada vez más difíciles. Este enfoque de rastrear continuamente el progreso de una persona mientras que proporciona respuestas automatizadas inmediatos se ha denominado evaluación sigilo y se está empezando a aplicar a juegos educativos y simulaciones.

Evaluación de la cautela se extiende la enseñanza de adaptación al hacer ajustes continuos a un entorno simulado, en lugar de seleccionar una ruta de acceso o el ejercicio basado en el diagnóstico de los conocimientos y las ideas erróneas de aprendiz. La evaluación está incrustado dentro del flujo del juego y el estudiante es probable que sean conscientes de que este proceso dinámico de la vigilancia y la respuesta está teniendo lugar.

El término fue utilizado por primera vez por Valerie Shute en 2005 para describir el proceso de evaluación automatizada en un sistema llamado Smithtown para enseñar los principios de la microeconomía (por ejemplo, las leyes de la oferta y la demanda), mientras que los estudiantes exploran un mundo simulado y las variables alteradas tales como el precio de café y los ingresos de los habitantes. El objetivo era enseñar a los estudiantes a participar en el aprendizaje de la investigación mediante la formación de hipótesis y probar predicciones. El software utilizado métodos de inteligencia artificial para supervisar y analizar las acciones de los estudiantes, proporcionándoles retroalimentación para apoyar sus habilidades de investigación.

Principios y teorías de la evaluación el sigilo

Los principios fundamentales de la evaluación el sigilo son las siguientes:

  • el software analiza las interacciones de los estudiantes dentro de un juego de ordenador o simulación
  • el sistema ajusta continuamente la estructura del juego para apoyar el aprendizaje, por ejemplo, ofreciendo nuevos retos de una forma y el nivel emparejado con el desempeño del estudiante
  • el sistema mantiene el flujo del juego, por lo que la enseñanza y la evaluación son parte del juego en lugar de capas añadidas
  • el sistema construye un modelo dinámico de los alumnos para indicar sus capacidades y competencias
  • se pretende reducir la ansiedad alumnos acerca de tomar pruebas al desdibujar la distinción entre la evaluación y el aprendizaje, mientras que la realización de un diagnóstico preciso.

La pedagogía que subyace a la evaluación de la cautela es la del aprendizaje de competencias. El profesor (o, en el caso del aprendizaje de sigilo, la computadora) calcula lo que el estudiante sabe y puede hacer, proporcionando continuamente tareas y evaluación que se corresponden a las competencias del estudiante. Para ello, el profesor, o el sistema de enseñanza, debe diagnosticar cómo el estudiante se está desempeñando en problemas específicos y luego inferir niveles de competencia a través de una red de habilidades. El objetivo es detectar las habilidades de resolución de problemas de los estudiantes relacionados con el conocimiento, la comprensión y la aplicación al mismo tiempo que el descubrimiento de las habilidades de alto nivel de la creatividad y el pensamiento crítico.

Recogida automatizada de los datos de evaluación se basa en la coincidencia de la pedagogía de la competencia de aprendizaje con métodos de diseño de juegos de ordenador, incluyendo: el establecimiento de objetivos a alcanzar, la gestión de conflictos o desafío, proporcionando respuestas continuas, creando una historia juego convincente, el diseño de un entorno simulado creíble, y ofreciendo interacciones significativas dentro del entorno.

Un método exitoso de desarrollo de juegos de sigilo de evaluación es a través de Diseño Centrado en la Evidencia. En primer lugar, el diseñador del juego educativo tiene que determinar cuáles son los conocimientos, habilidades y competencias serán evaluadas, para que puedan ser construidos en la jugabilidad. Estos atributos no se pueden evaluar directamente (ya que el juego no tiene manera directa de saber lo que el estudiante está pensando y el enfoque de sigilo impide el establecimiento de pruebas explícitas de conocimiento), por lo que el diseñador tiene que averiguar qué comportamientos e interacciones proporcionarán evidencia de un jugador del conocimientos, habilidades y competencias. Entonces el juego se construye para provocar estas actividades, con las medidas de éxito y fracaso en el rendimiento como el alumno lleva a cabo una misión o resuelve un problema de juego. Estas medidas están interconectados para formar una red de probabilidades de que el alumno ha adquirido la habilidad deseada o alcanzado el nivel necesario de competencia.

Ejemplos de evaluación el sigilo

Un ejemplo de un juego de ordenador que emplea evaluación el sigilo es Portal 2, desarrollado por Valve Corporation. El jugador toma el papel de Chell, que tiene que explorar un laboratorio de ciencia avanzada, realizado como un complejo laberinto mecanizada, y encontrar una puerta de salida mediante el uso de un conjunto de herramientas. Un objetivo educativo es que el usuario aprenda aspectos de la física, para ganar habilidades espaciales visuales y desarrollar habilidades de pensamiento crítico.

Otra, muy diferente, ejemplo de evaluación el sigilo se pueden encontrar en la herramienta TAALES. Este analiza las propiedades léxicas de estudiantes ensayos (como frecuencia de palabras y el uso del lenguaje académico) para evaluar los alumnos el conocimiento del vocabulario. Evaluación de la cautela de los ensayos de estudiantes con TAALES se está acoplado a un sistema que ayuda a los estudiantes a mejorar sus habilidades de redacción de ensayos.

Stealth%20assessment.jpg

Arte de la cubierta para Portal 2 juego

Oportunidades y desafíos

Evaluacion por el sigilo funciona mejor cuando las estrategias de evaluación, el juego y el mundo simulado son desarrollados en conjunto a través de un proceso de diseño de pruebas centradas en que se aplica no sólo a la evaluación, sino también el modo de juego (por lo que se incluyen los elementos de juego para estimular la participación y aprendizaje). Un enfoque menos éxito es agregar evaluación dinámica de un juego o simulación existente.

Técnicas de evaluación de la cautela pueden dar a los estudiantes información inmediata sobre sus acciones y también proporcionar a los maestros con información sobre cómo cada alumno desarrolla habilidades de investigación, pensamiento crítico, toma de decisiones y la creatividad. Este trabajo está en una fase inicial y aún no está claro si los métodos de evaluación de sigilo necesario desarrollar de nuevo para cada juego y tema, o si los métodos generales de diseño pueden ser adoptados.

'Evaluacion por el sigilo' el término evoca los intentos de los maestros y diseñadores de juegos, no sólo para controlar las acciones de los alumnos, sino también para inferir sus motivaciones, competencias y limitaciones, si los estudiantes están dispuestos o dar permiso. Para los proyectos de investigación, estos sistemas pueden, y deben, ser desarrollados dentro de las pautas éticas estrictas que incluyen diciendo a los alumnos la forma en que están siendo monitoreados, cómo se utilizará la información, y la obtención de consentimiento informado y dispuesto de los participantes. Pero la evaluación de sigilo ya está siendo integrado en los juegos comerciales y podría, por ejemplo, ser utilizado sin el conocimiento de los jugadores para evaluar los riesgos de seguros.

Evaluación de la cautela ofrece formas atractivas para enseñar competencias como la creatividad, resolución de problemas, la persistencia y la colaboración, mediante la incorporación de la evaluación dinámica y la retroalimentación en los juegos de ordenador. Los métodos deben introducirse con cuidado y sensibilidad, pero los primeros resultados son prometedores en la combinación de la participación de los juegos de simulación con el poder de diagnóstico de evaluación dinámica.

Recursos

Portal2 juego:
http://www.thinkwithportals.com/

Estudio de TAALES para la evaluación del ensayo:
Allen, L. K. & McNamara, D. S. (2015). You Are Your Words: Modeling Students’ Vocabulary Knowledge with Natural Language Processing Tools. In proceedings of the 8th International Conference on Educational Data Mining, 26-29 June 2015, Madrid, Spain.
http://www.educationaldatamining.org/EDM2015/proceedings/full258-265.pdf

Evidencia centrado en el diseño:
Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessments. Educational Researcher, 23(2), 13-23.
http://onlinelibrary.wiley.com/doi/10.1002/j.2333-8504.1992.tb01470.x/pdf

Introducción a la evaluación de sigilo:
Shute, V. J. (2011). Stealth Assessment in computer-based games to support learning. In S. Tobias and J. D. Fletcher (Eds.) Computer Games and Instruction, Charlotte: Information Age Publishing. 503-524.
http://http://myweb.fsu.edu/vshute/pdf/shute%20pres_h.pd

Informe general sobre la evaluación de sigilo:
Shute, V. & Ventura, M. (2013). Stealth assessment: measuring and supporting learning in video games. Cambridge, MA: MIT Press.
http://myweb.fsu.edu/vshute/pdf/Stealth_Assessment.pdf

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License