jueves, 10 de enero de 2013

Práctica11. Método de evaluación de un sistema de recuperación de información

La evaluación de sistemas de información y recuperación tiene una aplicación muy clara en el apartado de los algoritmos de recuperación y clasificación de contenidos. En este sentido, la práctica propuesta pone al alumno en el caso real del proceso de evaluación de un algoritmo de recuperación y clasificación automática.

A cada alumno se le asignará en clase una serie de categorías temáticas que comprenden unas páginas web de resultados. Se deberá comprobar que los contenidos recuperados bajo el paraguas de la categoría temática asignada, lo están correctamente. Esto implica determinar distintos valores:

  • Botón Marcar Relevante - Relevancia del 100% significa que el contenido está conforme con la categoría asignada automáticamente por el sistema.
  • Botón Marcar Irrelevante - Relevancia del 0% significa que el contenido es completamente opuesto a la categoría asignada automáticamente por el sistema.
  • Botón Marcar Grado de Relevancia - Relevancia del 80% - 60% - 40% y 20% significa que se ha considerado un documento parcialmente relevante en la medida porcentual que se indica.

Se recomienda hacer click en un único botón. En caso de equivocación, marcar seguidamente el botón correcto. Esto deshará la operación anterior y validará como buena la última efectuada. También se advierte, que según se evalúa el contenido, automáticamente los botones cambian de color, permitiendo al evaluador distinguir fácilmente los resultados que quedan por evaluar.

El proceso de evaluación se registra automáticamente en la base de datos, de tal manera que posteriormente se pueda comprobar si el algoritmo de clasificación acertó o no en la categorización de los contenidos en todas las áreas de conocimiento o por el contrario falló en algunas, así como determinar el motivo del fallo. Esto significa que no es necesario enviar ninguna práctica a través del campus virtual, ya que según se lleva a cabo la evaluación, ésta se va completando.

El alumno tiene una responsabilidad importante en la consecución de este trabajo, ya que su supervisión y evaluación servirá para determinar el grado de corrección y precisión del sistema de información, por ello se solicita la mayor concentración posible durante este proceso.

Listas de asignación

No hay comentarios:

Publicar un comentario