Hace poco los alumnos del CUCEI estábamos limitados en la manera en la que podíamos planificar nuestros semestres, en especial la manera en que seleccionamos maestros. Eso cambia hoy 🤘

Y tú, Cómo buscas a tus maestros?

Es 2015, fuiste aceptado a la carrera de ingeniería que tanto deseabas y ha llegado la hora de elegir a los maestros que moldearan tu mente durante los siguientes 6 meses pero…eres nuevo en la Universidad, no conoces a nadie, que haces?

Antes de Facebook

Antes de Facebook tu única opción era preguntar a conocidos o elegir de manera aleatoria, el reto que esto presenta es que tienes un número limitado de fuentes de información y es algo riesgoso agendar de manera aleatoria, sin mencionar que el tiempo que tomarías en recolectar esta información y vetarla conscientemente será significativo.

Después de Facebook

Luego llegó Facebook y los alumnos creamos grupos como QciSocial o Recomendación de Maestros CUCEI. Un grupo de Facebook definitivamente es mejor que andar preguntando por ahí, pero hay otro tipo de problemas, analicemos cómo puedes buscar maestros en un grupo de Facebook.

Repite por cada maestro que te llame la atención de cada materia que requieras:

1. Busca posts que mencionen al maestro anteriormente, si los hay recientes, ve al paso 3
2. En caso de que no existan posts recientes, crea uno y espera que los alumnos en línea le tomen interés a responderte
3. Lee las opiniones para formarte una idea del maestro

Aunque este nuevo proceso ayuda a reducir nuestro tiempo de búsqueda sigue presentando mucha “talacha”, ya que (en el mejor de los casos) tienes mucha información y ahora tienes que procesar y vetar todo, también tienes que estar al pendiente de lo que te respondan y postear con anticipación para que la comunidad tenga tiempo de responderte si es que quiere.

Con WikiProfes

La evolución a un mejor sistema era obvia y algo que ya se había implementado en lugares de habla anglosajona con sitios como RateMyProfessors. CUCEI necesitaba una solución semejante y si la UdeG no la podía proveer, decidimos crearla.

WikiProfes presenta mejoras obvias a los procesos “antiguos”, para empezar está disponible 24/7, ya sea que busques a tus maestros 1 mes o 1 hora antes de agendar, también ordena las opiniones de los alumnos por relevancia o por tiempo de manera instantánea, es capaz de resumir los puntos importantes de dichas opiniones en una tarjeta de puntajes concisa…

y más recientemente también es capaz de mostrarte la evolución de esos puntajes a través del tiempo.

Todo esto es genial, minimiza tu tiempo de búsqueda y depuración de información de manera drástica haciendo lo que te tomaría unos días de planeación a alrededor de una hora. Pero…no es suficiente

El Futuro de la Búsqueda de Docentes

Suponiendo que eres un alumno promedio que tiene que agendar ~5 materias por semestre y cada materia tiene de 3 a 5 maestros disponibles y quisieras seleccionar uno o dos maestros por materia, eso significa que requieres pedir y leer opiniones de alrededor de 25 maestros. Aunque WikiProfes hace encontrar opiniones de un maestro algo tan sencillo como 3 clicks, la cantidad de clicks y tiempo que tienes que invertir sólo incrementa de manera lineal mientras más materias tengas.

En nuestro ejemplo esto se convierte en ~75 clicks y alrededor de ~30 minutos de leer perfiles.

Esta gráfica es horrible, lo sé, pero hay una manera de hacerla una función lineal de sólo 3 pasos por todas tus materias.

Análisis y Selección de Educadores nivel Licenciatura

WikiProfes contiene mucha información que describe el desempeño de un profesor, no sólo eso, también contiene un historial de la evolución de ese desempeño desde la perspectiva del alumnado a través del tiempo con diferentes perspectivas de alumnos con diferentes metas.

Encontramos una manera de tomar toda esa información y convertirla en la mejor herramienta que hemos creado hasta el día de hoy, una inteligencia artificial capaz de aprender de tus experiencias y de las de las generaciones pasadas con un maestro para crear un índice de desempeño general del mismo que represente su actual, pasado y (con suficientes datos) su futuro desempeño; clasificar su comportamiento y recordarlo para recomendarlo (o no) al alumno que ocupe tu lugar mañana.

Lo llamamos HANSEL (Herramienta de Análisis y Selección de Educadores de Licenciaturas)

No nos detuvimos ahí, también creamos 3 parámetros de desempeño estándar para que, dependiendo de tus objetivos en el semestre, HANSEL busque los mejores maestros para ti.

Esto es posible gracias al trabajo coordinado que hacen los sub-sistemas de WikiProfes, el primero y más básico es el motor de evaluaciones que toma todas las evaluaciones de un maestro para extraer indicadores de calidad de cada evaluación (así elegimos las evaluaciones de mayor calidad), el módulo de limpieza y reconciliación de indicadores de calidad, el sub-sistema de análisis y por último HANSEL A.I.

Hola HANSEL

Así de fácil.

1. Elige un tipo de maestro, Genio, Balanceado o Zen
2. Escribe tus materias
3. Dale enter 💥

HANSEL buscará tus maestros y te dará opciones por cada materia ordenado por su nivel de confianza en el tipo de maestro seleccionado, omitirá en los que no confíe automáticamente y si le das click a un nombre de maestro te llevará a su perfil para ver las opiniones de los alumnos de manera instantánea.

La primera versión de HANSEL estará disponible para todos los alumnos de CUCEI - UDG, ellos han sido los que más evaluaciones y datos nos han dado de todos sus maestros, logrando una masa crítica de datos necesarios para alimentar a HANSEL con alrededor de dos mil evaluaciones en 600 perfiles de maestros. Dependiendo de que tan rápido se logren números similares en otros campus, expandiremos la presencia de HANSEL a otros campus.

Que buscar los maestros que necesitas cuando los necesitas no te tome más de un minuto.

Un Extra Para los Nerds

A los nerds nos gustan los benchmarks de nuestros juguetes ya que es la única manera en la que podemos sentirnos superiores a otros nerds, por eso creé este benchmark comparando un modelo clásico de regresión logística (de las primeras cosas que enseñan en Machine Learning) con HANSEL. También comparé nuestro sistema con LSTMs con propagación inversa y aunque podían acercarse a números casi tan buenos como HANSEL su promedio de entrenamiento por maestro era de unos cuantos miles de segundos y de HANSEL no más de 500 milésimas de segundo, lo cuál nos hizo descartarlas como un modelo feasible para aprender constantemente de más de 6,000 maestros.

Este benchmark es del modelo de regresión logística Vs. HANSEL, con perfiles de maestros pre clasificados, desglosado por número de evaluaciones a lo largo de 1 año 6 meses. Si el modelo acertaba el tipo de maestro dentro de un margen de no más de 5% de error entonces se cuenta como acierto.

Aquí podemos observar que ambos algoritmos no son capaces de tener un porcentaje de aciertos superior a 50% cuando hay menos de 3 evaluaciones de buena calidad en 8 meses o más en un perfil de maestro, por lo cual no hay resultados en esa fila. Las cosas comienzan a mejorar cuando tenemos más de 3 evaluaciones siempre y cuando la dispersión de puntos no sea mayor a 8 meses, con HANSEL acertando la clasificación con una diferencia de 64% comparado con el modelo clásico y ambos modelos fallando con una dispersión de datos mayor.

En el mejor de los casos, cuando un maestro es evaluado constantemente durante un largo periodo de tiempo (más de 5 evaluaciones durante más de 1 o 2 años) vemos diferencias drásticas en el performance de ambos modelos; conforme avanza el tiempo y aumentan las evaluaciones HANSEL logra el 83% de aciertos mientras que los modelos clásicos se estancan en 25%.

Ha sido toda una aventura crear esta herramienta y estaremos atentos a su evolución, buscando mejorarla cada día, quien sabe quizá algún día te podrá decir con que maestros serías más feliz 😉

Por ahora ojalá la disfrutes y que te sea útil.