O relatório mensal do LMS tem doze páginas: horas de treinamento, número de acessos, cursos mais vistos, média de satisfação, ranking de áreas. Ele é enviado para a diretoria, que agradece. Nenhuma decisão é tomada a partir dele.
Um relatório de engajamento só vale se levar alguém a fazer algo diferente no mês seguinte.
Quais números enganam?
Os que sobem em qualquer situação:
- Horas totais de treinamento. Crescem com mais gente, cursos mais longos ou vídeos esquecidos rodando. Medem esforço, não efeito.
- Número de acessos. Um acesso pode ser um curso inteiro ou um clique perdido.
- Média de satisfação. Sai alta quase sempre, e a pesquisa de George Alliger e colegas, de 1997, mostrou que gostar do curso tem relação fraca com aprender e aplicar.
- Total de matrículas. Matrícula em massa infla o número sem dizer nada sobre intenção.
Esses números podem entrar no relatório como contexto. Não como resultado.
Quais números mostram onde o aprendizado trava?
| Indicador | O que revela | Decisão que provoca |
|---|---|---|
| Ponto de abandono dentro do curso | Em que parte as pessoas desistem | Revisar ou encurtar aquela parte |
| Tempo entre matrícula e início | Se a pessoa sabe por que foi matriculada | Mudar a forma de convocar |
| Conclusão por área e por gestor | Onde o ambiente não apoia | Conversar com aquele gestor |
| Obrigatórios a vencer em 30 dias | Risco de não conformidade | Alertar pessoas e gestores |
| Acertos por pergunta | Que conteúdo não foi entendido | Reescrever explicação ou exemplo |
| Acesso por dispositivo e horário | Onde e quando as pessoas estudam | Ajustar formato e disponibilidade |
Por que olhar os grupos, e não só a média?
Porque a média esconde padrões diferentes. René Kizilcec, Chris Piech e Emily Schneider analisaram em 2013 o comportamento de quem fazia cursos online abertos e encontraram grupos distintos: quem completava tudo, quem só assistia sem fazer as avaliações, quem desistia cedo e quem entrava e saía. Tratar todos como “não concluintes” levaria a soluções erradas para a maioria deles.
No LMS da empresa, o mesmo vale. Uma conclusão geral razoável pode esconder um escritório que termina quase tudo e uma operação que quase não começa. A resposta para cada um é diferente.
Onde as pessoas costumam parar?
Nos cursos longos. Katy Jordan mostrou em 2015, estudando cursos abertos, que a conclusão caía conforme o curso ficava mais longo. Se o relatório mostra abandono concentrado numa parte, a primeira pergunta é se aquela parte é longa demais, confusa ou desnecessária.
Como transformar o relatório em decisão?
Três mudanças:
- Poucos indicadores, sempre os mesmos. Cinco ou seis, acompanhados mês a mês, valem mais que doze páginas diferentes a cada vez.
- Cada indicador com um dono. Conclusão por área vai para o gestor da área, e não só para a diretoria.
- Uma seção de ações. O relatório termina com o que vai ser feito no mês seguinte e o que foi feito no anterior.
Engajamento é o mesmo que aprendizado?
Não. Engajamento mostra que as pessoas estão passando pelo conteúdo. Se aprenderam, mostra-se nas perguntas; se aplicam, só no trabalho. O relatório do LMS cobre bem o primeiro, em parte o segundo e nada do terceiro. Como medir a aplicação está em como medir se o treinamento mudou o trabalho, e por que tanta gente abandona o curso online em EAD corporativo.
A escolha da plataforma, incluindo os relatórios que ela precisa gerar, está no guia como escolher um LMS. E montar os relatórios que a gestão precisa, com a leitura do mês e as ações, é o que fazemos em relatórios de engajamento.
