[:en]For six years I have been spending one Saturday per semester at Técnico in an event named Pitch Bootcamp where about 200 specialists in human resources and Técnico alumni help 180 students to summarize in a 2-minute presentation their full potential for an employer. Being responsible for the employability of the students, these Saturdays allow me to have a sample of the evolution of the future candidates and what do employers value most.
To me, this last edition of Pitch Bootcamp was marked by a third year student of Applied Mathematics and Computing. It is one of the most selective programs in the Portuguese higher education system in which the last student admitted had an average high-school grade of 18.35 out of 20. In the conversation with the four members of the panel we noticed an increasing discomfort of the student that ended in an emotional outburst: how could it be that her grade average was now just 13 out of 20?
Any person that has worked on optimization algorithms knows that the use of a single metric in problems with multiple outputs often prevents the convergence to the desired solution. The problem that the education system addresses is in how to provide a better future for the student and the focus on the grade point average, as a single metric, leads to the erroneous conclusion that this grade is the only indicator of professional success. Unfortunately, I have the perception that more and more students use this unique metric of success and that they move away from any activity that could undermine this result. This seems to be a natural consequence of the Portuguese University application process that relies solely on an average grade that conditions almost the whole course of primary and secondary school students and which, as we shall see, is wrongly maintained when they become university students.
Several researchers have sought to identify screening methods that can predict the job performance of candidates. Frank L. Schmidt of the University of Iowa summarized in two articles from 1998 and 2016 the results of many years of research in this field. The winning method of the 19 evaluated is the General Mental Ability (GMA) intelligence test that improves when combined with an integrity test or structured interviews. Unfortunately, GMA testing is designed and benchmarked based on historical data that results in racial and gender bias. A bibliographical summary by Imose & Barber (2015) in the use of the GPA in recruitment processes states that many recruiters use this measure instead of GMA because it is less biased against diversity. A minimum value for the GPA is often used when the number of candidates is high but it is difficult to use when comparing candidates from different higher education institutions.
In 2013, Laszlo Bock, who is responsible for human resources at Google, gave an interview to the New York Times where he talked about the methodology used by the company to correlate the assessment in the recruitment process with the performance of the hired candidate. Google’s huge data set shows that the GPA, recruiters’ opinion, and brain teasers (“how many golf balls can you fit in a 747?”) have no predictive power. The lack of correlation between the GPA and the professional performance comes from the artificiality of the academic environment where the student knows that the teacher wants a specific answer. Laszlo Block confirms Schmidt’s results on the value of structured interviews. In the interviews they ask the candidates to talk about a difficult problem that they have solved. By telling their own experience, candidates offer valuable insight into how they dealt with a real-world situation and what they consider to be a difficult problem. This reinforces the importance of the model of experiential learning that gives this connection to the real world and that we use, for example, in the teaching of entrepreneurship (see chronicle “Lego Blocks” in the jornal-i edition of May 22nd, 2018) .
American universities themselves are changing student admissions processes. The University of Chicago, the third-ranked by US News with an admission rate of 7%, announced in June that it will no longer require standardized ACT / SAT tests for its candidates. One of the objectives is to increase the recruitment of low-income students or with parents with no higher education. The results of these candidates are hampered by parents’ inability to help or hire tutors to help them prepare for the exams. The main cause of this change is the availability of data and statistical tools that allow the use of a greater number of indicators to help in the selection of candidates with greater potential.
Fortunately in my Pitch Bootcamp table was a former student of mine who gave the best possible support to the student: he told her that he himself had taken more time to complete the degree and finished with a worse final average than hers, but he is now a member of the board of directors of the company he works for.
Adapted from my Jornal i column, March 19th, 2019[:pt]Há 6 anos que passo um sábado por semestre no Técnico numa iniciativa denominada de Pitch Bootcamp onde cerca de 200 especialistas de recursos humanos e antigos alunos ajudam 180 estudantes a resumir numa apresentação de 2 minutos todo o seu potencial para um empregador. Sendo responsável pela empregabilidade dos estudantes, estes sábados permitem-me ter uma amostra da evolução dos futuros candidatos e do que valorizam os empregadores.
Esta última edição do Pitch Bootcamp ficou-me marcada por uma estudante do terceiro ano do curso de Matemática Aplicada e Computação. Trata-se de um dos cursos mais seletivos do ensino superior português em que o último aluno foi admitido com uma média de entrada de 18,35 valores. Na conversa com os quatro membros do painel notou-se um incómodo crescente da aluna que terminou num desabafo emocional: como era possível estar com uma média de apenas 13 valores?
Quem, como eu, trabalhou em algoritmos de otimização sabe que a utilização de uma métrica única em problemas com múltiplas saídas impede frequentemente a convergência para o objetivo desejado. O problema que o sistema educativo aborda é a forma de potenciar um melhor futuro ao estudante e o foco na média, como métrica única, conduz à conclusão errada de que a média é o único indicador de competência profissional. Infelizmente, noto que há cada vez mais alunos com esta única métrica de sucesso e que se afastam de qualquer atividade que possa prejudicar esse resultado. Esta parece ser uma consequência natural do método de seleção dos candidatos ao ensino superior que condiciona quase todo o percurso dos estudantes do ensino básico e secundário e que, como veremos, erradamente se mantém na universidade.
Vários investigadores têm procurado identificar métodos de seleção com capacidade de prever o desempenho profissional dos candidatos a um emprego. Frank L. Schmidt da Universidade de Iowa resumiu em dois artigos de 1998 e 2016 os resultados de muitos anos de investigação neste domínio. O método vencedor dos 19 avaliados é o dos testes de inteligência GMA (General Mental Ability) que melhora quando combinado com um teste de integridade ou com entrevistas estruturadas. Infelizmente, os testes GMA são concebidos e aferidos com base em dados históricos que resultam em enviesamentos raciais e de género. Um resumo bibliográfico de Imose & Barber (2015) sobre o uso da média de curso nos processos de recrutamento refere que muitos recrutadores utilizam esta medida em substituição do GMA por ser menos enviesada face à diversidade. Um valor mínimo para a média de curso é, muitas vezes, usado quando o número de candidatos é elevado, mas é reconhecida a dificuldade em usar esta métrica para comparar candidatos de diferentes instituições de ensino superior.
Em 2013 Laszlo Bock, responsável pelos recursos humanos da Google, deu uma entrevista ao jornal New York Times onde falou da metodologia usada pela empresa para correlacionar as avaliações realizadas nos processos de recrutamento com o desempenho dos candidatos contratados. O enorme conjunto de dados da Google mostra que a média de curso, a opinião dos recrutadores e as perguntas de algibeira (“quantas bolas de golfe cabem num 747?”) não têm poder preditivo. A falta de correlação entre a média e o desempenho profissional advém da artificialidade do ambiente académico onde o aluno sabe que o professor quer uma resposta específica. Laszlo Block confirma os resultados de Schmidt sobre o valor das entrevistas estruturadas. Nas entrevistas pedem aos candidatos que falem sobre um problema difícil que tenham resolvido. Ao contarem a própria experiência, os candidatos oferecem informações valiosas sobre a forma como lidaram com uma situação do mundo real e sobre o que consideram ser um problema difícil. Isto vem reforçar a importância do modelo de aprendizagem experiencial que dá esta ligação ao mundo real e que usamos, por exemplo, no ensino do empreendedorismo (ver crónica “Blocos de Lego”, na edição do jornal-i de 22/05/2018).
As próprias universidades americanas estão a alterar os processos de admissão de estudantes. A Universidade de Chicago, terceira no ranking US News com uma taxa de admissão de 7%, anunciou em junho que deixou de exigir os testes padronizados ACT/SAT aos seus candidatos. Um dos objetivos é aumentar o recrutamento de estudantes de baixos rendimentos ou com pais sem formação superior. Os resultados destes candidatos são prejudicados pela incapacidade dos pais em ajudar ou em contratar explicadores na preparação para os exames. A principal causa desta mudança é a disponibilidade de dados e de ferramentas estatísticas que permitem usar um maior número de indicadores para selecionar os candidatos com maior potencial.
Felizmente, calhou estar na mesa do Pitch Bootcamp um antigo aluno meu que deu o melhor apoio possível à aluna: disse-lhe que ele próprio tinha levado mais tempo a concluir o curso e terminou com uma média final pior do que a dela, mas que é hoje membro do conselho de administração da empresa onde trabalha.
Adaptado da minha crónica no Jornal i de 19 de março de 2019[:]