Educação, Mentiras e Estatísticas

Conforme promessa antiga, aqui está o contributo do Manyfaces para as nossas discussões:
A nossa relação com relatórios e em particular com relatórios de base estatística nunca foi a melhor. Existe uma tendência para menorizar os resultados, questionar as fontes, viciar os dados de entrada, matar o mensageiro quando a mensagem estatística não se adequa à teoria em vigor…
Vale quase tudo…
Sobre estatísticas e o desconforto que provocam temos até umas frases batidas, uma tiradas consensuais que ilustram bem a nossa difícil relação com elas. Tantas vezes se ouve dizer, “são só estatísticas, valem o que valem” ou “não têm em conta as condições reais de cada um”. Pois eu sou obcecado com estatísticas e tenho boas razões para ser…. Porque são elas que nos permitem manter a realidade debaixo de olho, são elas que informam as decisões, são elas que permitem ver para além do aparentemente óbvio, são elas as únicas armas para combater o recorrente “parece-me que”. Antes de entrar na educação e suas mentiras e estatísticas, um pequeno desvio para dar um bom exemplo da sua utilidade:
É conhecido o processo de reorganização das maternidades em Portugal, que ao tempo da Leonor Beleza permitiu começar a reduzir drasticamente os índices da mortalidade infantil em Portugal. À data o processo sofreu contestação generalizada. Foram fechadas centenas de pequenas maternidades que funcionavam em péssimas condições. Os serviços foram concentrados em poucas mas boas unidades. Com isto atingimos no espaço de uma década um índice de mortalidade infantil a todos os títulos admirável. E neste processo foram fundamentais as estatísticas. Elas permitiram concluir que a proximidade não compensava face à dispersão de meios. Elas informaram a decisão, foram contra o senso comum que apontava para o primado da proximidade. Esta foi uma verdadeira “boa prática” que deve ser sempre mencionada quando em Portugal se fala de estatísticas e da sua importância.
E em relação à educação e suas estatísticas?
A primeira medida para quem queira falar de estatísticas sem ser totalmente desacreditado é ignorar tudo o que seja relatório com origem em Portugal. Fundamentalmente porque é quase impossível reunir consenso mínimo sobre a sua qualidade e idoneidade. Restam aos interessados os relatórios da OCDE, que ainda assim são mais consensuais. O meu interesse começou com o célebre relatório, “Education at a Glance 2006″ que gerou tão aceso debate em vários foruns. Mais uma vez o problema foi o da utilização dos resultados e da sua formatação de acordo com a perspectiva de cada um. Quando não é possível que a realidade encaixe na teoria, então é sempre possível tentar distorcer um pouco a interpretação da realidade estatística….
Neste caso a discussão centrou-se na relevância do PIB para a aferição de alguns dos indicadores estatísticos mais importantes. Sempre achei esta discussão curiosa porque
noutros contextos ninguém se atreve a questionar a importância deste índice económico (PIB) como peso e medida para tudo o que tenha a ver com actividade económica, salários, indicadores, etc… Polémica à parte, porque esta já deu muita prosa e contra-prosa por aqui, vamos então ver quais são os reais indicadores que se podem extrair deste relatório. Realço apenas os que considero indicadores-chave. O relatório completo - executive summary - pode ser consultado aqui:
- Na frequência média escolar estamos em último (nº médio de anos de frequência escolar).
- Nos resultados de matemática (escala de Pisa 2003), ficamos na cauda da tabela. Só 4 países têm pior desempenho.
- Nas despesas educativas por aluno (em US$) aparecemos num (aparentemente modesto) 23ª lugar, tendo o relator o cuidado de explicitar que no caso Português a classificação nos coloca acima da média da OCDE quando o PIB é tido em conta (pag 31). Ou seja, na realidade estaremos algures a meio da tabela, o que é confirmado pelo indicador de investimento total em educação face ao PIB (da pag 32).
- A percentagem de investimento público em educação face ao total de investimento público coloca-nos também a meio da tabela.
- No número médio de alunos por turma estamos a meio da tabela.
- No salário médio em US$ para Professor no secundário aparecemos em 21º (em 31 países). Tendo em conta o peso do PIB aparecemos em 3º lugar.
- No número médio de horas de ensino por ano (teaching time) aparecemos a meio da tabela.
E com estes indicadores penso que se fica com uma boa visão do nosso ensino: baixa frequência/permanência escolar, maus resultados comparativos no desempenho dos alunos, despesas educativas dentro da média da OCDE, cargas lectivas dentro da média da OCDE, salários acima da média da OCDE.
Pode concluir-se sem grande margem para dúvidas que o ME não deve atirar dinheiro para cima do problema porque não é por falta de investimento que o nosso desempenho deixa a desejar. Temos um problema de organização e de gestão, não temos um problema de investimento.
E concluindo eu que o nosso problema é essencialmente de (má) gestão, tratei de ver se existia algum relatório comparativo das práticas de gestão na OCDE. E a boa notícia é que existe mesmo… Trata-se de um relatório muito pouco conhecido: “PUBLIC SPENDING EFFICIENCY: INSTITUTIONAL INDICATORS IN PRIMARY AND SECONDARY EDUCATION“, com data de 30 de Janeiro de 2007 e que aparece na mesma altura do muito mais badalado “Economic Policy Reforms: Going for Growth 2007″.
Este último é um relatório generalista mas que desta vez incluiu uma recomendação explícita sobre a educação em Portugal. E esta recomendação reza o seguinte:
“Recommendations: Better use current education resources by increasing the proportion of primary and secondary spending allocated to non-wage spending. Continue ongoing efforts to strengthen vocational and technical education. Implement systematic evaluation of higher education institutions.”
Esta recomedação está bastante em linha com as conclusões acima tiradas sobre a eficiência da gestão do ensino. Nenhuma surpresa aqui… O meu problema foi quando analisei o tal relatório de “public spending..” e afinal o nosso panorama em termos de eficiência na gestão parecia quase cor de rosa !!??
Vejamos:
Esse relatório analisa de forma bastante rigorosa vários indicadores de eficiência nos gastos com educação, que vão do descentralismo da gestão, adequação de recurso às necessidades, indicadores de eficiência de gestão de orçamentos e até ao índice de eficiência do mercado de educação. Não vou analisar os resultados de cada um deles mas devo dizer que me chamou a atenção o nosso ranking no índice de descentralização da gestão escolar,
em que somos o 3º Pais mais centralista da OCDE (uma confirmação do que todos sabemos). O relatório segue então para a sua parte mais ambiciosa, em que se descreve detalhadamente o método de definição de um indicador compósito que permite estabelecer um índice de eficiência nos gastos públicos com educação. Este índice permite avaliar comparativamente a qualidade de gestão do sistema de ensino em cada Pais. Pode ver-se então que Portugal fica num muito honroso 10º lugar (metade superior da tabela- pag 27).
Preparava-me então para meter a viola no saco e rever os meus preconceitos e conclusões precipitadas sobre a gestão do sistema, quando uma pequena nota na pag 14 me chamou a atenção: na análise final deste índice compósito Portugal aparecia com uma nota em destaque e o relator encaminha o leitor para a secção 2 para mais esclarecimentos. Lá fui ver do que se tratava mas já com sensação de água no bico….
E eis que na secção 2 a tramóia é exposta em todo o seu esplendor.
Transcrevo na íntegra a pag. 7:
“The indicators describe the institutional framework in the public education sector as resulting from current regulations. Their construction assumes that the institutions described in the answers to the questionnaire are implemented and working in practice according to regulatory prescriptions. While this assumption may be optimistic in some cases, relaxing it would bring about even more serious methodological problems, related with the measure of the degree of implementation of recent reforms. In this context, the interpretation of the indicators should remain cautious. For instance, the favorable bias in
the indicators might be significant for Portugal. The recent OECD Country survey or Portugal indeed highlighted that the full implementation of recent reforms increasing the autonomy of the schools or favoring benchmarking) remains an mportant challenge in this country (Guichard and Larre, 2006). In all countries, the indicators have to be interpreted as describing the education system when the implementation of current reforms is completed.”
Ou seja, os inteligentes do ME ao preencherem os questionários que serviram de base a este estudo resolveram dourar a pílula, indicando não o modo como o sistema de gestão funciona mas o modo como eles acham que deveria funcionar. A OCDE descobre a coisa e eis que Portugal adquire honras de excepção no relatório, com direito a destaque na secção 2.
Como fui dizendo no início, os relatórios estatísticos podem ser objecto de maldades várias por parte de quem os interpreta ou de quem os alimenta com dados viciados. Neste caso o ME não resistiu a transmitir uma ideia fantasiada da gestão escolar, confundindo boas intenções com a realidade. Valham-nos as organizações independentes que detectam as falcatruas e as expõem, ainda que por vezes em termos demasiado polidos….
ManyFaces
http://educar.wordpress.com/