Metodologia do Inep e critérios do MEC causaram debate entre professores, especialistas e governantes
POR:
Paula Peres
13 de Setembro de 2018
Alunos do Ensino Fundamental em sala de aula Foto: Tomaz Sulva/Agência Brasil
Os resultados do Sistema de Avaliação da Educação Básica (Saeb) de 2017 foram divulgados no final do mês de agosto de 2018. Assim que se tornaram públicos, eles começaram a gerar polêmica. Especialistas, professores e até governantes estranharam dois fatores: a considerável diferença negativa na porcentagem de estudantes que teriam aprendido o que se considera adequado em relação a 2015, e a ausência das escolas de Ensino Médio Integrado para o cálculo das notas dos estados.
O Saeb avalia os níveis de proficiência em Língua Portuguesa e Matemática dos estudantes brasileiros dos 5º e 9º anos do Ensino Fundamental e do 3º ano do Ensino Médio. Esses níveis podem ir de 0 a 10, com algumas variações, de acordo com o ano e a disciplina avaliados. Além de podermos ver quantos estudantes se encaixam em cada nível de cada disciplina de cada turma, o Saeb também apresenta estatísticas detalhadas de redes públicas, privadas, escolas rurais e urbanas, e entrega esses resultados para os estados, cada município e cada escola.
O exame ajuda a compor a nota do Índice de Desenvolvimento da Educação Básica (Ideb), mas não é seu único fator: o índice também leva em conta a taxa de aprovação dos alunos da escola ou rede. Ou seja: se uma escola tem alto nível de proficiência entre os alunos que realizaram a prova, mas também registra altas taxas de reprovação, seu índice vai ser rebaixado. O mesmo vale para o oposto: uma escola que aprova todos os alunos, mas não garante que eles aprendam o que o Saeb avalia também pode ter sua nota prejudicada.
Os números do Brasil
5º ano do Ensino Fundamental
A proficiência média nacional em Matemática foi de 224 pontos, equivalente ao nível 4 de proficiência, no qual o estudante reconhece retângulos em meio a outros quadriláteros e o maior valor em uma tabela cujos dados possuem até oito ordens, por exemplo.
Em Língua Portuguesa, a proficiência média nacional é de 215 pontos. Esta pontuação equivale ao nível 4 de proficiência, no qual o estudante consegue identificar o efeito de humor em piadas e assuntos comuns a duas reportagens, entre outras habilidades.
9º ano do Ensino Fundamental
A proficiência média nacional em Língua Portuguesa foi de 258 pontos e 15 estados ficaram abaixo desta média. Na disciplina Matemática, a proficiência média nacional foi de 258 pontos e novamente 15 estados ficaram com pontuação abaixo desta média.
Ensino Médio
O Ensino Médio teve uma proficiência média nacional em Língua Portuguesa de 268 pontos. Em Matemática, a proficiência média nacional foi de 270 pontos. Nas duas disciplinas, Pernambuco é o estado que apresenta menor diferença de aprendizagem entre estudantes de nível socioeconômico mais baixo e mais alto, e o Distrito Federal tem a maior diferença de aprendizagem.
LEIA MAIS Saeb: diferença entre estados chega a 50 pontos em Matemática
Veja, a seguir, os dois principais problemas apontados por especialistas e governantes sobre os resultados do Saeb:
Novos critérios de proficiência, que até então não existiam oficialmente, pioraram os resultados das redes de ensino
Quem está acostumado a receber os resultados do Saeb teve uma surpresa na divulgação deste ano: junto com o nível de proficiência médio, havia uma classificação em três grupos de níveis: Insuficiente, Básico e Adequado.
Essa classificação, além de ser uma novidade, difere da classificação extra-oficial criada pelo Todos pela Educação e utilizada até então por especialistas e algumas redes de ensino. “Desde a gestão do Reynaldo Fernandes, que foi quem criou o Ideb em 2007, nunca se teve uma classificação do que seria aprendizado adequado”, lembra Ernesto Faria, diretor executivo do Instituto Interdisciplinaridade e Evidências no Debate Educacional (Iede).
Ele conta que, quando as metas do Ideb foram estabelecidas, o Instituto de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) tentou compatibilizar com o exame do Pisa, elaborado pela Organização para a Cooperação e o Desenvolvimento Econômico (OCDE). “Na visão deles, era impossível chegar a um consenso dentro do Inep sobre o que seria um aprendizado adequado”, diz Ernesto.
Aberta essa lacuna, a organização Todos pela Educação assumiu para si a responsabilidade de criar esses parâmetros de qualidade. Reunindo especialistas, eles criaram metas para 2021 que utilizavam a escala do próprio Saeb para classificar o que seria aprendizado adequado:
5º ano: 200 pontos em Português (equivalente ao nível 4) e 225 pontos em Matemática (equivalente ao nível 5)
9º ano: 275 pontos em Português e 300 pontos em Matemática (também equivalentes aos níveis 4 e 5, respectivamente)
3º ano do Ensino Médio: 300 pontos em Português (nível 4) e 350 pontos em Matemática (nível 6).
O professor e membro do Conselho Nacional de Educação José Francisco Soares, em artigo publicado na rede de jornalistas de Educação (JEDUCA) e republicado em Nova Escola, explica que foi medido o aumento necessário nos valores obtidos pelos estudantes brasileiros no Pisa para que as notas tivessem a mesma distribuição que a média da OCDE, e escolheu-se o ponto de 70% para definir o ponto de corte do nível adequado, definindo-se quatro níveis de classificação: abaixo do básico, básico, adequado e avançado.
LEIA MAIS Qual desempenho é adequado nos testes da Prova Brasil?
Este ano, o MEC decidiu criar uma nova classificação que ignora o trabalho feito até então – e usado como parâmetro para algumas avaliações de redes de ensino estaduais. “O que chamou a atenção é que não só não é uma escala parecida com a que já existia, mas é muito diferente, e muito mais exigente”, critica Ernesto. “O que o MEC considera adequado para o 5º ano é exatamente o valor considerado adequado apenas para o 9º ano na classificação do Todos pela Educação. É uma discrepância”.
Dessa maneira, redes consideradas exemplares por conta de suas notas, ao serem classificadas de acordo com os novos critérios, têm desempenhos baixos. “Por exemplo, a cidade de Sobral, que era considerada exemplo nacional, passou a ter apenas 13,4% dos alunos com aprendizado adequado em Língua Portuguesa, ao invés de 79,8 % em 2015”, cita o artigo de José Francisco Soares.
Ernesto considera que a classificação até poderia ser revista, inclusive com base em Sobral, em que seus estudantes de 5º ano atingem os níveis considerados adequados com facilidade. “Se todo mundo atinge o nível avançado, então não é um nível avançado”, explica. “Mas esticaram de uma forma muito grande, principalmente para o 9º ano e o 3º Ensino Médio. Subir 75 pontos para essas turmas não faz sentido”.
Alvo de críticas por especialistas, o Inep afirmou, por meio de sua assessoria, que nunca mudou sua metodologia para definir os níveis de proficiência, e que a classificação de aprendizado adequado foi uma sugestão do MEC. Em nota oficial, o Inep esclarece que a decisão de utilizar os níveis Insuficiente, Básico e Adequado foi tomada “por um grupo de especialistas, que pela primeira vez fez uma readequação na escala, considerando padrões de aprendizagem e o uso pedagógico dos dados quando de sua divulgação”.
O MEC adota a mesma linha de argumentação: “O MEC fez um alinhamento para leitura dos níveis da escala de proficiência do Inep, sem alterá-la, visando uma análise pedagógica para dar visibilidade maior a aprendizagem com níveis de exigência mais elevados. Não se pode aceitar que um aluno saia do 5º ano do Ensino Fundamental sem que se considere adequado que ele saiba resolver problemas das quatro operações matemáticas (soma, subtração, multiplicação e divisão). O MEC acredita que isso é o mínimo que se espera para não correr o risco de fracasso no 6º ano”, informou o ministério, através de assessoria.
As Escolas Técnicas de Ensino Médio não contaram para a nota das redes estaduais
Até o ano de 2015, a avaliação do Ensino Médio no Saeb era feita por amostra: apenas algumas escolas de cada rede eram avaliadas para gerar sua nota média. Em 2017, no entanto, o sistema de avaliação mudou e ela passou a ser censitária a todas as escolas de Ensino Médio do Brasil, desde que tenha pelo menos 10 alunos matriculados na série avaliada, e desde que 80% dos alunos matriculados tenham feito as provas, de acordo com nota técnica do Inep.
Quando os resultados das redes foram divulgados, iniciou-se a defesa de que alguns estados, principalmente do Nordeste, foram prejudicados porque suas escolas de Ensino Médio Integrado não haviam sido consideradas no cálculo das notas estaduais.
Os governadores de cinco estados do Nordeste (Bahia, Ceará, Paraíba, Pernambuco e Piauí) escreveram uma carta aberta ao Inep em que questionam os critérios de definição de quais escolas foram escolhidas para o cálculo das médias estaduais no Saeb 2017. Eles consideram que a modalidade do Ensino Integrado (ou Técnico, ou Profissional, de acordo com a rede) "responde por mais de 15% da matrícula de toda a rede, representando milhares de estudantes que, sim?, participaram do Saeb em suas respectivas escolas, em 2017".
Para os governadores, a ausência desses alunos faz com que o indicador "não retrate a realidade, desconsiderando precisamente os efeitos positivos das recentes políticas estaduais de oferta do Ensino Médio Integrado à Educação Profissional, as quais têm precisamente o objetivo de superar a crise constituindo-se em legítima estratégia para melhorar os índices de aprendizagem”.
Em nota de resposta, o Inep esclarece que “tanto a série histórica do Saeb, desde 1995, quanto a do Ideb, a partir de 2007, jamais consideraram os resultados do ensino técnico. Portanto, incluir estes dados nos resultados do Saeb e do Ideb 2017 os tornaria incomparáveis com as edições anteriores, quebrando assim a série histórica”.
Ainda segundo o instituto, os alunos de Ensino Médio Integrado representam apenas 4,9% da população dos estudantes de Ensino Médio. “Para efeitos de comparabilidade, só foram considerados os desempenhos dos alunos do Ensino Médio tradicional, que representam 95,10% dos alunos brasileiros no Ensino Médio. [...] Além disso, essa modalidade ainda não é oferecida nas redes de todos os estados”, disse o Inep através de assessoria.
Por fim, a nota técnica divulgada em 29 de agosto de 2018 (a qual é questionada pelos governadores por trazer os critérios de divulgação dos resultados depois que eles já haviam sido divulgados) indica que as escolas técnicas de nível médio teriam suas notas integradas à média municipal da etapa do Ensino Médio.
Ernesto Faria, do Iede, afirma que é necessário olhar para a série histórica da avaliação. “O movimento de ter várias escolas técnicas no Ensino Médio é recente. Talvez essas escolas técnicas tenham um perfil diferenciado. Como eles buscam algo representativo do Brasil e têm um plano amostral (ou seja, não podem de uma edição para a outra passar a considerar todas as escolas, porque isso atrapalharia a análise da trajetória), talvez não queiram sortear para um estado uma escola técnica e para outro estado, não”.
Segundo o economista, a justificativa do Inep é de que essas escolas são 2% das instituições de Ensino Médio do Brasil. “Mas é lógico que temos um desafio: se está havendo um movimento, haverá um momento em que você vai ter que fazer uma mudança nessa metodologia, senão pode prejudicar os estados que podem estar aderindo a boas iniciativas”, defende. De acordo com a assessoria, o Inep estuda iniciar uma nova série histórica “para contemplar a diversificação curricular que se espera do Ensino Médio com a implantação da reforma e da Base Nacional Comum Curricular (BNCC) do Ensino Médio”.
https://novaescola.org.br/conteudo/12555/por-que-os-resultados-do-saeb-estao-sendo-questionados
