Avaliação CAPES

capes_logoA CAPES promove em ciclos – antes trienais, agora quadrienais -a avaliação de todos os Programas de Pós-graduação stricto sensu que recomenda.
Essa avaliação sem dúvida tensiona instituições e docentes da Pós-graduação. Afinal, ali pode estar o fim de um Programa, na medida em que obtenha nota 2 ou inferior. Por outro lado, uma nota maior (a escala vai até 5, com um “plus” na forma de nota 6 a 7) poderá significar mais bolsas para estudantes, mais recursos para ações nos Programas e, claro, mais prestígio, com as naturais consequências.
Como na avaliação conduzida pela CAPES a produção docente tem o maior peso relativo, os professores de  Programas de Pós-graduação passam  três anos (a partir de agora serão quatro) buscando produzir academicamente (intelectualmente), redigindo artigos para periódicos científicos (que são classificados pela CAPES, no chamado Qualis Periódicos de modo que pontuações possam ser aplicadas aos produtos), escrevendo livros inteiros ou capítulos para coletâneas), elaborando trabalhos que submeterão a eventos científicos e esperando que, aceitos, sem publicados na forma completa (resumos nada valem) nos seus anais. Tudo isso ao mesmo tempo em que pesquisam, correm atrás de financiamentos para projetos, ministram aulas nos cursos de pós-graduação e graduação, orientam mestrandos e doutorandos. Uma vida intensa, beirando às vezes o insano.
photocritic-org_Estou vinculado a um Programa de Pós-graduação na Área de Educação e, claro, a cada ciclo de avaliação vivo a tensão do resultado. Acompanho, com apreensão, devo dizer, os resultados dos Programas na Área de Educação. Preocupo-me com o resultado da avaliação do Programa ao qual me vinculo, mas sempre olhando-o em relação aos demais.
Em reuniões na CAPES e outros foros, ouvia que a Área de Educação é muito exigente consigo mesmo nos critérios, com suas pontuações, de avaliação dos Programas a ele vinculados. Não foram poucas as vezes em que ouvi “Na Educação são mais reais do que o rei”.
genesis-and-thesis-comparison-600x295Talvez por isso,  ainda que possa não ser só por isso, resolvi fazer o que chamei de leitura comparada das notas na avaliação CAPES, deixando de olhar apenas a Área de Educação, embora a tendo como referência. Decidi por olhar o conjunto das quarenta e oito áreas da CAPES, Para isso, foquei-me na avaliação divulgada em 2013, referentes ao triênio 2010-2012, nas 48 Áreas da CAPES.
O que fiz foi colecionar os documentos finais de avaliação das 48 Áreas e registrar a distribuição dos Programas pelas notas, de 3 a 7. Não considerei, nessa leitura comparada, as notas 2 e 1 que eventualmente houvessem (a propósito, esses casos são raríssimos).
Organizar uma planilha de dados para ao comparação foi (muito!) trabalhoso, sem dúvida, por várias razões. Percebi que não há um modelo de documento para apresentação, pelas Áreas, dos resultados finais na avaliação. Mas observe que não estou dizendo que deve haver modelo.
3d_pie_chartAlgumas Áreas adotam gráficos (o que é ótimo para mim, um sujeito imagético) na divulgação dos resultados, enquanto outras preferem a descrição mais textual deles. Continuo convencido de que os gráficos são melhores, pela visão mais imediata que oferecem ao leitor.
Quando havia gráficos ou tabelas com os quantitativos explícitos, com certeza o meu trabalho de coleta de dados ficava facilitado. Mas isso nem sempre ocorria. Em alguns gráficos não havia a exibição do rótulo dos dados, o que tornava difícil inferir o número exato de Programas em cada nota.
Nesses casos e naqueles nos quais sequer havia gráfico ou tabela com as notas finais, tive que fazer eu mesmo a contagem. Posso ter incorrido em algum erro, apesar do zelo que procurei colocar na tarefa.
Foi interessante notar que, apesar de serem documentos de avaliação dos Programas, às vezes as notas são apresentadas em anexo. Para mim elas deveriam estar no início do documento. Ou estou pensando errado?
Áreas repetem, no documento final da avaliação, as fichas que já constam do chamado Documento de Área. Entendo, salvo melhor juízo, que a ficha é que deveria constar como anexo (ou nem isso, já que estão no documento de Área). Mas tudo isso é questão de somenos importância.
Se nenhum erro cometi (oxalá, não!), foram 3.156 Programas avaliados no triênio 2010-2012, com os resultados divulgados em 2013.
Do conjunto total foram 989 com nota 3, 1.156 com nota 4, 592 com nota 5, 263 com nota 6 e, finalmente, 138 com nota 7.
capes-avalia2013-48areas

 

Na Área de Educação, especificamente, o quadro foi o seguinte.

capes-avalia2013-EDUCACAO

Mas não teria sentido analisar os dados brutos. P.e, quantos foram os Programas com nota 7 (sete) em cada Área (na nossa foram 3, há áreas nas quais não houve um sequer, existem Áreas onde o número é bem superior ao da Educação, ainda que o número total de Programas na Área seja menor).

Entendi que o essencial era trabalhar com dados relativos. Então calculei a porcentagem de Programas em cada estrato de nota. Aliás, se cometi algum erro na contagem das notas, ele teria certamente impacto reduzido na análise relativa de dados.
Calculei a média (aritmética) do conjunto de Programas da CAPES, na soma da Áreas, por estrato (nota).
Desse cálculo temos que, no conjunto do Programas, em média 31,52% obtiveram nota 3; 36,84% ficaram com nota 4, com nota 5 foram 18,87. Obtiveram nota 6, 8,36% dos Programas, enquanto apenas 4,40%  alcançaram a nota máxima possível.
Uma comparação entre a Área de Educação e o conjunto dos Programas está representada no gráfico a seguir.
capes-avalia2013-compara1
Observa-se que nos estratos inferiores de notas (3 e 4) a Área de Educação esteva acima da média geral das 48 Áreas. Por consequência, nos estratos maiores (5 a 7) estava abaixo, com maiores ou menores diferenças.
Busquei elaborar um “ranking” por notas, sempre da maior porcentagem para a menor.
Quanto à Nota 3, a Área de Educação ocupava o 10o lugar. A Área de Planejamento Urbano e Regional/Demografia é a “campeã”, com 50% dos seus Programas nesta faixa de nota.
No “ranking” da Nota 4, a Área de Educação estava em 18o lugar. As Áreas de Arquitetura e Urbanismo e de Administração, Ciências Contábeis e Turismo são as “campeãs”, com mais de 50% dos seus Programas com nota 4.
No caso da nota 5, a Educação acabou em 33o lugar. Já no “ranking” da nota 6 e no da nota 7 ocupou, respectivamente, as posições de número 41 e 32.
Constatei que, das 48 Áreas, 8 (oito) não tiveram qualquer Programa com nota 7 (a área de Educação já teve essa situação antes, se não me engano na avaliação 2007, referente ao triênio 2004-2006).
Algumas coisas me chamaram a atenção ao olhar para as demais Áreas.
Todas as  Áreas de Medicina tinham 30% ou mais de seus Programas com nota 5. Na Área de Educação eram 14,52%
Quase 1/4 (23,33%) dos Programas da Área de Ciências Biológicas I obteve nota 6. Na Educação, foram 4,84%.
As Áreas de Astronomia/Física, Ciências Biológicas II e III e Química tinham 15% ou mais dos seus Programas com nota 7. Na nossa Área de Educação, apenas 2,42%.
Quem vê tais dados poderá ficar com uma questão: O que faz com que essas Áreas alcancem esses números? È uma pergunta a ser respondida. Mas não sou eu quem terá a resposta.
Haverá quem considere todo esse conjunto de dados que coletei, faça uma análise comparada e conclua que somos muito exigentes conosco mesmo na Área de Educação. Haverá quem os leia e não considere isso. Em qualquer situação haverá interpretação. E interpretação cada leitor terá a sua.
E, claro, poderá sempre haver quem considere que não faz qualquer sentido fazer comparações entre as Áreas. Para esses eu gastei boa parte do meu escasso tempo elaborando planilhas e criando gráficos.
______________
Entretanto, você, leitor desse meu blog (que, aliás, anda meio abandonado por falta de tempo, já que tenho que produzir outras coisas por causa da nova avaliação CAPES que se aproxima) deve estar se perguntando porque tratei desse assunto em um blog que pretende discutir a inserção curricular das tecnologias digitais de informação e comunicação , inclusive os dispositivos móveis, na escola.
Para mim, ao menos, a explicação é simples. É que decidi elaborar infográficos, gráficos interativos, para mostrar esses resultados, já que tenho adotado, com meus alunos no curso de graduação (licenciatura) de Ciências Biológicas na PUC Minas, a criação de infográficos. Como atividade na aprendizagem, os estudantes elaboram pesquisas de base quantitativa e apresentam os resultados em infográficos criados em sites que permitem utilização gratuita, ainda que com algumas limitações.  Esse infográfico que elaborei sobre a avaliação CAPES é um dos que os estudantes veem quando da minha aula introdutória ao  tema da infografia.
A resposta dos estudantes a essa prática de um novo gênero textual tem sido bastante satisfatória e, com isso, meu entusiasmo pela adoção desse recurso visual para apresentação de dados só aumenta.
______________
Da leitura comparada da avaliação CAPES dos Programas de Pós-graduação realizada em 2013, considerado o triênio 2010-2012, elaborei um infográfico para os resultados finais (em porcentagem) encontrados para cada uma das 48 Áreas.
No infográfico, que está está disponível em  https://infogr.am/avaliacao_capes_2013, é possível ver a porcentagem de Programas em cada estrato (nota) em cada uma das 48 Áreas da CAPES.  Pode ser uma leitura interessante.
Na primeira parte do infográfico, dos dados gerais, para saber os números em cada uma das Áreas basta colocar o cursor do mouse sobre a nota (conceito).  Coloquei, nas linhas superiores, os dados da média geral do conjunto dos Programas e os da Área de Educação, na tentativa de favorecer comparações com as demais Áreas.
Nos gráficos por nota (conceito), em escala decrescente de frequência entre as Áreas, basta colocar o cursor do mouse sobre a barra para identificar cada Área.
Essa tarefa que me impus, apesar de todo o trabalho de levantamento de dados, foi para mim interessante. Cheguei a um olhar sobre a avaliação da CAPES que não pudera ter antes. Deu trabalho, mas valeu a pena; pelo menos, para mim.
______________
NOTA. Um infográfico com as avaliações pela CAPES da Área de Educação em 2007, 2010 e 2013, acrescidas da avaliação (provisória) em 2014, está disponível em https://infogr.am/capes—avaliacaoda-pos-graduacao.
Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s


%d blogueiros gostam disto: