Nos dias 26 e 27 de Agosto, participei do Seminário de Meio Termo da CAPES, evento no qual os coordenadores de Programas de Pós-Graduação (PPG) de diversas áreas se reúnem com seus coordenadores de área para um diagnóstico dos PPGs passado metade (um pouco mais) do período da avaliação quadrienal (2017-2020).

Abertura — Diretoria de Avaliação

Veja os slides utilizados pela Diretoria de Avaliação na abertura.

Sérgio Avelar (representando a Sônia Báo, Diretora de Avaliação), falou do Sistema Nacional da Pós-Graduação (SNPG), que apresenta um crescimento natural independente se estamos em crise ou não, o que impõe desafios para o processo de avaliação, forçando o SNPG a se reavaliar e se readequar. A avaliação é normativa e regulatória, com entrada anual e permanência quadrienal, conduzida pela comunidade acadêmica, com apoio da agência. O sistema da CAPES recentemente foi muito bem avaliado por uma consultoria da OCDE.

Repensando a avaliação, foi feito um trabalho para se melhorar os instrumentos, com participação de várias instituições que colaboraram na discussão. Para esta quadrienal teremos uma avaliação de transição e na próxima quadrienal serão adotados todos os novos procedimentos pensados. O foco será numa avaliação multidimensional: ensino e aprendizagem, impacto e relevância para a sociedade, inovação e transferência do conhecimento, produção de conhecimento e internacionalização/inserção. Foram então criados 3 Grupos de Trabalho (GTs) para estabelecer as variáveis que serão usadas em cada dimensão, com a meta de ter a nova ficha de avaliação já em 2021. A cada quadrienal, a CAPES tenta antecipar essa divulgação. Sérgio ressaltou ainda algumas novidades já presentes nesta avaliação: a importância da autoavaliação, do alinhamento do planejamento estratégico do programa com o planejamento estratégico de sua instituição.

Em seguida, falou de algumas ações em andamento, como publicação de portarias com revisão de normas da pós-graduação stricto sensu, o trabalho no Qualis Referência (ressaltando que não foi publicado oficialmente, apenas compartilhado com as áreas), revisão da ficha de avaliação, planejamento estratégico da pós-graduação e o CONECTI, uma plataforma nacional de integração das diversas bases de dados relacionadas à educação, ciência, tecnologia e inovação (CAPES, CNPq, IBICT, CONFAP, Scielo, RNP). Sugeriu que todos os docentes vinculassem suas contas na plataforma Sucupira com o ORCID para auxiliar nesta integração. Mencionou ainda os 9 GTs criados recentemente, muitos dos quais já publicaram seus relatórios.

Por fim, falou dos objetivos do seminário — fazer o retrato dos programas e traçar orientações/recomendações; propor apontamentos sobre a ficha de avaliação e discutir indicadores; conduzir uma avaliação diagnóstica que induza adequações até o final do período; dar seguimento às mudanças em curso no processo de avaliação — e dos pontos de atenção a serem discutidos — ficha de avaliação, Qualis Referência, ESSPIRAL, produção técnica, orientação aos PPGs e fusão de programas (Portaria 256/2018).

No dia seguinte, após retornar de seu compromisso fora de Brasília, a Diretora de Avaliação da CAPES, Sonia Báo, passou nas diversas salas onde as áreas estão reunidas para dar suas boas-vindas e ressaltar alguns pontos já trazidos pelo Sérgio Avelar no dia anterior.

Sônia ressaltou a importância do seminário de meio termo (SMT), pois a avaliação deve ser precedida de acompanhamento e no SMT os coordenadores de área podem ter uma visão geral dos programas e saber quais deles precisam de um acompanhamento mais de perto, além de permitir que os coordenadores conversem entre si para trocar experiência.

Falou ainda que a CAPES está aprimorando os mecanismos de avaliação, pois o sistema dobrou de tamanho. A saída que está sendo buscada é uma maior participação das instituições no processo de avaliação (ao invés de esperar a CAPES ditar as regras), ter o planejamento da instituição atrelado à autoavaliação dos programas, manter os números de publicação, porém buscando um equilíbrio entre o quantitativo e o qualitativo, buscando qualidade nas publicações, refletida em uma maior internacionalização e visibilidade dos programas e/ou um impacto dos trabalhos na sociedade (transferência de conhecimento aos diferentes setores). Alguns GTs estão ainda em andamento e sugestões são bem-vindas para aprimorar o sistema.

A avaliação qualitativa será feita com base no que os próprios programas indicarem como destaques no período da quadrienal (destaques entre os egressos, dissertações e teses premiadas, etc.). A parte quantitativa a CAPES já tem e já trabalha há anos com esta análise, já tem expertise.

Questionada sobre o contingenciamento de bolsas, mencionou que estamos ainda aguardando o descontingenciamento por parte do MEC mas que a Diretoria de Apoio e Bolsas já vem elaborando um novo modelo de distribuição, pois há programas que vem recebendo nota baixa nas últimas avaliações com muitas bolsas, enquanto programas que vem aumentando sua nota com uma quantidade baixa de bolsas. Não há nada fechado, porém provavelmente a nota dos programas, além da área e do IDH da região em que se encontra terão um papel nesse novo cálculo.

Abertura — Coordenação de Área

Em seguida, passou-se à fala do CA-CC. Paulo Cunha inicou relembrando os pontos já trazidos pelo CA-CC em apresentações anteriores, colocando agora o foco no que será discutido neste seminário: potencializar a formação, transformar conhecimento para a sociedade, fortalecer a internacionalização, avaliar qualitativamente e aumentar a transparência. Para cada item, trouxe questões particulares:

• Formação: qualidade, onde estão os egressos, produção com discentes/egressos, valorizar atuação discente na sociedade;
• Conhecimento: aplicação sem esquecer a ciência básica, projetos com indústria, geração de riqueza e benefícios para a sociedade;
• Internacionalização: alinhamento com organismos internacionais, visibilidade no mundo, projetos de cooperação internacional, participação em comitês/órgãos internacionais, prêmios, atração de estrangeiros, fortalecimento da internacionalização nos doutorados mais qualificados;
• Avaliação qualitativa: avaliar qualitativamente as 4N melhores produções, produção bibliográfica e técnica, casos de sucesso, melhor equilíbrio entre indicadores qualitativos e quantitativos, participação em redes temáticas de cooperação;
• Transparência: trabalhar com a SBC e outros setores da sociedade, ter uma visão parcial no terceiro e quarto ano, discutir as mudanças do processo de avaliação.

Apresentou então com os objetivos do Seminário de Meio Termo, que tem a participação de 73 programas (de 85 no total): alinhar a apresentação de todos os programas (por meio de um template único) para que cada um conheça o que os outros estão fazendo em termos de: acompanhamento de egressos, casos de sucesso, internacionalização e redes de cooperação. Além disso, pretende-se fazer uma apresentação parcial dos dados da área, mostrar os resultados atingidos até o momento, esclarecer dúvidas a respeito da ficha de avaliação, alinhas expectativas e planejar os próximos dois anos antes da quadrienal.

Finalizou apresentando a agenda do dia e agradecendo a participação de todos, por meio do Fórum de Coordenadores, Comissões Especiais SBC, CAPES e outros órgãos. Os slides utilizados neste momento estão disponíveis na nuvem.

Apresentação dos Programas

Passou-se para a apresentação dos diversos programas. Os slides estão disponíveis na nuvem (no mesmo endereço já citado), portanto não me ative aos dados nos resumos abaixo. Ao invés disso, me concentrei em três principais questões que me interessavam: (1) como é feito o acompanhamento de egressos; (2) o que os PPGs citam como casos de sucesso; e (3) como fazem autoavaliação. Fatos que chamaram atenção também foram incluídos.

Programas Novos

• UFAC: realizam seminários de pesquisa com discentes para autoavaliação;
• UEFS: grande foco em autoavaliação também, discutindo as diversas dimensões. Enviando docentes para pós-doutorado para formação;
• UFC/Quixadá: 109 inscritos na primeira seleção, com 17 aprovados. Na autoavaliação: reuniões de planejamento semestrais, alunos preenchem avaliação de cada disciplina;
• UNIPAMPA: empresas de TI abrindo filiais no Parque Tecnológico da UNIPAMPA, resolução de problemas da região, convênio com a prefeitura e uma cooperação internacional já;
• IFES/Serra: profissional, já tem dois projetos, um com a Arcelor Mittal e outro com a FAPES superando R$ 500 mil. Primeiro Mestrado Profissional da região Sudeste em Computação;
• IFPB: profissional, 300 inscritos, 24 selecionados. Polo de inovação IMBRAPI tem convênio com o PPG. Todos os alunos vêm da indústria e tratam de problemas práticos;
• UFMA: (tive um problema e não consegui anotar).

Programas Nota 5

• UNB: fizeram um amplo estudo dos egressos entre 2014-2018. Casos de sucesso: prêmio CAPES de tese 2016, professor IEEE Fellow, patente internacional depositada, melhor tese de doutorado SIBGRAPI 2018, start-up vendida por US$ 28 milhões. Autoavaliação: a cada 4 anos, contratando avaliador externo, reuniões frequentes de comissões e do colegiado para discutir estratégias/metas, aumento expressivo de bolsistas PQ;
• UFSC: feita uma enquete com 100% de participação dos egressos do doutorado, porém ~10% dos egressos do mestrado apenas. Casos de sucesso: iniciativa de computação na escola (ensino fundamental), sistema integrado de telemedicina, projeto com PETROBRAS com abertura de start-up, prédio solar inteligente automatizado com tecnologia IoT, sistema de diploma digital. Autoavaliação: avaliação contínua da produção, classificando os docentes em grupos e associando cotas de orientação aos grupos. Requisitos mínimos de publicação para defesa. Planejamento estratégico, disciplinas em lingua inglesa;
• UFC: vem fazendo controle de egressos, apesar da dificuldade. Casos de sucesso: projeto de parceria com a SESP/CE (SINESP Big Data), grandes projetos de infraestrutura, criação do isntituto UFC Virtual, R$ 57 milhões levantados pelos laboratórios de projeto, projetos de impacto social. Autoavaliação: sucesso do aluno e sucesso do programa, índices apresentados aos docentes e alunos para receber feedback;
• PUCPR: acompanhamento de egressos feito por formulários, programa Alumni PUCPR, contato constante. Casos de sucesso: artigos com alta taxa de citação, processo de maturidade adotado pela Softex, patente de uma mesa digital multitouch, projeto de cooperação com ETS-Montreal. Autoavaliação: planejamento estratégico, acompanhamento anual de indicadores, contrato de avaliadores externos;
• UFPR: dentre os casos de sucesso, projetos de pesquisa com grande alcance social (mais de R$ 5 milhões captados), ambiente interno que demonstra vitalidade, diversidade e abrangência, inclusão e crescimento contínuo da infraestrutura física e computacional. Autoavaliação: planejamento bottom-up (discente, impacto, visibilidade), credenciamento feito por meio da autoavaliação do docente, usando ResearchGate e Google Scholar;
• UFRN: número de alunos de doutorado é maior do que o de mestrado. Rápida pesquisa feita com egressos para o seminário. Casos de sucesso: módulos de software dos sistemas de gestão nacional, projeto Cidades Inteligentes, empresas incubadas, software de monitoramento de microssismos, patentes. Autoavaliação: semana de planejamento anual, ideia de contratar consultores externos;
• UFAM: como casos de sucesso, +20 start-ups, R$ 150 milhões de faturamento, projeto de mobilidade internacional com R$ 600 mil captado em 2017, ampliação da pós-graduação na Amazônia Legal, prêmio de Melhor Tese. Autoavaliação: avaliação discente, seminário de avaliação e planejamento, visita de avaliação da pró-reitoria.

Programas Nota 3

• IME: acompanhamento de egressos feito por formulários e também busca em Lattes, redes sociais, LinkedIn, etc. Casos de sucesso: publicações com alto número de citações, projetos de sucesso. Autoavaliação feita por procedimento padrão do IME e planejamento estratégico interno;
• UNIVALI: como casos de sucesso, ações de impacto na educação básica, perfil interdisciplinar dos docentes, projetos em colaboração com a CELESC, patentes relacionadas a tecnologias assistivas e egressos que já concluiram doutorado em outras instituições. Autoavaliação: comissão permanente da universidade que avalia pontos fortes e fracos e traça metas;
• UFSM: começaram o quadriênio com 36 docentes e esperam terminar com apenas 20 com critérios de credenciamento mais rigorosos. Casos de sucesso: projetos na área de defesa (convênio com o Exército), na área médico-hospitalar e na área de circuitos integrados. Autoavaliação é contínua por meio da revisão de normas, autoavaliação institucional e seminários junto à pró-reitoria para alinhamento com o planejamento estratégico da universidade;
• UEL: nos casos de sucesso, o POSCOMP, eventos (Maratona de Programação, SBSI, ERBD), best papers e menção honrosa. Autoavaliação feita de forma simples e objetiva por questionários, reuniões mensais em que se discutem problemas do programa.
• UERN/UFERSA: nos casos de sucesso, egresso com colocação profissional de destaque nos EUA, prêmio top 5 em desafio de start-up, prêmio mérito acadêmico. Autoavaliação feita a cada 3-4 meses com as pró-reitorias das duas instituições, mensalmente o colegiado pauta questões que impactam desempenho.
• UFJF: dentre os casos de sucesso, citou premiações em concursos de teses e dissertações. Autoavaliação: pró-reitoria vem adaptando programa de avaliação da graduação para a pós. Uso de critérios das agências de fomento para avaliação;
• UFS: como casos de sucesso, citou boa colocação dos egressos e internacionalização do corpo docente. A autoavaliação é feita por uma comissão, que está elaborando um plano;
• UFMA: os casos de sucesso citados foram trabalhos na área de sistemas ubíquos/distribuídos, ferramenta de autoria, aplicativos na área de processamento de imagem. A autoavaliação é feita por uma comissão de avaliação permanente que acompanha 13 indicadores do programa desde 2018, que vai agora se adequar às novas regras da CAPES;
• UNIFACCAMP: dentre os casos de sucesso, citou a qualidade da formação, prêmios e patente. A autoavaliação é feita por formulários dirigidos aos alunos e indicadores do programa retirados da plataforma Sucupira;
• FURG: nos casos de sucesso, citou projetos de PD&I em áreas estratégicas, prêmios, artigo com alto número de citações. Autoavaliação é realizada por comissões de bolsas, científica, egressos e, em especial, por comissão denominada “rumo ao Doc”, com a meta de chegar à nota 4;
• UDESC: o acompanhamento de egressos é feito por meio de uma lista. Como casos de sucesso, citou grupo que trabalha com fisioterapia com jogos sérios, prêmios, fomento, a nuvem computacional LabP2D, produções relevantes, participação em comissões e organização de eventos. A autoavaliação é feita por meio de uma comissão do programa e uma da universidade, com análises interna e externa;
• UFAL: citou como casos de sucesso citou prêmios recebidos por docentes e discentes. A autoavaliação é feita em cima de um plano estratégico feito a partir do resultado da última quadrienal;
• UFPI: como casos de sucesso, citou parceria com a UFMA que resultou em doutorado por associação, prêmios em conferências e um software produzido pela linha de pesquisa de IA que é usado em nível nacional. Como autoavaliação, foi realizado planejamento estratégico em 2014 (por meio da análise de programas com notas maiores) e um novo esforço será feito agora em setembro;
• UFLA: nos casos de sucesso citou colaboração com projeto da UFMG, projeto de desambiguação de dados de publicações que é usado pela comunidade acadêmica, produção de tecnologia assistiva e soluções matemáticas aplicadas à indústria. A autoavaliação é conduzida pela pró-reitoria de pós-graduação com 13 indicadores para docentes, 12 para discentes (teses e dissertações) e 7 de produção intelectual, com controle anual;
• UFSCar/Sorocaba: como casos de sucesso citou um projeto que auxilia o cidadão a encontrar pontos de coleta seletiva, projeto de formação docente do ensino fundamental que recebeu Selo da SBC, organização de eventos, metodologia DUCI, prêmio JABUTI, start-ups e prêmios. A autoavaliação é feita com reuniões anuais com os docentes e, em andamento, estão alinhando com a autoavaliação da instituição;
• USP/Ribeirão Preto: nos casos de sucesso citou software usado com pacientes com Síndrome de Down, software de detecção de fake news e publicações com alto impacto. Na autoavaliação, foi realizada avaliação qualitativa este ano, avaliando o feedback da última quadrienal;
• CEFET/RJ: como casos de sucesso citou publicações de impacto, trabalhos de impacto na sociedade (pesquisas na área de pedofilia e depressão), pacote para análise de dados bastante utilizado por desenvolvedores, ferramenta robótica para vídeos time-lapse (buscando patente). A autoavaliação vem sendo feita de forma ad-hoc, porém vem sendo sistematizada a partir de 2019 por meio de criação de comissões de apoio, baseando-se em documentos referenciais da SBC e também no UK Quality Code for Higher Education, que consideram muito interessante;
• UTFPR/Ponta Grossa: nos casos de sucesso citou projeto com a Fiat Chrysler Automobiles e outros com a Renault, que geraram muitos produtos, além de um evento acadêmico regional que vem atraindo atenção de fora da região. A autoavaliação está em fase de implantação, com 4 comissões atuando em conjunto (Avaliação e Acompanhamento, Índice de Produtividade, Avaliação pelos Discentes e de Egressos);
• UNIFACS: dentre os casos de sucesso citou projeto de análise do perfil do custo do SUS, projeto para análise de dados fiscais e finaiceiros com a Receita Federal e Banco Central, liderança no desenvolvimento na área de Dívida Técnica e outros projetos com impacto acadêmico. A autoavaliação é feita por mecanismos institucionais de avaliação 360, que estão sendo adaptados para o que pede a CAPES;
• UNIFEI: como casos de sucesso, citou projeto BlackBee Drones, Honeywell Itajubá, projeto de Transparência Pública, projetos com o Ministério do Planejamento, P&D Eletronorte, dezenas de pedidos de registro de software, além de pedidos/registros de patentes. A autoavaliação é feita pela avaliação discente das disciplinas, classificação semestral dos docentes, cotas de alunos por produção e reavaliação das normas de credenciamento;
• UFRPE: nos casos de sucesso, mencionou grupos de pesquisa em destaque (computação e informação quântica, informática na saúde e astroinformática) e interações com o mercado e sociedade (SENAI, GM, Exército, UNESCO/UNICEF, 2 start-ups criadas). A autoavaliação é feita por meio de avaliação discente semestral e avaliação docente anual.

Programas Nota 3 Profissionais

• UFMS: programa que nasceu de parceria com a EMBRAPA. Citou como casos de sucesso patentes sendo elaboradas (monitoramento de bovinos, transponder RFID com sensor de temperatura, medição de temperatura em bovinos). A autoavaliação é feita anualmente em conjunto com a autoavaliação da universidade (planejamento estratégico);
• UTFPR/Curitiba (Computação Aplicada): nos casos de sucesso citou egressos de destaque. A autoavaliação é feita por meio de uma pesquisa anual dos egressos e avaliação anual da produção docente e discente;
• UNB: como casos de sucesso, trouxe trabalhos que tiveram impacto na sociedade (economia de mais de R$ 1 bilhão no INSS, avaliação pelo TCU do Bolsa Família, descoberta de indícios de lavagem de dinheiro pela Receita Federal, etc.). Os alunos do programa fazem parte do alto escalão de órgãos do governo e, portanto, conseguem implantar o resultado de seus trabalhos nestes órgãos. A autoavaliação é feita por meio de preenchiemnto de formulário no dia da defesa do aluno pelo próprio aluno e pela banca. Está programado o planejamento estratégico para os próximos meses;
• UTFPR/Cornélio Procópio (Informática): utilização de questionários para buscar informações de egressos. Nos casos de sucesso, citou integração com as empresas de TI da região, visitas técnicas de curta duração de instituições internacionais e colaborações nacionais. A autoavaliação é feita por uma comissão de avaliação e acompanhamento do programa;
• UPF: entram em contato com os egressos anualmente para acompanhar onde se encontram. Como casos de sucesso, citou projetos com impacto na sociedade (software para reabilitação de idosos, monitoramento de saúde, sistemas de apoio à agricultura). Na autoavaliação, foi feito planejamento estratégico 2017-2020 que é constantemente atualizado, com reuniões trimestrais com docentes ativos e seminário semestral com alunos;
• UFRN: faz o contato individual com cada um dos 37 egressos. Nos casos de sucesso mencionou melhorias nos processos de desenvolvimento de empresas locais (ESIG, IVIA), bem como os sistemas usados nacionalmente desenvolvidos pelo IFRN e UFRN (família de sistemas SIG). A autoavaliação é realizada por meio de um plano “bi-quadrienal” de identificação de fragilidades e estratégias para mitigação;
• UEMA: como caso de sucesso, mencionou um sistema para auxílio em detecção em rota de foguetes. A autoavaliação é feita por meio de um programa da pró-reitoria de pós-graduação.

Programas Nota 4 Profissionais

• CESAR: nos casos de sucesso, destacou que 20% dos discentes participou da criação de algum novo empreendimento, software para tratamento de crianças autistas, plataforma para auxílio a idosos, plataforma de entregas comunitárias e meta-plataforma de IoT. A autoavaliação é feita de maneira sistemática pela coordenação e colegiado com participação dos discentes;
• UFPE: como casos de sucesso, elencou publicações que relataram aplicações práticas dos trabalhos desenvolvidos. A autoavaliação está em elaboração, serão construídos questionários a serem preenchidos por docentes e discentes.

Programas Nota 4 Acadêmicos

• UFCG: como casos de sucesso, elencaram a contribuição na expansão do ensino superior na região, estrutura curricular focada na formação de pesquisadores, rede de colaboração diversificada e aproximação dos pós-graduandos com empresas. A autoavaliação é feita a partir da observação dos indicadores da CAPES e estão trabalhando numa nova forma de avaliação;
• UFSCAR: nos casos de sucesso, citou a linguagem NELL (Never-Ending Language Learning), a ferramenta Start (Revisão Sistemática), artigos com aplicação prática e a start-up tokenlab. A autoavaliação está em processo de mudança, com várias dimensões e objetivo de alcançar a nota 5;
• UFES: na minha apresentação, citei que não temos ainda mecanismo ostensivo de acompanhamento de egressos, mas estamos trabalhando no desenvolvimento de um sistema de informação para apoio a esta tarefa por meio de um projeto de extensão. Nos casos de sucesso, mencionei o carro autônomo da UFES (destaque na imprensa [1], [2], [3]), a ontologia de fundamentação UFO e a linguagem OntoUML (utilizada por organizações de renome e tema de keynote em conferência com alta visibilidade), o projeto FUTEBOL, contemplado em chamada H2020 da União Europeia (com duas start-ups geradas [1], [2]) e PlaySEM, um software que vem sendo usado por universidades européias. A autoavaliação é feita por iniciativas da Pró-Reitoria de Pesquisa e Pós-Graduação, com recente convite a consultores externos para avaliação dos programas, além de planejamento estratégico do próprio programa feito em 2018 e com vários projetos sendo implementados;
• UFRJ-DCC: como casos de sucesso, mencionou a representatividade dos docentes, premiação dos alunos, atualidade das pesquisas, destaques dos egressos e engajamento dos alunos. A autoavaliação é feita anualmente, nas dimensões de desempenho dos professores e formação dos alunos;
• UFMS: nos casos de sucesso, mencionou a parceria com a EMBRAPA, TJ-MS e MP-MS e uma start-up de um sistema robótico para limpezas em usinas solares. A autoavaliação é feita pela coordenação com base em índice de publicações, seminários e workshops com coordenadores e professores de outros PPGs e metas de planejamento estratégico;
• UNIFOR: como casos de sucesso, citou ferramenta para registro de ocorrências criminais usada pela PM-CE, ferramenta de otimização de processos industriais, implementação de processos de software, reabilitação de crianças com paralisia. A autoavaliação é feita nas dimensões de teses e dissertações, produção intelectual, atuação de egressos, docência, e impacto social e inovação;
• UNISINOS: uso da ferramenta LinkedIn para analisar a colocação de egressos. Nos casos de sucesso, mencionou publicações em periódicos qualificados, formação dos 2 primeiros doutores com 4 artigos no iRestrito cada, Minter e Dinter do programa com MT, projetos com empresas como DELL e Siemens, criação do primeiro chip IoT, 9 de 12 professores são PQ ou DT. A autoavaliação é feita com definição de metas no início de cada ano, acompanhamento em reuniões mensais do colegiado, formulários preenchidos pelos alunos, avaliação de infraestrutura, avaliação bianual para recredenciamento, planejamento estratégico e comissão de autoavaliação.
• UFU: como casos de sucesso, listou o projeto SIPAC (programação de centrais telefônicas), projeto OFELIA (novas arquiteturas de rede), organização de eventos apoiados pela SBC, UBERHUB CODE CLUB (incentivo à formação de desenvolvedores de software) e CROKAGE (ferramenta de busca de código dentro do Stack Overflow). A autoavaliação é financiada pela pró-reitoria com um consultor externo que acompanha e planeja de maneira conjunta ações com participação dos docentes/discentes;
• UEM: os egressos são acompanhados anualmente como parte do trabalho da Comissão de Autoavaliação, usando questionários e LinkedIn. Nos casos de sucesso, mencionou prêmios relacionados à inovação (Selo de Inovação SBC, Desafio Cidades Inteligentes, etc.), iniciativas que aumentaram a rede de relacionamento e captação de recursos (PROCAD, INCT, etc.), atuação de egressos. A autoavaliação é feita por uma Comissão de Autoavaliação, da qual faz parte um membro externo, análise anual de dados e definição de metas;
• UFG: como casos de sucesso, citou start-up do ramo de geoprocessamento, centro de excelência em IA do Estado de Goiás, sistema de modelagem e simulação de tráfego, start-up Syncar na área de veículos autônomos acelerada no Canadá. A autoavaliação está sendo ainda implantada;
• UFV: acompanham os egressos por meio de buscas no LinkedIn e currículo Lattes, feitas por um estagiário. Nos casos de sucesso, mencionou apenas os do biênio: 1º lugar no GISCUP 2018, 1º, 3º e 6º lugares no MicroRTS, melhor artigo no WSCAD 2017 e ClickOnMap Platform, que permite criação rápida e intuitiva de um Geobrowser. A autoavaliação é feita por meio de reuniões semestrais com todo o corpo docente para análise dos indicadores da CAPES;
• UFPA: como casos de sucesso, citou organização de eventos, best papers em eventos, doutores formados e absorvidos pela própria UFPA, 7 professores PQ e 2 DT (50% do corpo). A autoavaliação é feita dentro do Programa de Acompanhamento Institucional com visitas de consultores externos, com renovação do credenciamento no final do quadriênio e avaliações semestrais dos índices do programa;
• PUC-MG: é feita uma análise anual dos egressos com preenchimento de questionários. Nos casos de sucesso, citou atividades de impacto social, 13 start-ups criadas por egressos, atuação de egressos como docentes (alguns são PQ), criação do hub de inovação PUC Tec. A autoavaliação é feita por uma Comissão Permanente de Avaliação, que agora inclui também a pós-graduação, com reuniões sistemáticas com alunos matriculados;
• UFPB: como casos de sucesso, listou o VLibras, o Ginga, parceria com empresas financiadora de bolsas, plataforma de registro e presentação de diplomas digitais GT-RAP e jogos educacionais em uso na rede municipal da cidade. A autoavaliação é feita com periodicidade anual (índices de publicação, bolsistas PQ/DT, acompanhamento de egressos, internacionalização e planejamento estratégico), com recredenciamento bienal com janela quadrienal;
• UPE: nos casos de sucesso, citou a organização de conferência LA-CCI, integração com empresas, o programa GCUB/OEA para atração de alunos estrangeiros, células empreendedoras, sala de aula aberta e internacionalização do ensino. A autoavaliação acontece institucionalmente desde 2016 e estabelecimento de normas de credenciamento desde 2015.
• UNESP: como casos de sucesso, citou start-ups, programa de mobilidade, realização de workshop anual. A autoavaliação é feita semestralmente;
• UNIRIO: o acompanhamento de egressos é feito pela secretaria, extração de informação do LinkedIn e por uma comissão. Em casos de sucesso, são referência em pós-graduação em Sistemas de Informação, citou alunos egressos concursados em federais, livros de referência (prêmio JABUTI), editoração do iSys, patentes, registros de software e a marca Hack@UNIRIO. Mencionou também a resiliência do grupo, pois recentemente perderam 5 docentes e mantiveram os níveis de produtividade. A autoavaliação é feita pela comissão estratégica, com acompanhamento anual de docentes, semestral de alunos e anual do programa;
• UFOP: nos casos de sucesso, mencionou o TerraME, simulador espaço-temporal usado por várias instituições de renome, o programa Empreenda em Ação, que já movimentou mais de 2.000 alunos, e o módulo Python-MIP para otimização. A autoavaliação é feita por meio de regras claras de recredenciamento, qualidade das teses e produção;
• USP-EACH: como casos de sucesso, citou o aplicativo ViMeT para simular exames de biópsia com Realidade Virtual, um sistema classificador de autismo, um artigo que serviu de base para três estudo de caso na UNICEF, uma ferramenta vencedora de competição de inovação e uma ferramenta de teste automático premiada pelo Facebook. A autoavaliação é feita por meio de um programa anual da pró-reitoria de pós-graduação. São realizadas reuniões periódicas com todos os docentes para avaliação geral e individual;
• UFABC: nos casos de sucesso, relatou 1º lugar em competição em desenvolvimento de jogos, prêmios, plataformas para consultas públicas (ScriptLattes, Acacia, Rede CpE), aplicativos para auxílio a biólogos e publicação de livro. A autoavaliação é feita por meio de acompanhamento dos egressos via formulários e ações da pró-reitoria de pós-graduação, com foco em interdisciplinaridade e internacionalização;
• UFPEL: como casos de sucesso, citou a participação do programa na criação da incubadora e do parque tecnológico, start-ups criadas no programa, prêmio de melhor dissertação, captação de recursos no Serrapilheira e Google Research Awards, formação de 32 professores e dois projetos de internacionalização. A autoavaliação é feita por uma comissão de avaliação com o uso do software Cientum para automatizar a análise;
• UFBA: destacou como casos de sucesso 7 best papers, 2 das 4 teses de doutorado premiadas e 2 prêmios de alunos de mestrado. A autoavaliação será mais bem formalizada, porém já são feitas avaliações das disciplinas, seminários anuais de avaliação com apresentação dos discentes e relatórios produzidos no contexto da avaliação institucional.

Programas Nota 6 Acadêmicos

• PUC-RS: nos casos de sucesso, listou o Tecnopuc (ecossistema de inovação), o fato de 70% do fomento para os alunos vindo da indústria, o toolkit CloudSim cujo artigo teve mais de 3.700 citações, mais de 48.000 citações somando todos os docentes do programa, prêmio de inovação para um simulador de multidões CrowdSim. A autoavaliação é feita por meio de seminários de recredenciamento, reuniões de planejamento estratégico, grupos de trabalho e questionários de satisfação de alunos e docentes;
• UFF: como casos de impacto, mencionou projetos premiados nas áreas de computação aplicada à saúde, indústria do petróleo (R$ 50 milhões desde 1996), otimização combinatória, redes em malha sem fio (fomento FINEP, ANEEL, patentes e registros de software), games e processamento de alto desempenho (primeiro supercomputador da América Latina para deep learning). A autoavaliação é feita por um colegiado reduzido (1 membro por área + 1 discente) com reuniões mensais, atração de docentes com perfil de pesquisador, credenciamento focado em qualidade, ações em formação e impacto na sociedade.
• USP-IME: nos casos de sucesso, citou o Centro de Competência em Software Livre, que motivou a criação de diversas start-ups, extensão do método Szemerédi no contexto esparso e de hipergrafos e suas aplicações, criação da área de projeto automático de operadores morfológicos, com alto impacto de nucleação. A autoavaliação é feita por meio da participação nas atividades da pró-reitoria com seleção qualitativa das melhores publicações, planejamento estratégico e contato com egressos (plataformas Alumni, LinkedIn, tornar o contato benéfico para os dois lados).

Programas Nota 7 Acadêmicos

• PUC-RIO: nos casos de sucesso, falou da Linguagem de Programação LUA, o instituto TecGraf, a tacnologia GINGA, contribuição fundamental para a área de IHC e formação de docentes para várias IES brasileiras. A autoavaliação é feita anualmente com um planejamento estratégico quinquenal, avaliando docentes e discentes em várias dimensões, incorporando as diretrizes da CAPES regularmente;
• UFRJ-COPPE: começaram a elaborar alguns instrumentos de acompanhamento de egressos (plataformas Alumni), mas até o momento é feita de forma ad-hoc. Dentre os casos de sucesso, citou o MPS.BR, o Rio Orla Digital/Baixada Digital (redes de alta velocidade para comunidades carentes), Servidor Rio (armazenamento multimídia), Web Dengue, DINTERs e start-ups incubadas. A autoavaliação é feita por avaliação anual dos docentes por meio da Comissão de Avaliação de Docentes do instituto, bem como acompanhamento discente contínuo, avaliação de disciplinas, etc.;
• UFRGS: nos casos de sucesso, falou do papel do programa na origem da indústria de TI do RS (criação do primeiro modem do Brasil), criação e consolidação da SBC, criação da primeira incubadora e do primeiro centro de empreendimentos em informática, a Aliança para Inovação de Porto Alegre, participação no painel da ONU para Cooperação Digital. A autoavaliação é feita com reunião de planejamento estratégico de 2 dias fora da sede, reuniões de conselho, avaliação de disciplinas, etc.;
• UFMG: como casos de sucesso, citou a Akwan (adquirida pela Google), projetos Embrapii, projetos com repercussão extra-acadêmica (ex.: eleições sem fake), projetos de impacto social e interface com educação básica. A autoavaliação é avaliada em dimensões de corpo docente, pesquisa, corpo discente, internacionalização e projetos;
• USP-ICMC: nos casos de sucesso, elencou o corretor da lingua portuguesa comprado pela Microsoft, primeiros veículos aéreos não tripulados com patente na EMBRAPA, detector de enchente, CEPID voltado para otimização, dentre vários outros. A autoavaliação é feita em conjunto com a pró-reitoria com reuniões periódicas (também internas do programa), o uso do DataUsp (comparativo com os demais programas da USP) e dos dados levantados pelo prof. Adenilso;
• UFPE: como casos de sucesso destacou a criação do ecossistema de TI no Estado de Pernambuco (CESAR, Porto Digital, etc.), esforços de nucleação (195 professores egressos), o grupo de pesquisa de Inteligência Computacional, o laboratório Voxar e projeto de PID com a Motorola. A autoavaliação é feita com apoio de planejamento estratégico do CIn e também do PPG (em andamento) e ações de avaliação e diagnóstico;
• UNICAMP: nos casos de sucesso listou sequenciamento de genoma (boom da bioinformática), kit para múltiplas coletas de material fecal laboratorial (processamento de imagens), método de criptografia, detecção automática de lesão na retina (diabetes), produções na área de IHC. A autoavaliação é feita desde 2001 pela instituição usando a metodologia Gestão Estratégica Fácil, com contratação de consultor para criação do planejamento estratégico do programa.

Apresentação da Área e Discussão

Os slides utilizados neste momento também estão disponíveis na nuvem, no mesmo endereço dos outros.

O coordenador do CA-CC, Paulo Cunha, fez uma análise do que foi apresentado ao longo do Seminário de Meio Termo. Em relação ao acompanhamento de egressos, muitos programas estão fazendo e a expectativa é que para a quadrienal todos já tenham um processo mais sistematizado de acompanhamento de egressos.

Nos casos de sucesso, viu-se diversos casos relevantes (políticas públicas, software, hardware, técnicas, artigos muitos citados, teorias, formação, etc.). O direcionamento é para demonstrar resultados que demonstrem continuidade do impacto, de preferência algo que já tenha surgido em quadriênios anteriores e continue neste. Também é importante colocar mais indicadores (economia, valor, downloads, citações, nucleação, cooperações internacionais, etc.).

Com relação à autoavaliação, a impressão que ficou é que a maioria dos programas a faz de maneira ad-hoc. O direcionamento, portanto, é sistematizar um processo de autoavaliação de cada programa com etapas de análise, diagnóstico, ações/metas e acompanhamento dentro de uma periodicidade estabelecida, respeitando as características de cada instituição e alinhado com o planejamento estratégico da mesma.

Em termos de redes de colaboração, viu-se uma rica variedade de colaborações tanto com a academia quanto com a indústria. Precisamos no entanto avançar mais em uma definição do que consiste uma rede de colaboração (ponto-a-ponto ou rede mesmo; temporária ou contínua; o que caracteriza a ligação entre duas instituições?). Importante explicitar a formalização destas colaborações, em termos de convênios existentes, recursos de fomento recebidos, etc. Aqui, solidariedade, mobilidade, internacionalização e impacto são importantes.

Relativo à internacionalização, viu-se participação de diversos programas no PRINT. É preciso trabalhar na mobilidade bidirecional, representatividade em eventos, periódicos, entidades, como já mencionado pela Sônia Báo mais cedo.

Em suma, o SMT serviu como aprendizado coletivo, oporturnidade de networking e de construção coletiva para a avaliação quadrienal. Um relatório final apresentará uma síntese dos aspectos relevantes tratados no evento.

Na sequência, Avelino Zorzo (coordenador para programas profissionais) reforçou a importância de incluirmos como casos de sucesso apenas aquilo que surgiu em quadriênios passados e que ainda é relevante e tem impacto neste quadriênio.

Avelino mencionou também a responsabilidade da área de Computação da CAPES, pois foi construído um respeito das outras áreas em relação à nossa e temos que cuidar para que isso se mantenha. Portanto, às vezes não conseguiremos fazer algo mais ousado. Lembrou que na fala da Diretora de Avaliação mais cedo ela reconheceu que a Computação é a única área que dá importância a eventos e isso deve ser mantido.

Passou, então, para apresentação de números (slides a serem disponibilizados em breve): total de programas e cursos de cada nível, distribuição regional, nota de cada programa por ano de criação (MSc e DSc) para, em seguida, passar para dados fornecidos pela CAPES retirados da plataforma Sucupira. Antes, no entanto, lembrou que podem existir erros, que os gráficos não devem ser olhados individualmente e devem ser analisados qualitativamente, pois é assim que eles são olhados na avaliação quadrienal. Por fim, alguns gráficos aglutinam os programas por nota, o que facilita a comparação de cada PPG com os de mesma nota ou com nota diferente.

Apresentou então gráficos relativos ao biênio 2017-2018 sobre:

• Número de docentes por nota: mostra uma certa relação entre nota e tamanho do programa, chamou atenção para um equilíbrio entre ser inclusivo e cuidar dos índices de produção;
• Média de dissertações/teses defendidas anualmente por nota: também mostra relação entre nota e número de defesas;
• Total de mestres e doutores formados: na comparação com o quadriênio passado, há estabilidade da formação anual de mestres e crescimento na formação em doutorados e mestrados profissionais;
• Dissertações/teses defendidas por programa (total e dividido por número de docentes por programa): este e outros gráficos por programa atendem a uma promessa deste CA-CC de mostrar os nomes dos programas. Importante também analisar estes gráficos articulado com a qualidade dos trabalhos, ou seja, publicações discentes qualificadas;
• Publicações qualificadas na área: já usando o novo Qualis (A1 a B4): mostrando um crescimento significativo da produção da nossa área, que só em periódicos se encontra nas top 10 áreas (se incluídos os eventos, subimos pra top 5);
• Percentual de artigos por estrato produzido pela área: 70% da produção da computação está no índice restrito (A1-A4), pois agora no novo Qualis não há mais limitação de 50% da produção de cada área no índice restrito e nem há mais deflator por estar fora de área. Relembrou também que foi dada importância à consulta às Comissões Especiais da SBC, que todos devem contribuir;
• Média do iRestrito e do iGeral por nota: mostra também relação entre estes valores e as notas. Mostra ainda os novos valores de “A1-equivalente” para o novo Qualis (a serem divulgados oficialmente em breve): A1 = 1; A2 = 0,875; A3 = 0,75; A4 = 0,625; B1 = 0,5; B2 = 0,2; B3 = 0,1; e B4 = 0,05;
• Valor do iRestrito e do iGeral por programa (total e dividido por docente): mostrou os mesmos gráficos tanto dos programas acadêmicos quanto dos profissionais;
• Produção bibliográfica por docente: o primeiro gráfico que não respeitou a curva que aumenta o valor do indicador com o aumento da nota do programa, porém possivelmente por erros de preenchimento;
• Produção técnica (diversos gráficos): 90% da produção analisada cai na categoria “outros”, não se encontrando nos 10 tipos de produção mais relevante que vem sendo trabalhado entre CA-CC e CAPES. Ressaltou a importância desse item na nova avaliação também para programas acadêmicos e acredita que muitos docentes/programas acabam não informando este tipo de produção na Plataforma Sucupira.

Avelino passou a relatar alguns cuidados que os programas devem ter ao preencher os dados no Coleta (erros comuns encontrados): publicações duplicadas (aparecem em dois anos seguintes, provavelmente por causa de online first); produção técnica não informada (importante elencar ao menos as mais relevantes); número de docentes colaboradores maior do que diz o documento de área (3 programas extrapolam isso); limite de saturação 3:1 de conferência para periódico (não é um grande problema, pois as menos qualificadas são descartadas); falha no preenchimento dos dados de participantes externos (alguns programas conseguem fornecer os dados que o Sucupira pede, então é factível).

Fechou sua fala com um ponto em aberto: publicações em periódico aderente ou não aderente. O CA-CC foi bem inclusivo nos periódicos aderentes, trazendo toda a área da Computação, todas as sub-áreas das demais áreas que tinham relação com a Computação, além de permitir, no documento de área, que 1/3 dos artigos ser de fora da Computação, o que resultou em 1% dos artigos apenas ser descartado, o que é irrisório.

O CA-CC passou então a palavra ao Adenilso Simão, que demonstrou um sistema que compara os programas a partir dos dados do Sucupira e explicou ainda aos participantes como obteve os dados da Plataforma Sucupira para construção deste sistema, o que cada programa pode fazer por si próprio, se desejar fazer seus próprios gráficos/sistemas. Uma sugestão já que estamos em meio-termo é observar os gráficos do seu próprio programa e buscar algo que esteja estranho, pois pode significar algum erro de preenchimento no Sucupira que pode ainda ser corrigido em tempo da avaliação quadrienal.

Abriu-se, então, para perguntas e contribuições de todos:

• O novo Qualis será usado na avaliação quadrienal? O “novo Qualis” ainda não foi aprovado pelo CTC, mas quando for ele será sim utilizado, descartando o antigo. Com o novo Qualis, os programas e docentes não precisam mais olhar a lista do Qualis (exceto para as induções), bastando olhar os índices que estão sendo usados: percentis dos periódicos e h5 dos eventos. Sobre o novo Qualis, sugiro ler o relato da reunião do CA-CC com o Fórum de Coordenadores de Pós-Graduação em Computação ocorrida no CSBC 2019 que encontra-se aqui no blog;
• Quando se considera o credenciamento de novos docentes, como lidar com docentes que possuem a maior parte de suas produções fora da área de Computação? Nossa área é interdisciplinar, então se fizer sentido dentro da estratégia e das linhas de pesquisa do seu programa, não deve ser excluído. Observe que serão consideradas até 1/3 da produção do programa em veículos não aderentes à Computação;
• Existe algum mecanismo para consertar o que foi preenchido em anos anteriores no Sucupira? Sim. Na quadrienal passada, próximo do prazo para envio do último ano da quadrienal, abriu-se para homologar os anos anteriores. A correção pode ser feita a qualquer momento, considerando a visão interna do programa;
• PPS e PPJ, o processamento será manual? Sim, como feito na Quadrienal passada. Inclusive esse mecanismo tem sido adotado por outras áreas, mas ainda não está sistematizado no Sucupira;
• Confirma-se o uso da Portaria CAPES 81/2016 para definir professores permanentes e colaboradores, ou seja, permanente apenas os que tem vínculo funcional ou que foram cedidos formalmente? E pode-se interpretar o Art. 3º como nos dando liberdade para indicar quem é colaborador? Para a primeira pergunta, sim: será permanente ao que atender todos os pré-requisitos do Art. 3º. Para a segunda pergunta: o programa é livre, mas deve ater-se à realidade, indicando como colaborador quem efetivamente é colaborador e não usando isso para brincar com os números;
• Qual o comentário do CA-CC sobre a fala da Sônia Báo sobre quantidade vs. qualidade das produções? Em termos de qualidade da produção, nossa área está muito bem. Os casos de sucesso é uma forma de olhar esse novo aspecto: sobre transferência de conhecimento. É uma forma de melhorar os relatos dos programas para que isso possa ser avaliado;
• Só serão consideradas as 4N melhores produções? Não. A CAPES indicou que deve ser olhada a produção em diferentes aspectos: produção total, produção indicada pelo programa, produção com discente, produção de discente (discente com produção), produção no índice restrito, etc. Os 4N serão olhados pelo CA-CC de maneira qualitativa e a forma que essa análise será feita pode ser construída ainda. Na quadrienal passada se observou veículos que a maioria dos programas citava como relevante ou não, qual a distribuição dos docentes no 4N, qual a participação discente no 4N, etc. Não se usou o Qualis para análise do 4N. Serve para entender se o PPG consegue identificar o que é relevante/tem impacto;
• A produção do colaborador vai contar? E se for com discente? Não vai contar na produção dos docentes se for colaborador, mas se for com discente conta como publicação discente;
• Sobre disciplinas obrigatórias, o documento de área pede uma disciplina obrigatória de Teoria da Computação e outra de qualquer uma das 3 áreas, é isso mesmo? Sim. Parece estranho um Mestre ou Doutor em Computação não entender o que é a Computação, por isso a área de Teoria da Computação é obrigatória. Mas a forma não foi definida: pode ser disciplina, pode ser prova de dispensa, etc.
  • Programas que fazem o controle do conhecimento em Computação no ingresso (aceita apenas alunos formados em Computação) deverão mudar sua proposta para adequar-se à questão das disciplinas obrigatórias? É uma situação muito pontual/particular, sugere-se explicar isso bem claramente na proposta. Não há, no entanto, como garantir que o CTC não encontre uma inconsistência nisso, dado o que o CA-CC indicou no Documento de Área. Pode-se argumentar, por exemplo, que uma graduação em Computação (de qualquer lugar do Brasil) não garanta essa competência esperada;
  • Há uma indicação da quantidade de créditos que devem ser cumpridos nas disciplinas obrigatórias? Não há uma recomendação do CA-CC quanto a isso, no entanto todo o currículo (incluindo carga horária, programa e bibliografia) é analisado para ver se está tudo consistente;
• Em tempos de crise, programas pequenos vem produzindo mais para periódico por conta da falta de verba, recebendo críticas por conta da pouca publicação total (contando os eventos). Há uma sensibilidade para esta questão considerando a falta de verbas atual? É feita uma avaliação qualitativa sim da produção, porém lembrem-se que não é só o CA-CC que avalia, mas também o CTC. É preciso olhar para esta produção em vários aspectos (4N, produção discente, etc.);
• Visto que a Computação está bem colocada entre as áreas, não deveríamos ter uma distribuição diferente das notas dos PPGs em Computação? Existe esta preocupação sim e faremos, como no Seminário de Meio Termo da Quadrienal passada, uma comparação com outras áreas e uma proposta de equiparação neste sentido, vide quantos programas subiram de nota na última avaliação. Mas é preciso observar também que a área possui muitos programas novos e também que não pode-se fazer um movimento muito brusco;
• Há restrição do aluno ser primeiro autor na produção discente? Essa diferença não foi feita no passado, no entanto não está fechado para a próxima quadrienal e poderá sim ser usado. Em princípio, se algo assim for usado, será de maneira qualitativa, mas não discutimos este aspecto;
• Produção técnica: é preciso lançar todas ou apenas a que acharmos relevante? O princípio básico é que tudo deve ser informado, destacando-se aquilo que é relevante;
• Cursos que passam da nota 3 para nota 4 passam a imediatamente serem comparados com programas nota 4 que já possuem doutorado há anos. Não pode ser pensado um interstício em que ele não seja comparado desta forma? Na verdade os “novos 4” são usualmente comparados com os programas nota 3 para ver se ele deve ficar na nota 4. As perguntas a serem feitas são: o programa melhorou ou piorou em relação a si mesmo? Se melhorou, ele melhorou além da média da nota que se encontra? Isso indica se ele cai, permanece ou sobe;
• Dentro do contexto atual, até que ponto uma publicação de alunos de Mestrado é algo de fato importante? Houve uma discussão ampla na SBC sobre o que é formar um bom aluno de pós-graduação (todo docente e todo discente deveria ler). No passado houve uma busca incessante por quantidade de publicações, o que vem sendo ajustado nos anos mais recentes, tentando olhar mais para a qualidade. Isso deveria ser discutido no Fórum de Coordenadores, por exemplo. Poderia-se considerar, por exemplo, produções técnicas para alunos de Mestrado. Ou ainda publicações bibliográficas em veículos nacionais. Já os doutorandos estaríam mais voltados à produção bibliográfica em veículos internacionais. Isso não significa que seja ruim que alunos de Mestrado tenham publicações bibliográficas qualificadas, se esta é a estratégia e o perfil do PPG;
• Quando a produção do mestrando ocorre apenas depois dele ter formado, o CA-CC consegue identificá-lo como egresso? A CAPES consegue sim identificar pelo CPF, que deve ser o mesmo no “participante externo” (egresso, autor da publicação) e no registro do aluno;
• Há um número ideal ou máximo de orientados por orientador? Havia uma portaria, mas atualmente não há mais. No entanto, as instituições podem estabelecer seus limites (há parâmetros internacionais pra isso). Na avaliação, é feita uma análise dos extremos (nenhum orientado, por exemplo);
• No documento de área pede-se 5 anos de experiência de alguém que orienta no doutorado. Em que consiste esta experiência? A ideia era 5 anos de experiência em orientação e condução de projetos;
• Como serão tratadas as conferências bienais? Entra na mesma questão das multiconferências, em que o índice h5 não é muito bom pra isso. O CA-CC vai ter que dar uma olhada nisso de maneira diferenciada e atualmente vem fazendo isso via Comissões Especiais da SBC;
• Como serão tratados os eventos que publicam posteriormente em periódicos. Como será tratado? Para os eventos que publicam todos seus anais em periódico, a ideia atual é não classificar como evento, mas indicar no Qualis Eventos que o evento publica em um periódico de Qualis X. Os que publicam apenas os melhores artigos, o CA-CC ainda não sabe como tratar. O CA-CC conta com a colaboração da comunidade para ajudar na classificação de eventos, como vem acontecendo via Fórum;
• Faz sentido falar em Qualis nas propostas de programa, já que o CA-CC tem os números? Cada programa pode fazer sua escolha em termos do que colocar na proposta. A recomendação do Avelino é esquecer o Qualis e usar os fatores de impacto, que é bem mais perene.

Após a sessão de perguntas, pedi a fala para dizer que algumas das questões colocadas também tinham sido discutidas no encontro do Fórum de Coordenadores no Congresso da SBC e que compartilhamos na lista de e-mails do grupo várias informações relevantes, como documentos compartilhados pelo CA-CC e também relatos dos encontros, que inclusive seria publicado este relato do SMT. Convidei a todos a contribuir com o relato e a se inscreverem na lista do fórum aqueles que por acaso ainda não estivessem.

Na sua fala final, Paulo Cunha ressaltou os canais privilegiados que temos na área da Computação, como o Fórum, a SBC com as Comissões Especiais e os próprios canais com o CA-CC. Outras dúvidas podem ser direcionadas ao Fórum para serem organizadas, respondidas pelo CA-CC e posteriormente disponibilizadas a todos. Para aprofundar alguns dos temas levantados durante o SMT, poderíamos pensar em uma reunião dos coordenadores no ano que vem, porém antes do Congresso da SBC para discutirmos estes temas. Também podemos pensar em reuniões regionais dos coordenadores de PPG. Portanto, usem o Fórum de Coordenadores que iremos continuar com este trabalho colaborativo que já viemos fazendo. Por fim, agradeceu a participação de todos.

Maldonado também fez uma fala de fechamento, agradecendo a participação de todos, ressaltando a importância dos canais de comunicação como o Fórum e as Comissões Especiais. Em particular falou sobre o acompanhamento de egressos, em que muitos programas fizeram esforços de última hora para trazer os dados para o SMT. Da importância dos casos de sucesso para dar um olhar mais holístico do impacto da pós-graduação em Computação. Continuemos toda essa discussão pelos canais de comunicação para aprendizado colaborativo, construção coletiva e fortalecimento da área.

Avelino também agradeceu a participação de todos e lembrou que se houver demora ao responder questões direcionadas ao CA-CC, é porque todos são professores e possuem também suas obrigações de ensino, pesquisa, extensão e administração dentro da universidade.