XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
Uma análise multicritério para a classificação da qualidade de serviços utilizando o método ELECTRE TRI André Luís Policani Freitas (UENF)
[email protected] Helder Gomes Costa (UFF)
[email protected]
Resumo A avaliação da qualidade de serviços constitui-se numa atividade de extrema importância para que uma empresa seja competitiva – apesar de existirem inúmeras dificuldades devido à ausência de padrões de qualidade suficientemente objetivos e precisos. Uma das formas mais utilizadas para avaliar e classificar a qualidade dos serviços é através da mensuração do Grau de Satisfação do avaliador (clientes, funcionários ou avaliadores externos) com o desempenho do serviço, à luz de critérios considerados relevantes. Neste contexto, este trabalho apresenta uma abordagem fundamentada nos princípios do Auxílio Multicritério à Decisão (AMD) através do emprego do método ELECTRE TRI (Yu, 1992). Apresenta-se também um experimento ilustrativo, que se propõe a investigar a utilização desta abordagem. Palavras-chave: multicritério, múltiplos avaliadores, qualidade, serviços, ELECTRE 1.0 Introdução Em um cenário caracterizado por uma intensa competição pela conquista e manutenção de mercados consumidores, as organizações públicas e privadas vêm buscando das mais variadas formas a obtenção da vantagem competitiva. Especificamente, estas organizações estão buscando o aprimoramento, não somente dos processos produtivos (bens e serviços), mas também dos processos organizacionais e administrativos. Ou seja: neste aspecto, a competitividade encontra-se fundamentada no trinômio qualidade, produtividade e flexibilidade. Segundo Cronin & Taylor (1992), uma das estratégias mais utilizadas pelas organizações consiste na mensuração da qualidade dos serviços. Em especial, esta é uma das atividades mais difíceis devido a duas características intrínsecas aos serviços: a heterogeneidade (a grande variedade de serviços e a forte relação com o ser humano dificultam a tarefa de padronização e avaliação) e simultaneidade (os serviços são consumidos quase que simultaneamente ao instante em que são produzidos, dificultando ou quase impossibilitando a detecção e correção das falhas antes que elas ocorram e afetem o cliente). Apesar de diversas metodologias terem sido desenvolvidas para avaliar a qualidade dos serviços, observa-se que ainda existe uma carência no tratamento de problemas em questão, principalmente no que se refere à subjetividade e imprecisões inerentes ao processo de julgamento. Em especial, estes problemas são caracterizados por julgamentos subjetivos envolvendo variáveis não tradicionalmente mensuráveis (variáveis qualitativas/subjetivas), onde imprecisões, hesitações e incertezas são incorporadas e ampliadas quando realizadas por múltiplos avaliadores. Objetivando tratar deste problema, apresenta-se uma abordagem fundamentada nos princípios do Auxílio Multicritério à Decisão (AMD), através do emprego do método ELECTRE TRI (Yu, 1992). Apresenta-se também um estudo de caso, que busca investigar a aplicação desta abordagem.
ENEGEP 2003
ABEPRO
1
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
2.0 A classificação da Qualidade dos Serviços A avaliação da qualidade de serviços é uma atividade fundamental para que uma empresa seja competitiva, apesar de existirem muitas dificuldades devido à ausência de padrões de qualidade perfeitamente objetivos e precisos. Nota-se também que a qualidade de serviços ainda é um objeto de difícil compreensão, definição e interpretação, existindo afinidades e contradições entre pesquisadores. Uma das formas mais utilizadas para avaliar a qualidade dos serviços é através da mensuração do Grau de Satisfação do avaliador (clientes, funcionários ou avaliadores externos) com o desempenho do serviço, à luz dos critérios. Em geral, estes critérios são qualitativos e subjetivos. Um critério é qualitativo quando não há uma escala de valor compreensível para a sua mensuração, necessitando de uma escala auxiliar (Chankong e Haimes, 1983). É quando deseja-se avaliar a “educação” dos funcionários de uma organização (Freitas e Costa, 1998). A subjetividade presente em problemas desta natureza decorre principalmente da manifestação da percepção de cada avaliador a respeito do desempenho do serviço à luz dos critérios, envolvendo diversos aspectos cognitivos, tais como: as expectativas do cliente com o desempenho do serviço, a confirmação/não confirmação destas expectativas, considerações de experiências anteriores com o serviço ou serviços similares, dentre outros. No âmbito do Auxílio Multicritério à Decisão, a classificação dos serviços é um problema decisório em que um conjunto de avaliadores A = {A1, A2, ..., Am}, além de avaliar um serviço “X” genérico à luz de um conjunto F = {g1, g2, ..., gn} de critérios, estes devem também atribuir o desempenho do serviço a uma das categorias. As categorias são limitadas por fronteiras compostas de elementos cujos valores dependem da escala de julgamento utilizada. Dentre as escalas mais utilizadas, destacam-se a escala em “estrelas” (utilizada na classificação de hotéis, restaurantes, etc.) e a escala alfabética (utilizada até recentemente na avaliação de cursos de pós-graduação pela CAPES e, atualmente, na avaliação dos cursos de graduação pelo MEC) (Freitas e Costa, 2000). A figura 1 ilustra este problema. Fronteira 1 Categoria 1
A
Categoria 2
B
Categoria 3
C
Categoria 4
D
Categoria 5
E
Fronteira 2 Fronteira 3
?
Fronteira 4
“X”
Fronteira 5 Fronteira 6
Figura 1 - Classificação do serviço “X” segundo a escala alfabética
Nesta abordagem deve-se captar dos clientes o Grau de Importância (GI) de cada critério e o Grau de Satisfação (GS) com o desempenho do serviço à luz de cada critério. Em seguida, utiliza-se o método ELECTRE TRI (Yu, 1992) para classificar o desempenho do serviço. Em geral, há um conflito entre as classificações obtidas. Assim, a análise poderá ter três vertentes: (i) buscar o consenso entre os avaliadores quanto à classificação do desempenho do serviço; (ii) definir um procedimento para agregar os julgamentos dos avaliadores em uma única classificação; ou (iii) analisar os subgrupos compostos por avaliadores que possuem opiniões similares a respeito do serviço. Neste trabalho, a análise multicritério enfocará a vertente (iii). ENEGEP 2003
ABEPRO
2
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
3. O MÉTODO ELECTRE TRI (Yu, 1992) Este método é essencialmente utilizado em problemas de classificação de alternativas, ou seja, busca-se atribuir o desempenho das alternativas a categorias pré-definidas. No problema de classificação da qualidade de serviços sob a ótica de múltiplos avaliadores (clientes), o procedimento de atribuição do desempenho de um serviço “X” segundo o ponto de vista de um avaliador Ak resulta da comparação deste desempenho (à luz de cada critério) com os valores padrões que definem os limites superiores (upper bounds) e inferiores (lower bounds) das categorias. Para utilizar este método é necessário definir o conjunto B dos valores padrões que delimitam as p + 1 categorias (B={1, 2,..., p}), no qual bh é o valor do limite superior da categoria Ch e o valor do limite inferior Ch+1, h = 1, 2, ..., p. A figura 2 ilustra esta estrutura.
Categorias
Limites
C1 b1 C2 b2 . . .
C3 . . .
bp
Cp+1
Figura 2 - Categorias e limites no método ELECTRE TRI (Freitas e Costa, 2000)
Fundamentado nos princípios da concordância e da não discordância, este método estabelece um índice ρ (Xk, bh) ∈[0, 1] que representa o grau de credibilidade de uma relação de subordinação S. Ou seja: esta relação valida ou não a afirmação Xk S bh, a qual significa “ a intensidade com que o desempenho do serviço X sob a ótica do avaliador Ak é ao menos tão boa quanto o limite bh, k = 1, 2, ..., m, ∀h ∈ B.” (Roy, 1985). Sucintamente, o algoritmo para determinar o índice ρ(Xk, bh) consiste nestas etapas (Mousseau e Slowinski, 1998): (i) (ii) (iii) (iv)
cálculo do índice de concordância parcial cj(Xk, bh), ∀j ∈ F: cálculo do índice de concordância global c (Xk, bh). cálculo dos índices de discordância dj (Xk, bh), ∀j ∈ F. cálculo do índice de credibilidade ρ(Xk, bh) da relação de subordinação.
Após calcular os índices ρ(Xk, bh) e ρ(bh, Xk), utiliza-se um nível de corte λ ∈[0.5, 1], para determinar as relações de preferência através da condição: ρ(Xk, bh) ≥ λ ⇒XkSbh. Dois procedimentos de atribuição são então utilizados: o procedimento pessimista e o otimista. O procedimento pessimista compara o desempenho Xk sucessivamente a bi, i = p, p-1, ..., 0. Sendo bh o primeiro valor limite tal que XkSbh, atribuir Xk à categoria Ch+1. Se bh-1 e bh são os valores do limite inferior e superior da categoria Ch, este procedimento atribui Xk a mais alta categoria Ch tal que Xk subordina o valor bh-1 (XkSbh-1). O procedimento otimista compara o desempenho Xk sucessivamente a bi, i= 1, 2, .., p. Sendo bh o valor limite tal que bhPXk, devese atribuir Xk à categoria Ch. Este procedimento atribui Xk à categoria Ch mais inferior, para a qual o valor do limite superior bh é preferido a Xk (bhPXk). ENEGEP 2003
ABEPRO
3
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
4. UM EXPERIMENTO ILUSTRATIVO Nesta seção apresenta-se um experimento que teve como objetivo investigar a aplicação do método ELECTRE TRI em problemas de avaliação/classificação da Qualidade de Serviços, a partir dos julgamentos dos clientes (problema de decisão multicritério com múltiplos avaliadores). Em especial, este experimento foi realizado junto ao setor de assistência técnica de uma concessionária de automóveis, no qual foram cumpridas as seguintes etapas: (i) definição do conjunto de avaliadores (clientes) A = {A1, A2, ..., Am}: durante um período de 20 dias, os clientes foram convidados a preencher um formulário de pesquisa. Do total de formulários recolhidos, 70 formulários estavam totalmente preenchidos (cerca de 12% dos formulários preenchidos estavam parcialmente preenchidos e por sugerir a existência de incertezas e dúvidas dos respondentes, estes não foram computados). (ii) identificação do conjunto de critérios F = {g1, g2, ..., gn}: os critérios foram definidos em parceria com o Serviço de Atendimento ao Cliente (SAC) da empresa. Tais critérios foram inicialmente definidos em três contextos principais: Atendimento (Cortesia, Receptividade e Rapidez), Local (Acesso, Limpeza, Instalações e Estacionamento) e Execução (Eficiência, Tempo, Preço, Garantia e Variedade). Por utilizar uma metodologia própria para a avaliação do grau de satisfação do cliente com foco na Execução dos serviços de oficina, a empresa solicitou que não se utilizasse a avaliação neste contexto. (iii) identificação das categorias de classificação e suas fronteiras: sejam 5 categorias definidas segundo a escala alfabética (A, B, C, D, E), em ordem decrescente de preferência, conforme apresentadas na tabela 1 e na figura 3. Categorias Conceito C1 A - Muito Bom C2 B - Bom C3 C - Regular C4 D - Ruim C5 E - Muito Ruim Tabela 1 - Categorias e os respectivos conceitos
Categorias g 1
g2 g3 g4 g5 g6 g7
Fronteiras
C1 b1 = (4,9; 4,9; 4,9; 4,9; 4,9; 4,9; 4,9) C2 b2 = (3,9; 3,9; 3,9; 3,9; 3,9; 3,9; 3,9)
C3 b3 = (2,9; 2,9; 2,9; 2,9; 2,9; 2,9; 2,9)
C4
b4 = (1,9; 1,9; 1,9; 1,9; 1,9; 1,9; 1,9)
C5 Figura 3 - Categorias e fronteiras utilizadas no experimento
(iv) determinação das escalas de avaliação e limites de preferência (p) e de indiferença (q): estes limites são parâmetros essenciais para a implementação do método ELECTRE TRI. Considerando a amplitude da escala adotada e buscando tratar as situações de hesitação e imprecisão presentes nos julgamentos, foram utilizados os valores p = 0,30 e q = 0,30; ENEGEP 2003
ABEPRO
4
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
(v)julgamentos: através do preenchimento de um formulário especialmente desenvolvido para este experimento, cada cliente avaliou o Grau de Importância (GI) de cada critério e o seu Grau de Satisfação (GS) com o desempenho do serviço à luz de cada critério. (vi) Resultados obtidos: Para maior riqueza da análise deste problema e também com o intuito de contribuir para análises de naturezas correlatas, apresenta-se na tabela A (vide Anexo) os resultados deste experimento. Mais especificamente, esta tabela apresenta: - os julgamentos de cada cliente (graus de importância dos critérios e graus de satisfação com o serviço à luz dos critérios) e o Gap entre estes julgamentos (Gap = GS – GI); - o grau de importância médio de cada critério ( GI ), o grau de satisfação médio com o desempenho do serviço à luz de cada critério ( GS ) e o respectivo Gap (Gap = GS − GI ); - a classificação (pessimista e otimista) do desempenho do serviço segundo a ótica de cada cliente. Utilizou-se os graus de importância médio de cada critério GI e o grau de satisfação de cada cliente com o desempenho do serviço à luz de cada critério. (vii) interpretação dos resultados: nesta seção apresentam-se alguns aspectos que foram observados a partir dos resultados deste experimento ilustrativo. Tais aspectos são: - Análise dos critérios: o objetivo principal desta análise é obter informações que possam contribuir para a melhoria dos serviços. Segundo a tabela A (em Anexo), Limpeza e Rapidez são os critérios mais importantes, e Limpeza e Instalações/Cortesia são os critérios que causam maior satisfação. A figura 4 relaciona os julgamentos de cada cliente (GI e GS) em regiões e a tabela 2 apresenta a frequência de julgamentos atribuídos a cada região. Considerando os critérios mais críticos como sendo aqueles que possuem maiores gaps negativos, neste experimento, Rapidez e Estacionamento são os critérios em questão. Entretanto, especial atenção deve ser dada aos critérios Receptividade e Acesso, pois além de possuírem gaps negativos, apresentam significativa hesitação quanto ao grau de satisfação (região III-IV). GI 5 IV
4
2
1
I: satisfação à luz de um critério importante. I
III
II: satisfação à luz de um critério de pouca importância. 4
2 1
5 II
GS
III: insatisfação à luz de um critério de pouca importância. IV: insatisfação à luz de um critério importante. eixos: situações limitantes entre as regiões.
Figura 4 - Relacionamento entre os valores de GI e GS no ponto de vista de cada cliente
Critérios Regiões I II III IV I-II II-III III-IV I-IV I-II-III-IV
ENEGEP 2003
Cr1 Cr2 Cr3 Cr4 Cr5 Cr6 49 44 36 43 49 53 4 3 4 3 6 3 1 0 0 1 0 1 2 2 9 3 2 1 5 6 4 5 3 3 2 0 0 2 1 1 1 2 1 3 1 1 2 9 11 8 5 5 4 4 5 2 3 2 Tabela 2 – Frequência de julgamentos atribuídos ABEPRO
Cr7 36 1 1 8 6 1 1 9 7
5
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
- Procedimento pessimista vs procedimento otimista: os procedimentos de atribuição definidos pelo método ELECTRE TRI são diferentes, sendo possível que estes venham a atribuir algumas alternativas a diferentes categorias (Mousseau e Slowinski, 1998). Em geral, a divergência entre os procedimentos existe somente quando um julgamento é incomparável a um ou vários padrões. No contexto do problema em questão, a regra pessimista atribui o desempenho do serviço a uma categoria inferior à categoria atribuída pela regra otimista, ou seja, o procedimento pessimista conduz a uma classificação mais severa do desempenho do serviço. Caberá então ao decisor a definição de qual procedimento considerar mais adequado. Neste experimento foram identificadas classificações divergentes originadas dos julgamentos dos clientes (A1, A14, A23, A30, A52, A65, A67). A tabela 3 indica em qual categoria de classificação os julgamentos de cada avaliador foram atribuídos. De acordo com classificação pessimista, identifica-se que 70% dos clientes consideraram o desempenho da concessionária ao menos “Bom” (soma dos julgamentos atribuídos às categorias A e B), à luz dos critérios considerados. Por outro lado, constata-se também que 30% dos clientes consideraram o desempenho da concessionária de “Regular” a “Ruim” – fato que justifica especial atenção em relação aos critérios críticos. Categorias Muito Bom
Bom
Regular Ruim
Classificação Pessimista Classificação Otimista A2, A3, A4, A6, A13, A17, A20, A22, A25, 11 A2, A3, A4, A6, A13, A17, A20, A22, A25, A29, A54 A29, A54 (16%) A5, A8, A9, A10, A11, A12, A15, A16, A18, A1, A5, A8, A9, A10, A11, A12, A15, A16, A19, A21, A24, A26, A28, A31, A32, A33, A18, A19, A21, A23,A24, A26, A28, A30, A34, A35, A36, A37, A38, A39, A41, A43, A31, A32, A33, A34, A35, A36, A37, A38, 38 A45, A46, A48, A49, A50, A51, A53, A55, (54%) A39, A41, A43, A45, A46, A48, A49, A50, A56, A57, A58, A61, A66 A51, A53, A55, A56, A57, A58, A61, A65, A66 A1, A7, A23, A27, A30, A40, A42, A44, A47, A7, A14, A27, A40, A42, A44, A47, A52, A59, 18 A59, A60, A62, A63, A64, A65, A68, A69, A70 (26%) A60, A62, A63, A64, A67, A68, A69, A70 A14, A52, A67 3 (4%) Tabela 3 - Atribuições dos desempenhos por categorias
11 (16%) 42 (60%) 17 (24%) 0 (0%)
- Análise dos agrupamentos: A tabela 4 apresenta os graus de importância médio de cada critério ( GI ) e os graus de satisfação médio com o desempenho do serviço ( GS ) (à luz de cada critério), considerando somente os julgamentos dos clientes atribuídos a cada uma das categorias. Apresentam-se também os Gaps entres estes julgamentos, cujos valores contribuem para uma melhor identificação das relações existentes entre a importância atribuída a cada critério e a satisfação com o desempenho do serviço à luz do respectivo critério. Estes resultados indicam que neste experimento, em geral, os valores dos julgamentos ( GI , GS e Gaps) apresentaram um comportamento decrescente ao longo das categorias de classificação. É relevante ressaltar que os Gaps foram obtidos nos critérios ditos mais “críticos”, o que é coerente com as análises anteriores.
Ci GI A 4,91 B 4,24 C 3,39 D 4,67
Cr1
Cr2
Cr3
Cr4
Cr5
Cr6
GS Gap 4,91 0,00 4,39 0,16 3,61 0,22 3,67 -1,00
GS Gap 4,82 0,09 4,16 -0,03 3,67 -0,17 2,67 -2,00
GS Gap 4,27 -0,18 3,68 -0,71 3,39 -0,22 3,67 -1,00
GS Gap 4,82 0,09 4,16 0,03 3,33 -0,44 2,00 -0,67
GS Gap 5,00 0,09 4,26 0,00 3,94 0,39 3,00 -0,67
GS Gap 4,91 0,00 4,42 -0,16 3,89 0,22 4,33 1,33
GI 4,73 4,18 3,83 4,67
GI 4,45 4,39 3,61 4,67
GI 4,73 4,13 3,78 2,67
GI 4,91 4,26 3,56 3,67
GI 4,91 4,58 3,67 3,00
Cr7
GI 4,45 4,26 3,72 3,67
GS 4,36 4,00 3,00 1,67
Gap -0,09 -0,26 -0,72 -2,00
Tabela 4 – Análise dos agrupamentos obtidos no experimento ENEGEP 2003
ABEPRO
6
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
5. CONCLUSÕES
Este artigo apresentou uma abordagem multicritério para o tratamento do problema de classificação, com múltiplos avaliadores. Fundamentada no emprego do método ELECTRE TRI, esta abordagem foi utilizada para classificar o serviço prestado pelo setor de assistência técnica de uma concessionária de automóveis. Dentre outros feitos, neste artigo foi possível: (i) captar dos clientes os critérios mais (menos) importantes e os mais satisfatórios (insatisfatórios), que são de grande valia para proprietários, gerentes e pesquisadores. (ii) identificar a situação de conflito entre os clientes. Neste experimento, não houve um consenso entre os clientes a respeito da classificação do desempenho do serviço. As situações de conflito continuam sendo um dos grandes desafios encontrados pelos métodos de Auxílio Multicritério à Decisão e teorias correlatas. Se por um lado os julgamentos individuais relevam as preferências de cada avaliador, por outro, evidenciam as situações de conflito. Neste contexto, metodologias e procedimentos que buscam agregar as preferências dos julgadores estão sendo desenvolvidos. Entretanto, ainda questiona-se se existe uma perda na qualidade e riqueza da informação ao utilizar um procedimento que “condensa” os julgamentos de múltiplos avaliadores em um único valor. (iii) identificar agrupamentos de clientes cujos julgamentos conduziram o desempenho do serviço a categorias semelhantes. Esta informação pode ser de grande valia, caso os clientes se identifiquem, possibilitando um aprofundamento da pesquisa. É relevante ressaltar que este trabalho não considera que o método de AMD utilizado seja o mais adequado para o tratar de problemas de classificação com múltiplos avaliadores. A abordagem apresentada apenas buscou incorporar os julgamentos de múltiplos avaliadores, visto que muitas das metodologias de AMD são elaboradas para o tratar de problemas decisórios que envolvem os julgamentos de um único avaliador. Ressalta-se também que em muitos problemas decisórios não existe a “figura” do avaliador propriamente dita. Nestes problemas, as alternativas são mensuradas segundo critérios e, a partir da utilização de um procedimento de decisão, o decisor terá uma solução que poderá auxiliá-lo em sua decisão. Em especial, acredita-se que seja neste enfoque que tais metodologias foram desenvolvidas. Particularmente, este trabalho buscou evidenciar dificuldades encontradas no tratamento de problemas decisórios com múltiplos avaliadores. Neste sentido, espera-se que este seja objeto de motivação para a continuidade das pesquisas que busquem tratar do problema em questão. Referências CHANKONG V.; HAIMES, Y. (1983) - Multiobjective Decision Making. North-Holland Series in System Science and Engineering. CRONIN, J.J., TAYLOR, S.A. (1992) - Measuring Service Quality: A Reexamination and Extension. Journal of Marketing, v. 56, p.55-68. FREITAS, A.L.P. e COSTA, H.G. (1998) - Avaliação e Classificação da Qualidade de Serviços Utilizando Uma Abordagem Multicritério. Gestão e Produção, v.5, n.3, p. 272-283. FREITAS, A. L. P. (2001) - Uma Metodologia Multicritério de Subordinação para a Classificação da Qualidade de Serviços sob a Ótica do Cliente. Tese de Doutorado. Pós-Graduação em Ciências de Engenharia - UENF. FREITAS, A.L.P. e COSTA, H.G. (2000) - Problemas de Ordenação e Classificação: Uma Análise com Métodos de Subordinação, Anais do XXXII SBPO. Universidade Federal de Viçosa, Viçosa, MG, Brasil. MOUSSEAU, V. SLOWINSKI, R., (1998) - Inferring na ELECTRE TRI Model from Assignment Examples. Journal of Global Optimization, n.º 12, pp. 157 – 174. ROY, B., (1985) - Mèthodologie Multicritère d’Àide à la Dècision, Economica, Paris. YU, W. (1992) - ELECTRE TRI: Aspects Méthodologiques et Guide d’utilisation. Document du LAMSADE, nº 74, Université de Paris – Dauphine. ENEGEP 2003
ABEPRO
7
XXIII Encontro Nac. de Eng. de Produção - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003
Anexo: Resultados do experimento Cr1 Ai GI GS A1 3 5 A2 5 5 A3 5 5 A4 5 5 A5 5 5 A6 5 5 A7 5 5 A8 5 5 A9 2 5 A10 5 5 A11 5 5 A12 5 5 A13 5 5 A14 5 5 A15 5 5 A16 4 5 A17 5 5 A18 5 5 A19 5 5 A20 5 5 A21 5 5 A22 5 5 A23 5 5 A24 5 5 A25 5 5 A26 5 5 A27 4 5 A28 5 5 A29 5 5 A30 3 5 A31 4 5 A32 1 5 A33 4 5 A34 4 4 A35 5 4 A36 5 4 A37 5 4 A38 3 4 A39 5 4 A40 1 4 A41 5 4 A42 4 4 A43 5 4 A44 4 4 A45 2 4 A46 4 4 A47 4 4 A48 3 4 A49 4 4 A50 4 4 A51 5 4 A52 4 4 A53 3 4 A54 4 4 A55 5 4 A56 4 4 A57 5 4 A58 4 4 A59 3 3 A60 4 3 A61 3 3 A62 4 3 A63 2 3 A64 3 3 A65 2 3 A66 3 3 A67 5 2 A68 2 2 A69 3 2 A70 5 2 Média 4,14 4,24
ENEGEP 2003
Julgamentos Cr2 Cr3 Cr4 Cr5 Gap GI GS Gap GI GS Gap GI GS Gap GI GS 2 3 5 2 1 5 4 4 3 -1 4 3 0 5 5 0 5 4 -1 5 5 0 5 5 0 5 5 0 4 3 -1 5 5 0 5 5 0 5 5 0 3 5 2 4 4 0 5 5 0 5 5 0 5 3 -2 5 4 -1 5 5 0 5 5 0 4 5 1 4 4 0 5 5 0 3 3 0 3 3 0 4 3 -1 2 4 0 4 5 1 5 5 0 5 5 0 5 4 3 1 4 3 4 4 0 4 3 -1 5 3 0 5 4 -1 4 4 0 5 4 -1 5 5 0 5 4 -1 5 4 -1 5 5 0 5 5 0 5 5 0 3 4 1 4 4 0 5 4 0 5 5 0 5 5 0 5 5 0 5 5 0 5 3 -2 5 2 -3 4 2 -2 4 4 0 5 5 0 5 5 0 3 3 0 5 4 1 4 3 -1 4 3 -1 4 4 0 4 4 0 5 5 0 5 5 0 5 5 0 5 5 0 5 5 0 5 5 0 4 4 0 5 4 0 5 4 -1 5 4 -1 5 3 -2 4 5 0 5 4 -1 5 4 -1 4 5 1 4 5 0 5 5 0 5 5 0 4 4 0 4 4 0 5 5 0 5 5 0 5 5 0 5 5 0 3 2 -1 3 1 -2 5 5 0 5 5 0 5 5 0 5 3 -2 4 4 0 4 5 0 5 4 -1 5 3 -2 5 5 0 5 5 0 4 4 0 5 4 -1 3 5 2 5 4 1 4 5 1 5 3 -2 4 2 -2 4 4 0 3 5 2 4 2 -2 5 4 -1 4 3 0 5 5 0 5 5 0 5 5 0 5 5 2 5 4 -1 2 5 3 4 3 -1 1 5 1 4 5 1 4 2 -2 4 4 0 4 4 4 3 5 2 5 4 -1 3 1 -2 4 4 1 5 2 -3 4 1 -3 4 4 0 3 4 0 4 5 1 5 5 0 4 4 0 5 4 -1 4 3 -1 5 1 -4 5 4 -1 5 5 -1 5 4 -1 4 4 0 4 5 1 4 4 -1 5 4 -1 5 4 -1 5 5 0 4 5 1 4 4 0 2 4 2 3 4 1 4 1 -1 5 4 -1 5 1 -4 5 5 0 5 5 3 5 3 -2 3 3 0 3 5 2 2 5 -1 5 4 -1 4 5 1 2 4 2 4 4 0 3 3 0 5 2 -3 5 3 -2 3 3 -1 4 4 0 5 4 -1 5 5 0 5 5 0 4 4 0 4 3 -1 4 5 1 4 5 2 3 4 1 3 4 1 3 3 0 4 4 0 4 4 0 4 4 0 5 4 -1 5 4 0 4 4 0 4 3 -1 4 3 -1 4 1 1 4 3 -1 5 5 0 4 5 1 4 4 0 4 3 -1 4 1 -3 2 4 2 3 4 0 5 4 -1 5 4 -1 5 4 -1 5 5 -1 4 4 0 4 3 -1 5 5 0 5 5 0 4 1 -3 4 4 0 1 3 2 3 2 1 2 4 2 5 4 -1 4 5 1 5 4 0 2 5 3 3 3 0 5 5 0 5 5 -1 4 5 1 5 5 0 3 4 1 5 4 0 5 5 0 4 5 1 4 4 0 2 5 -1 4 4 0 4 4 0 5 5 0 5 5 0 3 4 1 4 3 -1 4 4 0 1 5 0 4 3 -1 5 3 -2 5 4 -1 5 5 -1 3 4 1 2 5 3 4 3 -1 4 4 0 3 2 -1 5 5 0 5 5 0 2 4 -1 4 5 1 4 4 0 3 4 1 5 3 1 3 3 0 5 4 -1 2 4 2 5 5 0 4 3 -1 4 4 0 5 4 -1 5 5 1 5 5 0 4 2 -2 5 2 -3 3 5 0 5 5 0 3 3 0 4 5 1 4 5 -3 5 4 -1 5 5 0 3 1 -2 4 3 0 5 4 -1 3 3 0 3 2 -1 3 3 -1 3 3 0 5 4 -1 2 3 1 3 3 -3 4 3 -1 3 4 1 2 2 0 2 3 0,10 4,20 4,07 -0,13 4,21 3,70 -0,51 4,07 3,96 -0,11 4,16 4,24
ABEPRO
Cr6 Gap GI GS -1 4 3 0 5 5 0 5 5 0 5 5 0 5 4 0 5 5 2 5 5 -1 5 4 -2 5 5 0 5 5 0 5 5 -1 5 5 0 5 5 0 4 5 -1 5 5 0 5 5 0 5 5 -1 5 4 1 4 5 1 5 5 0 5 4 0 4 4 0 5 5 1 4 5 0 5 5 -1 5 4 0 4 3 -1 4 4 0 5 5 4 2 3 0 4 4 0 1 5 1 5 5 -1 5 3 0 5 5 0 4 5 1 5 5 -3 4 1 0 5 5 3 2 4 0 5 4 0 5 5 0 5 5 1 3 3 0 4 4 -1 5 4 -3 2 1 0 5 5 1 5 4 0 4 3 0 5 5 -1 2 4 -1 4 5 0 5 5 -1 4 4 3 4 3 0 5 5 4 5 5 0 5 5 0 4 4 2 5 5 -2 3 2 0 5 5 0 3 3 2 3 5 1 4 5 -1 3 4 0 3 5 0 4 4 1 4 5 0,09 4,33 4,36
Cr7 Classes Gap GI GS Gap Pess. Otim -1 2 3 1 C B 0 5 5 0 A A 0 5 5 0 A A 0 3 3 0 A A -1 5 3 -2 B B 0 4 4 0 A A 0 3 4 1 C C -1 4 4 0 B B 0 2 4 2 B B 0 5 2 -3 B B 0 5 2 -3 B B 0 5 4 -1 B B 0 4 4 0 A A 1 4 2 -2 D C 0 4 4 0 B B 0 5 4 -1 B B 0 5 4 -1 A A -1 4 3 -1 B B 1 4 3 -1 B B 0 5 5 0 A A -1 5 3 -2 B B 0 5 5 0 A A 0 3 3 0 C B 1 4 4 0 B B 0 5 5 0 A A -1 4 5 1 B B -1 4 2 -2 C C 0 4 5 1 B B 0 3 3 0 A A 1 5 2 -3 C B 0 3 4 1 B B 4 5 3 -2 B B 0 4 4 0 B B -2 5 3 -2 B B 0 5 5 0 B B 1 4 5 1 B B 0 5 5 0 B B -3 3 4 1 B B 0 5 5 0 B B 2 2 2 0 C C -1 3 4 1 B B 0 3 3 0 C C 0 5 5 0 B B 0 5 1 -4 C C 0 4 4 0 B B -1 5 4 -1 B B -1 4 5 1 C C 0 4 4 0 B B -1 4 4 0 B B -1 4 4 0 B B 0 5 5 0 B B 2 4 1 -3 D C 1 5 5 0 B B 0 5 5 0 A A 0 3 4 1 B B -1 3 4 1 B B 0 5 4 -1 B B 0 4 4 0 B B 0 5 3 -2 C C 0 4 3 -1 C C 0 5 5 0 B B -1 5 5 0 C C 0 4 3 -1 C C 0 5 2 -3 C C 2 4 4 0 C B 1 4 4 0 B B 1 3 2 -1 D C 2 3 3 0 C C 0 3 3 0 C C 1 3 3 0 C C 0,03 4,13 3,70 -0,43
8
