Dimensões preliminares para um modelo de qualidade de serviços de Governo Eletrónico Local | Preliminary dimensions for a quality model of Electronic Local Government services

Dimensões preliminares para um modelo de qualidade de serviços de Governo Eletrónico Local Preliminary dimensions for a quality model of Electronic Local Government services Filipe Sá Universidad de Vigo & CMP Vigo, España & Penacova, Portugal [email protected]

Resumo O estudo apresentado neste artigo servirá de base à elaboração de uma metodologia que se adeque e permita avaliar a qualidade dos serviços de governo eletrónico local. Os cidadãos esperam que os serviços públicos tenham qualidade e a sua vertente online não é exceção. A qualidade destes serviços deve ser analisada e tomada em conta, para assim ser possível potenciar e elaborar uma estratégia que permita melhorar os serviços oferecidos, aumentando o grau de satisfação de quem os recebe. Neste sentido, este primeiro estudo apresenta uma lista de dimensões preliminares para avaliação da qualidade de serviços de governo eletrónico local baseado na revisão de literatura e num estudo empírico assente em entrevistas. Até ao momento não foi possível identificar nenhuma metodologia de qualidade de serviços focada no governo eletrónico local, o que justifica o lançamento de um projeto de investigação para criação de uma metodologia neste domínio. Palavras-chave: Governo Eletrónico, Serviços Eletrónicos, Qualidade de Serviço, Administração Pública, Governo Local Abstract The study presented in this article will serve as a basis for the development of a suitable methodology whose purpose is to evaluate the quality of Local e-Government services. Citizens expect quality public services, and their online dimension is no exception. The quality of these services should be analysed and accounted for, in order to maximize and develop strategies that improve the offered services, increasing the levels of satisfaction of their recipients. In this sense, this first study presents a list of preliminary dimensions for assessing the quality of electronic local government services based on the literature review and an empirical study based on interviews. Up to the present moment, we were unable to identify a service quality evaluation method particularly focused on Local e-Government, and this justifies the development of an investigation project whose main purpose is to create a methodology in this field. Keywords E-Government, E-Service, Service Quality, Public Administration, Local Government

I.

Manuel Pérez Cota Universidad de Vigo Vigo, España [email protected]

Álvaro Rocha Universidade de Coimbra, Departamento de Engenharia Informática Coimbra, Portugal [email protected]

INTRODUÇÃO

A oferta de serviços nos portais governamentais é uma constante que tem marcado as estratégias dos diversos Governos na área de serviços eletrónicos, por todo o mundo. Mais do que oferecer serviços, as políticas baseadas em

desenvolvimento procuram ampliar o alcance das ações, conjugando os pontos necessários para um correto alinhamento da implantação de serviços públicos por meios eletrónicos com as necessidades da população. Assim, a Administração Pública Local enfrenta hoje um desafio no âmbito da modernização administrativa, procurando aproximar os Munícipes dos seus serviços e ao mesmo tempo, desmaterializar os seus processos [1, 2]. A Comissão Europeia [3], em comunicado de imprensa, afirmou que do universo dos cidadãos da União Europeia, 46% utilizam a internet para pesquisar emprego, utilizar a biblioteca pública, entregar uma declaração fiscal, registar um nascimento, pedir o passaporte ou utilizar outros serviços de administração pública. De acordo com o comunicado de E-local Government and Smart imprensa da WASEDA [4] Cities desenvolvimento do e-Government. O Governo Local, segundo o nosso ponto de vista, proporciona serviços eletrónicos próprios, fortemente influenciados pelas suas atribuições, pela sua tipologia, pela diferente distribuição territorial e local, pelo díspar nível de , pelas diferentes estruturas literacia e organizacionais, por uma forte proximidade com o cidadão e com as empresas locais, pelo diferente estado de maturidade das TI, pelos díspares canais de disponibilização dos serviços e por último, mas não menos importante, pelo forte papel influenciador da política legislativa local e nacional. Partindo deste pressuposto, é imperativo criar e estudar conceitos, modelos, frameworks e metodologias que permitam avaliar, no âmbito das especificidades das autarquias locais, a qualidade dos seus serviços de Governo Eletrónico o que possibilitará melhorar esses mesmos serviços a nível da satisfação. No âmbito deste estudo, o conceito de Governo Eletrónico Local reporta à prestação de serviços de forma eletrónica, via internet. II.

METODOLOGIA

Este artigo, parte integrante de um processo de investigação para elaboração e/ou adaptação de uma ferramenta para avaliação da qualidade de Serviços de Governo Eletrónico

CISTI 2015 | 1058

Local, reflete uma lista preliminar de dimensões que irá ser submetida a um processo do Método Delphi, numa próxima etapa. Numa primeira fase foi realizada uma revisão de literatura através da análise de uma amostra criteriosa de livros, dissertações, teses e artigos da área, que permitiu identificar abordagens de avaliação da qualidade de serviços tradicionais, eletrónicos e de e-Government. Esta revisão de literatura permitiu paralelamente elaborar uma lista de dimensões baseada na nossa perceção para o contexto local. No sentido de completar a lista de dimensões proveniente da revisão de literatura, foi também realizado um estudo empírico que teve por base a realização de um conjunto de entrevistas a especialistas do Governo Local. Este universo de entrevistados foi selecionado através de uma amostragem por conveniência. Apesar deste tipo de amostragem apresentar algumas limitações, uma vez que os resultados e conclusões serão apenas representativos dos entrevistados, como se trata de um estudo preliminar e piloto, que irá ser validado posteriormente no processo Delphi, optou-se por selecionar esta estratégia. De referir como aspeto significativamente vantajoso da amostragem por conveniência o facto de ser possível obter um maior número de respostas. Com base em todos os elementos recolhidos e analisados, foi elaborada uma lista preliminar composta por vinte e nove dimensões, distribuídas por quatro domínios. III.

QUALIDADE DE SERVIÇOS

Desde os primórdios da civilização que o ser humano recorre a outros para que estes prestem serviços. Esta prestação varia desde a sua forma mais tradicional até aos dias de hoje, em formato eletrónico. Segundo Parasuraman et al. [5], o consumidor, quando efetua o ato de comprar um bem pelas vias tradicionais, avalia o mesmo em função de diversos fatores, como o estilo, textura, cor, etiquetas, embalagem, etc. Por outro lado, a aquisição de serviços tem o problema de muitas vezes não se refletir em algo tangível. Hien [6], afirma que a qualidade do serviço pode ser definida como uma medida de quão bem um serviço prestado corresponde às expectativas dos clientes. Desta forma a perceção do serviço tornou-se um fator determinante para o sucesso em todas as áreas da vida comercial [7]. Também Lee e Kim [8] referem que a capacidade de medição da qualidade de serviço é um prérequisito para a obtenção de um elevado nível de qualidade. Khawaja e Bokhar [9], expõem no seu estudo que as organizações têm dificuldades em avaliar a qualidade dos serviços prestados aos seus clientes, ou seja, uma dificuldade em avaliar se, no âmbito de um serviço, existe qualquer defeito ou se a entrega ocorre dentro de um prazo previsto. O termo qualidade de serviço, independentemente do seu meio, tem sido reconhecido como um dos principais fatores para a sustentabilidade de uma organização, assim como uma das suas forças motrizes [10]. A necessidade de avaliar a qualidade de serviços torna-se um fator de sucesso [11] e já, durante os anos 80, recebia muita atenção, como um fator estratégico fundamental para a diferenciação, com a finalidade de aumentar as quotas de mercado e aumentar os lucros [12, 13]. Um dos primeiros modelos que permitiu avaliar a qualidade de serviços, criado em 1985, foi um modelo concetual e surgiu a

partir de um estudo de Parasuraman et al. [5]. Em 1988 criam a SERVQUAL que utiliza as dimensões Confiabilidade, Sensibilidade ou Capacidade de Resposta, Tangibilidade, Segurança e Empatia [14]. A SERVQUAL tornou-se numa das escalas mais referenciadas no mundo académico, sendo prova disso os inúmeros estudos e trabalhos que, por vezes, a utilizam na sua forma original, ou como base para desenvolvimento de uma qualquer outra ferramenta. Exemplos são: a escala SERVPERF [15] no âmbito dos serviços tradicionais; E-SQual [16] e revisão à escala SERVQUAL [17] para os serviços eletrónicos; utilização da ferramenta SERVQUAL em conjunto com a E-S-Qual por parte de Connolly [7] com a necessária adaptação para avaliação dos serviços de taxas Irlandes (Irish Revenue Online Service); a proposta de avaliação de serviços na área de e-Government de Alaneziet al. [10]; no estudo de Srivastava, Teo e Nishant [18] onde os autores adotam o modelo Gap SERVQUAL para investigar a relação entre a diferença de qualidade de serviço e satisfação dos cidadãos; e no estudo de Jinmei [19] onde os autores elaboram e testam vinte e oito itens distribuídos pelas cinco dimensões da SERVQUAL para o contexto do e-Government. IV.

QUALIDADE DE SERVIÇOS ELETRÓNICOS

Com o aparecimento e distribuição massiva da Internet, a prestação de serviços eletrónicos é utilizada, cada vez mais, pelo mundo inteiro. A disponibilização deste tipo de serviços encontra-se cada vez mais acessível, tanto a nível técnico como a nível económico, tendo um impacto e uma disseminação capaz de atingir um mercado global cada vez mais diversificado, mas, simultaneamente, mais exigente. Nesta linha de pensamento, Li e Suomi [17] referem que, face ao rápido crescimento da Internet e da globalização dos mercados, as empresas aceitaram e adotaram as novas tecnologias de informação e novos meios de comunicação, permitindo entregar serviços eletrónicos aos seus clientes. Quando um cidadão recorre a uma organização para que esta lhe preste um serviço, seja esta interação na forma tradicional ou eletrónica, surge a constante necessidade de avaliar a qualidade desta. Wolfinbarger e Gilly [20] afirmam que a experiência de uma compra efetuada num website por parte de um cliente consiste em várias etapas, desde procura de informações, avaliação de produtos, ações de tomada de decisão, entregas e devoluções, assim como serviços de apoio ao cliente. Segundo Li e Suomi [21], os serviços eletrónicos são diferentes dos serviços tradicionais, uma vez que são baseados no fluxo de informação interativa entre clientes e prestadores de serviços. Serviços eletrónicos de qualidade podem proporcionar vantagem competitiva online [11, 22-24], através da melhoria do desempenho organizacional e da satisfação dos clientes [25]. Sendo a qualidade de serviços um fator determinante para o sucesso de uma qualquer organização, inclusive o meio de fidelização de relações com os consumidores, surgiu a necessidade de analisarmos diversos estudos no sentido de identificação das dimensões mais utilizadas no âmbito dos serviços eletrónicos. Nesse sentido recorremos à análise de nove abordagens representativas dessa área: SITEQUAL de Yoo e Donthu [26]; WebQual de Loiacono, Watson e Goodhue [27]; WebQual de Barnes e Vidgen [28]; eTailQ de Wolfinbarger e Gilly [20]; E-S-Qual de Parasuramanet al. [16]; e-TRANSQUAL de Bauer, Falk e Hammerschmidt [29];

CISTI 2015 | 1059

Revisão à escala SERVQUAL por Li e Suomi [17]; Framework de Sam e Tahir [30]; e e-SELFQUAL de Ding, Hu e Sheng [31]. As nove abordagens permitiram elaborar uma lista (Tabela 1) que reflete a nossa perceção sobre as dimensões tendo em conta uma uniformização de descrição e designação derivado a diversos autores utilizarem designações diferentes para se referirem à mesma dimensão. De forma a melhor contextualizar as mesmas, foram distribuídas por quatro domínios: Técnica, Organização, Segurança e Informação. TABELA 1 - DIMENSÕES SERVIÇOS ELETRÓNICOS Domínio

Dimensões

Domínio

Segurança

Informação

Definições

Refere-se à facilidade e simplicidade com que um utilizador se depara na utilização de um website. Reporta-se à criatividade e singularidade Inovação que um website proporciona na sua utilização. Diz respeito à velocidade de acesso a um Velocidade de website. Nesta dimensão, não Acesso a um contemplamos a velocidade de website processamento sobre o prazo de entrega de um pedido. Refere-se ao aspeto estético do website, Website Design como a utilização de cores e caraterísticas multimédia apelativas. Vantagem em utilizar os serviços online ao invés de outras vias. Reporta-se a um Vantagem dos serviço eficaz e oportuno para poupar Serviços Online tempo e esforços aos consumidores, quando estes pretendem utilizar a via online. O serviço deve estar acessível online, vinte Disponibilidade e quatro horas, sete dias por semana, a do Serviço funcionar tecnicamente bem. Evidência do utilizador poder efetuar todas Integridade ou a grande maioria das tarefas, totalmente Online online. Velocidade/tempo que um cidadão Velocidade de necessita para a aquisição de um produto Processamento ou serviço online, até à receção do mesmo. Refere-se à intensidade da interação entre Apelo um utilizador e o website, assim como ao Emocional prazer de utilização por parte do mesmo. Usabilidade

Técnica

Apoio ao Cliente

Prende-se com a capacidade de ajudar e compreender, de maneira individualizada e personalizada, todos os clientes de uma forma pronta e sempre disponível (24h, 7 dias por semana), assim como de promover uma comunicação eficaz e positiva.

Reclamações

Resolução e tratamento eficaz no caso de algum problema ou reclamação. O prestador de serviços deve contemplar ainda uma correta e eficaz política de devoluções, utilizando e promovendo, preferencialmente, a mesma via da aquisição do serviço, isto é, o meio online.

Organização

Canais alternativos Privacidade Segurança Segurança

Existência de canais e meios alternativos de comunicação. Segurança dos dados dos utilizadores que se encontram armazenados pelo prestador de serviços. Aspetos de segurança que incidem sobre transações e comunicações entre o prestador de serviço e o utilizador.

V.

Dimensões

Definições

Confiabilidade

O produto ou serviço é entregue precisamente em conformidade com o que é oferecido e descrito pelo prestador de serviços.

Cumprimento de prazos

Entrega do produto no prazo e tempo anunciado e acordado no website.

A informação descrita no website referente a um serviço ou a um produto deve ser Qualidade da precisa, exata, atual e apropriada para que informação os utilizadores encontrem a informação que, efetivamente, corresponde à realidade do que pretendem adquirir. O website deve conter uma correta e eficaz disponibilização de informação sobre todos Informação para os procedimentos e tarefas, para que os a tarefa cidadãos encontrem o que necessitam de uma forma simples e, assim, consigam melhorar o seu grau de satisfação.

QUALIDADE DE SERVIÇOS DE GOVERNO ELETRÓNICO

Face à crescente evolução tecnológica e ao acesso diário aos serviços públicos por parte da população, governos por todo o mundo são confrontados com o constante desafio de transformação e reinvenção, a fim de prestarem serviços de uma forma eficiente, eficaz e económica. Para Rocha, Silva, Lamas, Castro e Silva [32] e-Government, numa visão abrangente, consiste na utilização adequada e vantajosa de tecnologias de informação e comunicação por organismos governamentais - sejam eles centrais, regionais ou locais - nos seus relacionamentos internos, nos seus relacionamentos externos e, particularmente, nos seus relacionamentos com os cidadãos. Nas palavras de Santos, Melo e Dias [33] Governo Eletrónico tem como finalidade reestruturar a organização da administração pública, adotando mecanismos que facilitem a comunicação entre os diversos organismos, simplificando, assim, os processos. Na mesma linha de pensamento, Agrawal, Shah e Wadhwa [34] afirmam que as iniciativas de Governo Eletrónico, por todo o mundo, incluem a disponibilização de serviços online nos portais governamentais. Dias e Gomes [35] referem ainda que a definição de e-Government que consiste em "A utilização das tecnologias de informação no sentido de apoiar as operações do governo, envolver os cidadãos e prestar serviços públicos" permanece válida para o contexto do Governo Local. Esta mesma definição segundo estes autores abrange o uso das tecnologias de informação em vários aspetos referentes à atividade do governo tais como: fluxos internos de informação; compras governamentais; entrega de informações e serviços; e participação dos cidadãos nos processos de tomada de decisão pública. Segundo o relatório elaborado pela Unidade Missão Inovação e Conhecimento [36], no seu Plano de Acão de 2003 para o Governo Eletrónico, e-Government tecnologias de informação, que coloca o cidadão e as empresas no centro das atenções, melhora a qualidade e a comodidade dos serviços e reforça os meios de participação ativa no exercício de cidadania. Simultaneamente aumenta a eficiência, . Papadomichelaki e Mentzas [37] descrevem que um fator crítico na evolução do e-Government é o desenvolvimento de websites que melhor sirvam as necessidades dos cidadãos. Os websites oficiais Governamentais que apresentam informação e

CISTI 2015 | 1060

serviços começaram a surgir na internet em meados da década de 1990, em seguida o termo "administração em linha" começou a aparecer na sociedade [19]. No entanto estamos perante um desafio: a existência da visão de que e-Government não é uma tecnologia, mas é, pelo contrário, a utilização de tecnologias ao serviço das instituições governamentais, com o objetivo de melhorar a qualidade de vida dos cidadãos, através da redefinição da relação destes com o seu governo [38]. Tal como na secção anterior, surge a necessidade de analisar todas as dimensões encontradas nas abordagens de avaliação da qualidade de serviço de e-Government, nomeadamente nas: E-GovQual de Papadomichelaki e Mentzas [37]; Framework e-GOSQ de Agrawalet al. [34] ; Proposta de Alaneziet al. [10]; Framework e-GSQA de Zaidi e Qteishat [39]; e a Framework de Hien [6] no sentido de elaborar uma nova lista que que reflita todas as dimensões percecionadas, neste contexto, pelos autores. Na tentativa de identificar apenas as dimensões que consideramos relevantes e que poderão ser adaptadas para utilização no âmbito dos serviços do Governo Local, e tendo por base a revisão de literatura e a nossa perspetiva e interpretação, foi elaborada uma lista (Tabela 2) contendo dezasseis dimensões distribuídas por quatro domínios: Técnica, Segurança, Informação e Organização. TABELA 2 - DIMENSÕES GOVERNO ELETRÓNICO Domínio

Dimensões Usabilidade

Técnica

Design Qualidade Técnica Privacidade Segurança

Segurança

Confiabilidade

Cumprimento

Qualidade da Informação Informação Informação para a Tarefa

Organização

Apoio ao Cliente

Definições Facilidade e simplicidade com que um cidadão se depara na utilização de um website Esta dimensão contempla aspetos estéticos do website, como a utilização de cores, caraterísticas multimédia apelativas, assim como aspetos relativos à organização da mesmo. Reporta-se aos aspetos técnicos e qualidade técnica de um website. Segurança dos dados pessoais dos cidadãos; Segurança sobre os aspetos de comunicações e transações entre os cidadãos e os websites de e-Government; O serviço oferecido e prometido foi realmente útil e prestado de forma precisa e consistente. Avaliação sobre o prazo de entrega de um serviço. O prestador de um serviço, deve sempre cumprir os prazos que anuncia no seu website, de forma a garantir uma satisfação dos cidadãos. A informação referente ao serviço público deve ser precisa, exata, atual e apropriada, de forma a refletir os corretos detalhes do serviço. Informação referente aos processos e tarefas num website para que os cidadão realmente encontrem o que necessitam e possam aceder a todas as informações necessárias à correta elaboração de um determinado procedimento. Capacidade de ajudar e compreender de uma forma individual e personalizada todos os cidadãos de uma maneira pronta e sempre disponível, bem como promover uma comunicação eficaz e positiva entre ambos

Domínio

Dimensões Canais alternativos Transparência nas ações Reclamações

Organização Personalização

Papel dos Políticos E-Participação

VI.

Definições A existência de canais alternativos de comunicação é uma das dimensões mais importantes no que se refere ao apoio de cliente. O website deve garantir transparência e a demonstração da legalidade em todas as transações e ações que disponibiliza Capacidade de lidar com uma reclamação e capacidade em efetuar um tratamento eficaz no caso da existência de um problema. Capacidade em adaptar os serviços a um público específico. Preocupação em prestar serviços tendo especial cuidado em efetuar e disponibilizar uma atenção individualizada aos consumidores Efeitos e ações que um membro decisor de uma organização pode ter enquanto variável-chave nos serviços prestados. Avaliação do grau de satisfação sobre a participação por parte dos cidadãos nas ações do Governo.

DIMENSÕES ESTUDO EMPIRICO

No sentido de encontrar, validar e assim complementar a lista preliminar de dimensões encontradas nos dois capítulos anteriores e que irá ser submetida a um processo do Método Delphi, foram efetuadas vinte e cinco entrevistas por questionário a especialistas e/ou utilizadores de serviços eletrónicos online na área da administração pública local. Para a escolha dos especialistas e de forma a conseguirmos obter uma visão transversal nos diferentes universos do Governo Local, apesar de se utilizar uma amostragem por conveniência, optou-te por tentar efetuar entrevistas a membros com papel de decisão na prestação de serviços eletrónicos nas suas organizações e a utilizadores com experiencia na utilização de serviços na área de e-Government. Neste sentido o primeiro grupo por nós escolhido foi formado por membros de autarquias, empresas de software e utilizadores de serviços online (Tabela 3). Uma das primeiras conclusões e que em muito fortaleceu a qualidade desta lista de participante foi o reflexo da experiência anterior ao cargo que atualmente ocupam. O questionário número um, entregue a um consultor da Deloitte na área de eGovernment reflete também a visão da sua experiência como a de ex-presidente da Agência Para a Modernização Administrativa. O questionário dois foi entregue ao atual secretário executivo da CIM Região de Coimbra que também exerceu o papel de presidente da CIM região baixo Mondego entre 2009 e 2013 e presidente da Câmara Municipal de Condeixa-a-Nova entre 1994 e 2012. Os questionários números três e quatro foram entregues a presidentes de Câmaras mas que cumulativamente desempenham os papéis de Vogal e Presidente da AIRC. Depois de concluída a lista de participantes, a etapa seguinte passou por redigirmos as questões e o respetivo texto a entregar a todos os membros participantes. Como o objetivo é obter e completar uma lista base de dimensões que reflitam a sua experiência e conhecimento na área da qualidade de

CISTI 2015 | 1061

serviços eletrónicos, foram elaboradas as questões que se encontram no anexo 1. TABELA 3 - LISTA DE PARTICIPANTES Nº Questio nário

Entidades

Q1

Deloitte e AMA

Q2

Q3

Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14

CIM-RC CM Penacova e AIRC CM Condeixa-aNova e AIRC CM Penacova AIRC

Cargos

Special Adviser na Deloitte e Ex Presidente da Agência para a 11-02-2015 Modernização Administrativa Secretario Executivo da CIM-RC, Ex-Presidente da CIM-Região Baixo Mondego e Ex-Presidente 11-02-2015 da Câmara Municipal de Condeixa-a-Nova Presidente da Câmara de Penacova e Vogal na AIRC

Vereador da Administrativa

Modernização

Diretor Marketing

Especialista de Informática como responsável Gabinete de Informática Chefe do Serviço Municipal de CM Inovação e Qualidade do Cantanhede Município de Cantanhede Chefe de Divisão de Sistemas de CM Coimbra Informação da Câmara Municipal de Coimbra Técnico Superior no Gabinete de CM Apoio Técnico/Sistemas de Mealhada informação CM Chefe Divisão Obras e Penacova Licenciamento Zero CM Responsável pelo Gabinete de Pampilhosa Informática da Serra CM Arganil

19-01-2015 21-01-2015 17-01-2015 26-01-2015 22-01-2015 26-01-2015 20-01-2015 19-01-2015

Deloitte

Seniour Consultant na Deloitte

30-01-2015

Deloitte

Seniour Consultant na Deloitte

02-02-2015

CM Figueira A designar da Foz

Q16

CM Poiares

Vice-Presidente

Q17

CM Penela

Chefe Gabinete do Presidente

Q19 A Q25

20-01-2015

Presidente da Câmara de Condeixa 30-01-2015 e Presidente da AIRC

Q15

Q18

Data da Resposta

Assembleia Deputado da República Utilizador Serviços Utilizadores de Serviços Online

Sem Resposta Sem Resposta Sem Resposta Sem Resposta 18-02-2015 até 18-03-2015

Dos vinte e cinco questionários entregues online, apenas conseguimos obter a reposta de vinte e um participantes (84%). No decorrer da análise às respostas das entrevistas foi possível identificar e contextualizar pontos-chave que permitiram apresentar-se e enumerar dimensões no âmbito do Governo Eletrónico Local. A análise das entrevistas permitiu elencar vinte e uma dimensões (Tabela 4).

TABELA 4 - DIMENSÕES DO ESTUDO EMPÍRICO Dimens ões Qualida de da Informa ção Usabilid ade Gestão de Process os Privacid ade Seguran ça Transpa rência EParticip ação Cumpri mentos de Prazos Confiab ilidade Disponi bilidade Serviço Integrid ade Online Informa ção para a Tarefa Interope rabilida de Apoio ao Cliente Personal ização Acessibi lidade Compati bilidade Capacit ação Papel dos Político s Varieda de oferta serviços Canais alternati vos

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1 1

1

1 5 1 4

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

9

1

1

1

1

1

1

1 1

1

1

1

1

1

1

1

1

1

1 1

1 1

1

1

1

1

1

1 1

1

1 1

1

1

1

1

1

1 1

1

1

1

8 8

1

7

1

1

1

1

1

1

1 1

7 7

1

1

1

1

1

1

1

1

6 1

5 4

1

1

3

1

1

1

9

8

1

1

1

1

1 1

1

1

8 1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1 2 1 1 1 0

1

1 1

1

1

1

1

1

3

3 1

VII. DIMENSÕES PRELIMINARES Nesta secção, é apresentada a lista preliminar de dimensões assim como os respetivos domínios no âmbito da qualidade dos serviços do Governo Eletrónico Local. Esta lista irá servir como base para a primeira ronda do Método Delphi nas etapas seguintes do estudo. Este trabalho, que reflete a nossa perceção e utiliza como base todas as dimensões encontradas e definidas nas três secções anteriores (Tabela 5), nomeadamente na área dos Serviços Eletrónicos, de e-Government e do estudo empírico realizado.

CISTI 2015 | 1062

TABELA 5 - LISTA DE DIMENSÕES

TABELA 6 - ORIGEM DAS DIMENSÕES

Serviços e-Government Questionários Eletrónicos Apelo Emocional Apoio ao Cliente Acessibilidade Apoio ao Cliente Canais alternativos Apoio ao Cliente Canais alternativos Confiabilidade Canais alternativos Confiabilidade Cumprimento Capacitação Cumprimento de Design Compatibilidade prazos Velocidade de E-Participação Confiabilidade Acesso ao Website Disponibilidade do Informação para a Tarefa Cumprimentos de Prazos Serviço Informação para a Papel dos Políticos Disponibilidade Serviço tarefa Inovação Personalização E-Participação Integridade Online Privacidade Gestão de Processos Privacidade Qualidade da Informação Informação para a Tarefa Qualidade da Qualidade Técnica Integridade Online informação Reclamações Reclamações Interoperabilidade Segurança Segurança Personalização Usabilidade Transparência nas ações Privacidade Vantagem dos Usabilidade Qualidade da Informação Serviços Online Velocidade de Segurança Processamento Design Transparência Usabilidade Variedade oferta serviços Papel dos Políticos

A. Domínios No sentido de melhor organizar e distribuir as dimensões, agora encontradas, e que influenciam a qualidade de serviço do Governo Eletrónico local, o primeiro passo consistiu em identificar os domínios por onde se podem distribuir as dimensões. Desta forma foram criados quatro domínios: 1.

2.

3. 4.

Qualidade do Serviço: Aspetos que influenciam diretamente o serviço efetivamente prestado pelo governo eletrónico local; Qualidade da Informação: Qualidade e conteúdo da informação disponível para os utilizadores consultarem no website ou portal de oferta de serviços do governo eletrónico local; Qualidade da Organização: Aspetos referentes às particularidades internas da gestão do Governo Local; Qualidade Técnica: Aspetos técnicos da prestação de serviço, como usabilidade, webdesign, velocidade, etc.

Origem

Serviços Eletrónicos Serviços de e-Government

Questionários

Serviços Eletrónicos e Questionários Serviços Eletrónicos e de e-Government Serviços Eletrónico de e-Government e Questionários

Serviços Eletrónicos, e-Government e Questionários

Dimensões Apelo Emocional Velocidade de Acesso ao Website Inovação Vantagem dos Serviços Online Velocidade de Processamento Qualidade Técnica Acessibilidade Capacitação Compatibilidade Gestão de Processos Interoperabilidade Variedade Oferta Serviços Disponibilidade do Serviço Integridade Online Reclamações Website Design E-Participação Papel dos Políticos Personalização Transparência Apoio ao Cliente Canais alternativos Confiabilidade Cumprimento de prazos Informação para a tarefa Privacidade Qualidade da informação Segurança Usabilidade

O primeiro domínio no qual aglomeramos dimensões, diz respeito aos aspetos que são influenciados diretamente pelo papel da gestão, organização e proximidade dos membros do Governo Local para com os cidadãos. Foram assim definidas dez dimensões: 1.

2.

3.

B. Dimensões O culminar da análise e investigação das secções anteriores termina numa lista com a respetiva definição de que dimensões devem ser submetidas ao processo Delphi. Neste sentido este trabalho permitiu encontrar e definir, com a necessária adaptação para os serviços eletrónicos locais, vinte e nove dimensões (Tabela 6).

CISTI 2015 | 1063

Apelo Emocional: Refere-se aos aspetos que representam a intensidade do envolvimento na interação entre o cidadão e o website do Governo Local, assim como o prazer de utilização que este reflete; Apoio a clientes: Capacidade de ajudar e compreender todos os cidadãos de uma forma pronta, individual, personalizada e sempre disponível (24horas sobre 24horas) por parte do Governo Local, assim como promover a comunicação de uma forma eficaz e positiva entre ambos; E-Participação: A avaliação do grau de satisfação sobre a participação por parte dos cidadãos nas ações do Governo. O Governo Local deve promover uma participação eficaz e satisfatória, recorrendo a opiniões, sugestões e outros contributos dos seus munícipes sobre todas as valências dos seus serviços e sobre as suas tomadas de decisão, para aumentar o grau de satisfação dos cidadãos. Esta dimensão, no contexto eletrónico, tem cada vez mais importância não fosse a participação um dos cincos fundamentos da democracia. A título de exemplo, temos o caso atual dos orçamentos participativos nas autarquias que têm promovido uma maior interação e participação do

binómio Cidadãos Governo e no qual se tem verificado que os munícipes são uma comunidade cada vez mais ativa, participativa e esclarecida. 4. Papel dos Políticos: Papel que os políticos do Governo Local e as pessoas chave nas organizações têm sobre os serviços. Essas ações implicam, por vezes, alterações aos serviços e níveis de satisfação diferentes por parte dos cidadãos. Já quando os serviços eram prestados sobe a forma tradicional no âmbito das autarquias, a proximidade entre os cidadãos e as pessoas chave das organizações influenciavam a qualidade dos serviços. No âmbito eletrónico, esse mesmo fator continua a ser um aspeto relevante na satisfação e agilização dos serviços; 5. Reclamações: A forma como é efetuado o tratamento sobre os problemas existentes e apresentados pelos cidadãos numa determinada prestação de serviço. Esta dimensão também deve contemplar aspetos referentes à existência de uma correta e eficaz política de devoluções, assim como um plano de responsabilização por parte do Governo Local; 6. Transparência: O Governo Local deve promover uma clara transparência e clareza sobre todas as ações e serviços que presta no seu portal; 7. Vantagem dos Serviços Online: Vantagem em utilizar os serviços online ao invés de outras vias. Reporta-se a um serviço eficaz e oportuno para poupar tempo e esforços aos cidadãos quando estes pretendem algo das autarquias; 8. Canais alternativos: O Governo Local deve promover a criação de canais alternativos de comunicação com os seus cidadãos, de modo a conseguir resolver algum eventual problema que surja na prestação de um dado serviço. É uma das dimensões mais importantes no que se refere à satisfação sobre o apoio ao cliente, visto que muitos cidadãos, em caso de ocorrência de um eventual problema, procuram resolvê-lo, por exemplo, utilizando a via telefónica ou presencial; 9. Capacitação: O nível de conhecimento e formação de quem trabalha e presta o apoio técnico no âmbito de um serviço eletrónico deve ser o melhor. Uma correta formação dos recursos humanos internos, tanto técnicos como eleitos reflete uma melhor prestação de serviço; 10. Gestão de Processos: Uma prestação de serviço alinhada com uma correta gestão de processos internos da organização demonstra um serviço de maior qualidade para o cidadão. Tal como na revisão de literatura, pensamos ser importante no âmbito do Governo Eletrónico Local analisar as dimensões que se enquadram nos aspetos do domínio da Qualidade da Informação. Nesse âmbito, identificámos e definimos duas: 11. Informação para a tarefa: O portal do Governo Local deve conter informações exatas e eficazes para que os cidadãos possam encontrar e realizar o pedido do serviço sem qualquer problema. Uma correta informação sobre como se deve e pode efetuar uma

tarefa, está implicitamente ligada ao grau de satisfação; 12. Qualidade da informação: Toda a informação disponível no website deve ser precisa, exata, atual, oportuna e apropriada; Em termos do domínio da qualidade do serviço prestado, identificámos dez dimensões: 13. Confiabilidade: O serviço que é recebido pelo cidadão coincide de uma forma exata com o pretendido e mostrado no portal do Governo Eletrónico Local; 14. Cumprimento de prazos: O Governo Local ao prestar os seus serviços eletrónicos respeita e cumpre todos prazos indicados aos cidadãos. O não cumprimento de uma data, além de originar uma insatisfação por parte dos cidadãos, pode originar consequências legais e deferimentos tácitos, pelo que a importância desta dimensão nunca deve ser esquecida; 15. Disponibilidade do Serviço: Os portais do Governo Eletrónico Local devem disponibilizar os seus serviços o máximo de tempo possível, de preferência 24horas sobre 24horas, sem que ocorram problemas técnicos ou organizacionais, de modo a que um cidadão possa sempre aceder, sem problemas, ao portal independentemente do seu horário ou localização geográfica; 16. Integridade Online: O Governo Local deve garantir que qualquer serviço prestado de uma forma eletrónica seja efetuado na sua totalidade online. A obrigação de, num dado momento, um cidadão, efetuar uma ação física, como por exemplo um telefonema, está implicitamente ligada ao grau de satisfação de um cidadão sobre um dado serviço; 17. Personalização: Capacidade que o Governo Local tem em adaptar e personalizar a prestação de um determinado serviço a um público específico. Por outras palavras, refere-se à preocupação em prestar serviços, tendo especial cuidado em praticar e disponibilizar uma atenção individualizada aos cidadãos, aumentando assim o seu grau de satisfação; 18. Privacidade: Reporta-se à segurança e privacidade de dados dos cidadãos. A informação deve estar armazenada de forma segura respeitando todas as normas e regras/legislação inerentes ao armazenamento de dados. O Governo Local, para além de garantir os aspetos técnicos no que respeita à segurança, de modo a aumentar a satisfação dos seus cidadãos, deve ainda garantir e providenciar a existência de políticas de proteção de dados no seu portal; 19. Segurança: O Governo Local deve garantir não só a segurança no que se refere aos dados dos cidadãos, mas a todos os aspetos referentes a uma transação ou comunicação com o Portal. A título de exemplo, pagamentos e transações financeiras são aspetos que em muito preocupam os cidadãos nos dias de hoje. Assim, se pretendemos garantir a satisfação no que se

CISTI 2015 | 1064

refere aos serviços prestados, o Governo deve reforçar a preocupação com esta dimensão; 20. Velocidade de Processamento: Análise do tempo despendido desde que o cidadão inicia a procura sobre o serviço pretendido no portal do Governo Local até à sua completa entrega. O tempo total que um cidadão consome é um fator fortemente decisivo nas considerações globais acerca da satisfação do serviço. 21. Interoperabilidade: Os serviços oferecidos têm a capacidade de cooperar e comunicar entre sistemas e organizações com a finalidade de obterem resultados comuns. Num único local o cidadão deve poder interagir de forma transparente com várias organizações; 22. Variedade oferta de serviços: O portal de serviços do Governo local deve disponibilizar de forma eletrónica toda a sua oferta de serviços tradicionais. Por último, sobre o domínio dos aspetos técnicos, são definidas sete dimensões: 23. Inovação do website: Reporta-se à criatividade e singularidade que o Governo Local aplica no seu portal de forma a cativar os seus cidadãos; 24. Qualidade Técnica Website: Refere-se a todos os aspetos técnicos e de qualidade relacionados com o website do Governo Local. Esta dimensão deve incluir todos os itens genéricos, relativos aos aspetos técnicos que não se encontram identificados nas outras dimensões; 25. Usabilidade: Facilidade e simplicidade com que um cidadão se depara na utilização de um portal de Governo Eletrónico Local. O Portal deve ser útil, fácil de utilizar, fácil de relembrar, eficiente e robusto; 26. Velocidade de acesso ao website: Refere-se à satisfação sobre a velocidade de acesso a um portal de Serviços Eletrónicos do Governo Local. Esta não se refere aos atributos referentes ao tempo de entrega de um produto ou serviço; 27. Website Design: Prende-se com o aspeto estético do website do Governo Local, como a utilização de cores e características multimédia apelativas. 28. Acessibilidade: Refere-se a disponibilizar acesso de igual forma a todos os cidadãos, nomeadamente os portadores de deficiências físicas. A título de exemplo, um serviço de qualidade deve disponibilizar ferramentas de acesso de forma a que um deficiente visual possa aceder na plenitude a um serviço oferecido; 29. Compatibilidade: Serviços devem funcionar de igual forma independentemente da tecnologia de acesso, nomeadamente deve ser garantido que funcionam em todos os tipos de dispositivos (móveis inclusivo) e em qualquer sistema operativo, como por exemplo Windows, Linux ou Mac ou em qualquer browser (Ex Internet Explorer, Chrome e Firefox).

VIII. CONCLUSÕES O objetivo principal deste artigo foi apresentar uma lista preliminar de dimensões para a criação de um modelo para avaliação da qualidade de serviços de governo eletrónico local. Apesar de existir um espaço temporal de quase 30 anos, desde a proposta de Parasuramanet al. [5] até à proposta de Hien [6] e de se registar, atualmente, uma diferença na tipologia de serviços prestados, que variam desde os tradicionais até aos de e-Government, analisámos numa primeira etapa os três tipos de serviços, focando-nos no facto de que os cidadãos, na sua interação com o Governo Local, exigem resultados, tal como em qualquer outro tipo serviço. Como complemento da revisão de literatura foi efetuado um conjunto de entrevistas a um grupo de especialistas na área do Governo local, sendo que o resultado foi bastante enriquecedor pelo facto que das vinte e uma dimensões encontradas, seis não tinham sido ainda identificadas na revisão de literatura. A lista preliminar de dimensões deste estudo ficou concluída e composta por vinte e nove dimensões divididas por quatro domínios: Gestão, Informação, Serviço e Técnico (Tabela 7). TABELA 7 - LISTA PRELIMINAR DE DIMENSÕES Domínio da Gestão Apelo Emocional Apoio a clientes Canais alternativos

Domínio da Informação Informação para a tarefa Qualidade da informação

Domínio do Serviço

Domínio Técnico

Confiabilidade

Acessibilidade

Cumprimento de prazos Disponibilidade do Serviço

Compatibilidade Inovação do website Qualidade Técnica Website

Capacitação

Integridade Online

E-Participação

Interoperabilidade

Usabilidade

Gestão de Processos

Personalização

Papel dos Políticos

Velocidade de acesso ao website

Privacidade

Website Design

Reclamações

Segurança Variedade Oferta Serviços Velocidade de Processamento

Transparência Vantagem dos Serviços Online

IX.

TRABALHO FUTURO

Sendo este um estudo preliminar, existe a necessidade de redefini-lo e melhorá-lo, aprofundando novas metodologias e/ou frameworks utilizadas no contexto da avaliação de serviços eletrónicos, nomeadamente na área do Governo Eletrónico Local. Sendo que se encontra definida uma lista preliminar de dimensões para um modelo de qualidade de serviços de governo eletrónico local, a fase seguinte consistirá em submeter esta mesma lista a um processo do Método Delphi no sentido de se validar e aprofundar as dimensões e os respetivos domínios. Numa fase posterior serão definidas as

CISTI 2015 | 1065

dimensões finais para o início do desenho de uma metodologia capaz de avaliar o Governo Eletrónico no contexto local. Por último, será validada a metodologia num contexto real. Ao longo deste processo, no final de cada etapa (Figura 1) existirá uma validação ou redefinição da mesma.

FIGURA 1 - ETAPAS DO ESTUDO

REFERÊNCIAS [1] [2] [3] [4] [5] [6] [7] [8] [9] [10]

[11] [12]

[13] [14] [15] [16] [17]

Rocha, Á. and Sá, F., Planning the Information Architecture in a Local Public Administration organization. Information Development, 2014. 30(3): p. 223.234. Sá, F. and Rocha, Á., Definição da Arquitetura de Informação em organismo da Administração Pública Local. Revista Ibérica de Sistemas e Tecnologias de Informação, 2012. 10: p. 51-64. Comissão Europeia, eGovernment improving but citizens ask for more. 2013. WASEDA - IAC 10Th International E-Government Ranking, W. University and I.A.o.C. (IAC), Editors. 2014. Parasuraman, A., Zeithaml, V.A., and Berry, L.L., A Conceptual Model of Service Quality and Its Implications for Future Research. Journal of Marketing, 1985. 49(4): p. 41-50. Hien, N.M., A Study on Evaluation of E-Government Service Quality. International Journal of Social, Management, Economics and Business Engineering, 2014. 8(1). Connolly, R., Website Service Quality. The Electronic Journal of e-Government, 2007. 5(2): p. 127-134. Lee, H. and Kim, C., Benchmarking of service quality with data envelopment analysis. Expert Systems with Applications, 2014. 41: p. 3761-3768. Khawaja, K.F. and Bokhar, R.H., Exploring the Factors Associated With Quality of Website. Global Journal of Computer Science and Technology, 2010. 10(14): p. 37-45. Alanezi, M.A., Kamil, A., and Basri, S., A proposed instrument dimensions for measuring e-government service quality. International Journal of u- and e- Service, Science and Technology, 2010. 3(4): p. 118. Rocha, Á., Framework for a global quality evaluation of a website. Online Information Review, 2012. 36(3): p. 374-382. Al-Momani, K. and Noor, N.A.M., E- Service Quality, Ease of Use, Usability and Enjoyment as Antecedents of E-CRM Performance: An Empirical Investigation in Jordan Mobile Phone Services. The Asian Journal of Technology Management, 2009. 2(2): p. 50-63. Philips, L.W., Chang, D.R., and Buzzell, R.D., Product Quality, Cost Position and Business Performance: A Test of Some Key Hypotheses. Journal of Marketing (Spring), 1983. 47(2): p. 26-43. Parasuraman, A., Zeithaml, V.A., and Berry, L.L., SERVQUAL: A Multiple-Item Scale for Measuring Consumer Perceptions of Service Quality. Journal of Retailing (Spring), 1988. 64(1): p. 12-40. Cronin, J.J. and Taylor, S.A., Measuring Service Quality: A Reexamination and Extension. Journal of Marketing, 1992. 56(3): p. 5568. Parasuraman, A., Zeithaml, V.A., and Malhotra, A., E-S-QUAL - A Multiple-Item Scale for Assessing Electronic Service Quality. Journal of Service Research - Sage Publications, 2005. 7(X): p. 1-21. Li, H. and Suomi, R., A Proposed Scale for Measuring E-service Quality. International Journal of u- and e-Service, Science and Technology, 2009. 2(1): p. 1-10.

[18] Srivastava, S., Teo, T., and Nishant, R. WHAT IS ELECTRONIC GOVERNMENT SERVICE QUALITY? in European Conference on Information Systems. 2011. AIS Electronic Library. [19] Jinmei, H., Quality Evaluation of E-Government Public Service, in International Conference on Management and Service Science (MASS), IEEE, Editor. 2011: Wuhan. p. 1-4. [20] Wolfinbarger, M. and Gilly, M.C., eTailQ: dimensionalizing, measuring and predicting etail quality. Journal of Retailing (Pergamon), 2003. 79. [21] Li, H. and Suomi, R., Evaluating Electronic Service Quality: A Transaction Process Based Evaluation Model, in The European Conference on Information Management and Evaluation, D.I. Remenyi, Editor. 2007: Montpellier, France, 331-340. p. 331-340. [22] Leite, P., Gonçalves, J., Teixeira, P., and Rocha, Á., Towards a model for the measurement of data quality in websites. New Review of Hypermedia and Multimedia, 2014. 20(4): p. 301-316. [23] Salvador, P. and Rocha, Á., An Assessment of Content Quality in Websites of Basic and Secondary Portuguese Schools, in New perspectives in information systems and technologies, Á. Rocha, et al., Editors. 2014, Springer International Publishing, Switzerland. p. 71-82. [24] Leite, P., Gonçalves, J., Teixeira, P., and Rocha, Á., A Model for the Evaluation of Data Quality in Health Unit Web Sites. Health Informatics Journal, 2015. February 19, 2015: p. 1-17. [25] Alanezi, M.A., Mahmood, A.K., and Basri, S., E-Government Service Quality: A Qualitative Evaluation in the Case of Saudi Arabia. The Electronic Journal on Information Systems in Developing Countries, 2012. 54(3): p. 1-20. [26] Yoo, B. and Donthu, N., Developing a Scale to Measure the Perceived Qualitu of an Internet Shopping Site (SITEQUAL). Quarterly Journal of Electronic Commerce, 2001. 2(1): p. 31-47. [27] Loiacono, E.T., Watson, R.T., and Goodhue, D.L., Measure of Web Site Quality. American Marketing Association, 2002: p. 432-438. [28] Barnes, S.J. and Vidgen, R.T., An Integrative Approach to the Assessment of E-Commerce Quality. Journal of Electronic Commerce Research, 2002. 3(3): p. 114-127. [29] Bauer, H.H., Falk, T., and Hammerschmidt, M., eTransQual: A transaction process-based approach for capturing service quality in online shopping. Journal of Business Research, 2006. 59: p. 866-875. [30] Sam, M.F.M. and Tahir, M.N.H., Website Quality and Consumer Online Purchase Intention of Air Ticket International Journal of Basic & Applied Sciences, 2009. 9(10): p. 4-9. [31] Ding, D.X., Hu, P.J.-H., and Sheng, O.R.L., e-SELFQUAL: A scale for measuring online self-service quality. Journal of Business Research, 2011. 64: p. 508-515. [32] Rocha, Á., Silva, C., Lamas, M., Castro, R., and Silva, S., Governo Electrónico nas Juntas de Freguesia: Situação na Região do Minho, in 5ª Conferência da Associação Portuguesa de Sistemas de Informação, Actas [CD-ROM]. ISBN 97226-28 de Outubro, Bragança, 2005 95246-3-7. 2005. [33] Santos, P., Melo, A.I., and Dias, G.P., Administrative modernisation and e-government: the case of Águeda, in Information Systems and Technologies (CISTI). 2013: Lisboa. p. 782-787. [34] Agrawal, A., Shah, P., and Wadhwa, V., EGOSQ-User´s Assessment of e-governance Online-Services. Computer Society of India, 2009: p. 231244. [35] Dias, G.P. and Gomes, H., Evolution of local e-government maturity in Portugal, in Information Systems and Technologies (CISTI). 2014: Barcelona. p. 395-399. [36] Unidade Missão Inovação e Conhecimento, Qualidade e Eficiência dos Serviços Públicos in Plano de Acção para o Governo Eletrónico, A.P.a.S.d. Conhecimento, Editor. 2003. p. 1-66. [37] Papadomichelaki, X. and Mentzas, G., A Multiple-Item Scale for Assessing E-Government Service Quality. M.A. Wimmer et al. (Eds.): EGOV 2009 - Springer-Verlag Berlin Heidelberg, 2009(5693): p. 163175. [38] Kumar, V., Mukerji, B., Butt, I., and Persaud, A., Factors for Successful e-Government Adoption: a Conceptual Framework. The Electronic Journal of e-Government, 2007. 5(1): p. 63-76.

CISTI 2015 | 1066

[39] Zaidi, S.F.H. and Qteishat, M.K., Assessing e-Government Service Delivery (Government to Citizen). International Journal of eBussiness and eGovernment Studies, 2012. 4(1): p. 45-54.

ANEXO 1 1. Autoriza a divulgação dos seus dados sociodemográficos, no âmbito do trabalho de doutoramento? 2. Exerce um papel decisor ou de responsabilidade sobre a prestação de serviços eletrónicos online da sua instituição? Pode detalhar? 3. No seu entender, em relação aos serviços eletrónicos online prestados pelas Autarquias Locais, que critérios de qualidade considera realmente importantes na visão do cidadão? Se possível justifique o porquê. 4. Em relação aos serviços eletrónicos online prestados pelas Autarquias Locais, que critérios de qualidade considera realmente importantes para uma melhoria dos procedimentos internos de uma Autarquia? Se possível justifique o porquê. 5. Identifique as particularidades e diferenças entre a prestação de um Serviço Eletrónico online pelo Governo Central e pela Administração Local.

CISTI 2015 | 1067