Extração e combinação do conhecimento | Extraction and combination of knowledge

Extração e combinação do conhecimento Extraction and combination of knowledge Rodrigo L. C. Souza, Fabio Campos, Edvar Vilar, Ítalo Nunes, André Neves

extração da informação, representação da informação, combinação da informação. A informação se tornou uma moeda na era da globalização, tê-las ao seu alcance e consulta é importante, porém seu valor não pode ser totalmente aproveitado se ela não for adequadamente modelada. Até hoje existe uma dificuldade em como extrair informações de algumas fontes, fontes essas que acumulam muito conhecimento a ser transmitido e por falta de um método eficaz acabam não sendo aproveitadas, ou sendo mal aproveitadas. Nesse trabalho, apresentamos uma proposta de um método para extrair conhecimento através de uma Extensão à Teoria da Matemática das Evidências. Essa extensão possibilita uma combinação mais eficaz destas informações, uma vez que não é o bastante ter muitas informações em mãos, a não ser que se possa tirar alguma conclusão delas. A regra de combinação de evidências adotada consegue combinar de forma satisfatória essas informações sem apresentar resultados contra-intuitivos, além de modelar a incerteza envolvida no processo de uma forma mais clara. Information extraction, combination of information, information representation In our age of globalization the information became a currency, to have them at reach is important, although its value cannot be totally used to our advantage if the information are not adequately modeled. Until today existed a difficulty in extracting information from some sources, sources that could provide much knowledge, but, due to the lack of an efficient method, they finish not being used to our advantage. In this paper we present a method of knowledge extraction through an extension to the Mathematical Theory of Evidence, which makes possible a more efficient combination of these information. This method makes use of rule of evidence combination able to satisfactory combine the information available without the counter-intuitive results of the original process, at the same time being able to represent in the results the quantity of uncertainty coming from the conflict or lack of knowledge.

1 Introdução Para (Matos, 2003), uma informação é apresentada através de signos (gráficos ou fonéticos) e que para possuírem algum valor, faz-se necessário que o mesmo seja decodificado por quem recebe. Podemos ainda conceituar a informação como o conhecimento disponibilizado por alguém em algum meio. A informação é a base de tudo, porém, ainda existe uma dificuldade em como a recolher e analisar da melhor maneira possível. Atualmente, os métodos disponíveis para a análise das informações apenas ignoram a incerteza envolvida no processo. Segundo a taxonomia, inicialmente utilizada por Helton, a incerteza pode ser dividida em dois grandes grupos, a “incerteza subjetiva” e a “incerteza objetiva”. A Incerteza Objetiva corresponde à “variabilidade” que emerge da característica estocástica de um ambiente. Uma vez que, pelo menos a princípio, ela não pode ser reduzida por estudos adicionais (apesar de ser mais bem caracterizada). A Incerteza Subjetiva é a incerteza que advém da ignorância cientifica, incerteza das medições, impossibilidade de confirmação ou observação, censura, ou outra deficiência do conhecimento. A priori, pode ser reduzida por esforços empíricos adicionais. É possível identificar três premissas da incerteza subjetiva advindas das suas próprias evidências e combinações (Campos & Neves, 2007): 1. o desconhecimento explícito; 2. a falta da unicidade na atribuição da crença e a divisão proporcional entre a crença e as hipóteses escolhidas; e, 3. o conflito entre as evidências. O objetivo deste trabalho é apresentar uma alternativa na extração e combinação da informação através da incerteza subjetiva, utilizando o formalismo proposto por Campos,

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

baseado na Teoria da Matemática das Evidências, ou Teoria de Dempster Shafer. Este formalismo está sendo desenvolvido desde 2003 e apresenta ótimos resultados, corrigindo vários problemas na teoria original, identificados por alguns autores (Shafer, 1976), (Smets, 1988) e (Zadeh, 1984). Por questões práticas, nós a utilizaremos neste trabalho. Segue também uma explicação sobre a teoria e suas bases matemáticas. Com este novo método, será possível analisar diversas fontes de informação e extrair conhecimento a partir delas.

2 Teoria das Evidências A Teoria das Evidências, ou Teoria de Dempster-Shafer, foi introduzida nos anos setenta, baseado nos trabalhos de Dempster’s, extendidos por Shafer (Shafer, 1976). A Teoria das Evidências, diferente da Teoria de Bayes, não necessita de conhecimento prévio da distribuição das probabilidades, sendo capaz de atribuir valores de crença a conjuntos de possibilidades, ao invés de apenas a eventos simples. Outro diferencial é não haver a necessidade de distribuir toda a crença entre os eventos, uma vez que a crença não atribuída a nenhum evento em particular é atribuída ao ambiente, e não aos eventos restantes. Esses dois diferenciais permitem a essa teoria modelar mais precisamente o processo natural de raciocínio sobre a acumulação de evidências, fazendo-a progressivamente mais popular. Quadro de Discernimento: O quadro de discernimento, ou ambiente, é um conjunto de hipóteses primitivas, denotado por θ. Que deve:

ƒ ƒ

ser exaustivo no sentido de ser completo, contendo todas as possíveis soluções primitivas (atômicas); e, possuir elementos primitivos mutuamente exclusivos.

Função de Massa: A atribuição básica de probabilidade, ou Função de Massa, atribui uma quantidade de crença aos elementos do quadro de discernimento. Considerando-se uma determinada evidência, a função de massa, m, atribui a cada Θ

subconjunto possível de θ (ou seja, 2 , o powerset de θ), um número no intervalo [0,1] onde 0 representa a ausência de crença, e 1 representa certeza. Função de Crença: A função de crença, Bel, mede o quanto as informações fornecidas por uma fonte sustentam um determinado elemento como a resposta correta. A função de crença para o elemento A, Bel(A), é dada por:

Bel : 2 Θ ⎯ ⎯→ [0,1] Bel ( A) =

∑ m( B )

B⊆ A

Regra de Dempster: O processo de raciocínio de acúmulo de evidências requer um método que combine evidências independentes advindas de diferentes fontes (Stein, 1993). A regra usualmente empregue para a combinação dos corpos de evidências é a Regra de Dempster (Borges, 1998), (Shafer, 1976). Não obstante, existem outras regras para a combinação, cuja diferença básica é a etapa da normalização (Joshi & Shasrabudhe & Shankar, 1995), (Bittencourt, 1998), sendo os procedimentos adotados por todas as regras independente da ordem da descrição das evidências. A regra de Dempster é composta por uma soma ortogonal e uma normalização:

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

m1 ⊕ m2 ( A) = x

∑

m1 (B ).m2 (C ), ∀A ⊆ Θ

B ∩C = A A≠ ∅

Onde m1 m2 (A) denota os efeitos da combinação das funções de massa m1 e m2, e X é a constante de normalização, definida como 1/k, onde:

k = 1−

∑ m ( A ).m (B )

Ai ∩ B j =∅

1

i

2

j

Exemplo 1: Um designer apresentou cinco modelos de pictograma para portas de banheiros, θ = {Pictograma 1, Pictograma 2, Pictograma 3, Pictograma 4, Pictograma 5}, considerando-se A = { Pictograma 1}, B = { Pictograma 2}, C = { Pictograma 3}, D = { Pictograma 4}, e E = { Pictograma 5}, perguntou-se a duas pessoas diferentes qual a opinião delas acerca da probabilidade de cada um dos pictogramas ser bem visível. A primeira pessoa emitiu a seguinte crença, resultando no primeiro corpo de evidência:

m1 ( A) = 0,15

m1 (B ) = 0,22

m1 (C ) = 0,09 m1 ( D) = 0,38 m1 ( E ) = 0,16 m1 (Θ ) = 0

Observe que como 100% da crença foram inteiramente divididas entre as hipóteses nada foi atribuído ao “meio”, θ, implicando em m1(θ) = 0. A opinião emitida pela segunda pessoa resultou no segundo corpo de evidência:

m2 ( A) = 0,00 m2 (B ) = 0,14

m2 (C ) = 0,27 m2 ( D) = 0,23 m2 ( E ) = 0,19 m2 (Θ ) = 0,17

Observe que o segundo opinante preferiu não emitir opinião sobre a possibilidade “A”; e como ele não dividiu 100% de suas crenças entre as outras possibilidades, o restante foi atribuído ao meio, θ. Fazendo a combinação pela regra de Dempster, temos o resultado:

m3 ( A) = 0,08

m3 (B ) = 0,20 m3 (C ) = 0,11

m3 ( D) = 0,44 m3 ( E ) = 0,17 Peso de Conflito É o logaritmo da constante de normalização, denotado por Con(Bel1, Bel2), onde:

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

Con(Bel1 , Bel2 ) = log( X ) Se não houver conflito entre Bel1 e Bel2, a soma das crenças será 1 e Con(Bel1, Bel2) = 0. De forma análoga, se não possuírem evidências em comum, Con(Bel1, Bel2) = ∞. Lateo “Lateo” em latim significa “estar escondido”, “fora de vista”, “estar desconhecido”, foi o que permitiu a possibilidade da aplicação da Teoria da Matemática das Evidências nesse caso estudado. Esta regra foi desenvolvida por Campos em 2003 e até o presente trabalho vem apresentando ótimos resultados, esta regra basicamente rebaixa as crenças atribuídas às hipóteses proporcionais ao peso de conflito, conseguindo assim modelar a incerteza, além de resolver o comportamento contra-intuitivo. Matematicamente falando, a regra apenas divide a regra original por (1+ log(1 / k )) sendo k a soma dos resultados da combinação. Agora vamos explicar o que é o comportamento contra-intuitivo e como surgiu o Lateo. Comportamento contra-intuitivo das regras de combinação: Um problema clássico das regras de combinação utilizadas até agora é o resultado contra intuitivo encontrado quando a evidência combinada tem uma concentração de crença em elementos distintos entre eles, e um elemento comum com baixo grau de crença atribuída a eles. Pelo fato das regras não incluírem nenhuma forma intrínseca de rebaixamento de crença proporcional à soma da incerteza (oriundo do conflito entre eles), eles podem atribuir 100% da crença ao elemento menos acreditado, mas comum à evidência. Exemplo 2: Uma vinheta de programa está sendo desenvolvida e foi pedida a opinião de dois designers sobre qual teria mais chance de sucesso com um determinado público. O designer 1 afirmou que havia 99% de probabilidade da vinheta em 3d fazer mais sucesso ({3d}), e 1% de probabilidade do desenho animado ({desenho}):

m1 ({3d }) = 0,99

m1 ({desenho}) = 0,01 Já o designer 2 aposta que uma filmagem trabalhada com efeitos gráficos faria sucesso com 99% de certeza ({filmagem}), e o desenho animado, teria apenas 1% de probabilidade ({desenho}):

m 2 ({ filmagem}) = 0,99 m 2 ({desenho}) = 0,01

Pela regra de Dempster:

Θ = {3d , desenho, filmagem} m3 ({3d }) = 0 m3 ({ filmagem}) = 0 m3 ({desenho}) = 1 Ou seja, 100% de probabilidade de sucesso na vinheta em desenho animado, contradizendo a intuição, e fazendo alguns autores (Sentz & Ferson, 2002) declararem como não recomendável a combinação de evidências com peso de conflito maior que certo valor, sendo 0,5 um valor prático (como a regra prática). Graficamente (através das lacunas em branco que não aparecem no gráfico) pode facilmente ser observado que é a soma ortogonal da Regra de Dempster que calcula a área das somas das massas de crença que coincidem, e que a normalização distribuiu partes da área que não coincidem da massa resultante proporcional aos seus valores. A questão crítica é o que fazer com as áreas não coincidentes, como incorporar todas as outras

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

condições da incerteza subjetiva a ela? Nós responderemos esta questão com a diminuição da combinação original das crenças proporcionalmente a não coincidência das áreas, e atribuição das crenças restantes desta operação para o ambiente, junto com a incerteza que podia ser atribuída pela regra original de Dempster (Campos & Cavalcante, 2003). Embora outras medidas da informação possam possibilitar a diminuição da combinação das crenças proporcionalmente às áreas não coincidentes, nós escolhemos uma medida já definida pela teoria original, chamado de peso de conflito. Com a adoção desta nova regra de combinação das evidências, nós podemos criar a extensão da Teoria das Evidências, corrigindo o comportamento contra-intuitivo, e ainda representar os seus resultados de incerteza subjetiva. Esta quantidade de crença atribuída ao ambiente constituiu uma medida, advindas das três premissas da incerteza subjetiva, que pode ser chamada de “Lateo”, e denotado por (Campos & Cavalcante, 2003), em alusão a sua causa, já que “Lateo” em latim significa “estar escondida”, “fora de vista”, “está desconhecido”. Esta regra torna possível combinar uma evidência com a maior parte da sua crença atribuída a hipóteses distintas, sem o efeito colateral do comportamento contra-intuitivo. Também permite o uso de evidência com alto valor de conflito. Isto é concluído pela divisão da soma ortogonal, na Regra de Dempster, dada por (1 + log (1/k)), que é, (1 + Com(Bel1,Bel2)):

X m1 Ψm2 ( A) =

∑ m ( B).m

BΙ C = A A≠ ∅

1

2

(C ) ∀A ⊆ Θ

⎛1⎞ 1 + log⎜ ⎟ ⎝k⎠

A crença original é rebaixada entre as hipóteses e acrescentada à crença inicial do ambiente provindo do “Lateo”:

Λ = ( χ .m1 (Θ).m2 (Θ)) + 1 −

∑ m Ψm

A⊂ Θ A≠∅

1

2

( A)

Pode ser notado que (X.m1(θ).m2(θ)) é a equação para m1

m2(θ) pela Regra de

Dempster, esta quantidade expressa um caso especial da primeira premissa, o desconhecimento explícito, o qual é a única premissa da incerteza subjetiva modelada (parcialmente) pela regra original. A regra propõe adicionar esta quantidade proporcional ao valor do peso de conflito. Embora o nome “peso de conflito”, Con(Bel1,Bel2) expresse na verdade os efeito das outras duas premissas (e o restante dos casos da primeira premissa), o conflito entre as evidências e a não unicidade da crenças proporcional a divisão entre as hipóteses escolhidas. O peso de conflito foi até agora usado como uma medida de separação, principalmente para evitar a combinação das evidências com um alto grau de conflito que pode resultar em respostas contra-intuitivas. Quando utilizado desta maneira demonstra em sua fórmula que modelará a condição da incerteza subjetiva restante e resolverá o problema contra-intuitivo da teoria original O valor numérico expressado pelo Lateo representa uma massa de crença móvel que na ausência das três da incerteza subjetiva pode ser associada a qualquer elemento da combinação dos elementos do quadro de discernimento. Combinando evidência com a maior de suas crenças atribuídas a hipóteses distintas: O argumento proposto resolve o comportamento contra-intuitivo da teoria original, combinando evidências com o maior valor de crença atribuído a hipóteses distintas, como é ilustrado no Exemplo 3 (Campos & Neves & Souza, 2007): Exemplo 3: aplicando nossa regra com os dados do Exemplo 2, nós temos:

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

k = 0,0001 X = 10,000 log( X ) = 4 E assim:

m3 ({3d }) = 0 m3 ({desenho}) = 0,2 m3 ({ filmagem}) = 0 Λ = m3 (Θ) = 0,8 Como pode ser visto, a opinião é mais bem modelada uma vez que a crença no 3d e na filmagem continua sendo desprezada devido as suas distinções, porém a incerteza é mais bem representada, já que 80% da crença é atribuída ao ambiente e não a uma hipótese em particular. A Função de Plausibilidade e o intervalo de crença seriam:

Bel ({desenho}) = 0,2

Pl ({desenho}) = 1

I ({desenho}) = [0,2;1]

Isto mostra uma melhor modelagem do problema, já que a plausibilidade da hipótese desenho animado continua 100%, enquanto a crença é diminuída a 20%. Visto do ponto de vista epistemológico, não seria apropriada a atribuição de 100% da crença a desenho animado, simplesmente porque os designers discordaram sobre a maior hipótese acreditada, e concordaram sobre uma única com baixa crença. Note que considerando o processo de tomada de decisão na teoria original, seria sugerido “desenho” sem considerar a incerteza, enquanto nosso argumento deixa claro que a informação coletada não é suficiente para tomar uma decisão, uma vez que a incerteza subjetiva medida (o Lateo) é maior que o conhecimento avaliado (que é 80% Lateo contra 20% “desenho”). Combinando evidências com alto grau de conflito: Deve ser notado que a regra proposta mostra uma melhor modelagem, como se a evidência combinada não mostrasse concentração de crença em elementos distintos, uma vez que, seja qual for o caso irá diminuir as crenças atribuídas às hipóteses proporcionalmente ao peso de conflito entre elas, permitindo a combinação de evidências com alto grau de conflito, e modelando a incerteza e/ou a inconsistência entre os especialistas consultados.

3 Extraindo e Combinando Em alguns casos de pesquisa apenas a resposta A ou B, ou sim ou não são insuficientes para ter alguma relevância no processo, por isso sua realização é dificultada. Este comportamento de não apenas escolher uma ou outra é chamado de incerteza subjetiva, segundo Helton (Helton, 1997), a taxonomia da incerteza tem uma natureza dual, a incerteza objetiva e a subjetiva. A incerteza objetiva não pode ser reduzida por estudos adicionais, ou seja, é sempre uma resposta ou outra, a lei dos grandes números, Já a incerteza subjetiva é diferente, nesses casos, por exemplo, é preciso que a fonte atribua massas de crença, ou valor probabilístico a algumas hipóteses. Este caso modela a incerteza subjetiva, e esta incerteza está presente em todo e qualquer processo de informação, podendo ser oriunda do desconhecimento explícito, da falta de unicidade entre as evidencias e o conflito entre as opiniões. Segundo Campos, sua função principal é gerar uma medida ou valor a ser considerada nos estudos, se a incerteza envolvida for muito alta, talvez se deva rever a realização do processo. Ao pedir a opinião de mais de uma fonte, agora se torna necessário combiná-las, a combinação na regra clássica, apenas ignora a incerteza envolvida no processo, porém em

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

algumas situações é necessário modelá-la. Através do formalismo Lateo, desenvolvido por Campos, podemos demonstrar de forma clara a incerteza envolvida, temos como exemplo: Exemplo 3: Um escritório de design foi chamado para fazer a sinalização interna de um ginásio poli-esportivo. Dentro da equipe de criação foram propostas três bases de trabalho, porém apenas uma seria selecionada para o desenvolvimento do projeto. Os projetos seriam: a sinalização toda em pictograma, a sinalização a partir de cores e legendas, e sinalização através de imagens e legendas. A equipe era mesclada com profissionais experientes, recém formados e estagiários. A opinião de todos foi levada em consideração. Foi pedido que atribuíssem valores de crença a cada uma das alternativas de projeto, a fim de saber qual seria a com maior crença em comum. A equipe se dividiu em duas sobre a viabilidade dos projetos. As crenças atribuídas estão apresentadas na Tabela 1. Tabela 1: Combinação das evidências. Multiplicam-se os semelhantes e o ambiente multiplica por todos, após isso, soma os semelhantes mais os resultados com os ambientes.

SinPict = 30% SinCL = 50%

Equipe 2:

SinImL = 10% Θ = 10% Σ=

SinPict = 45% 0,135

Equipe 1: SinCL = 20% SinImL = 35%

Θ = 0%

0,1 0,035 0,045

0,02

0,035

Σ = 0,18

Σ = 0,12

Σ = 0,07

Σ=0

Equipe1: Sinalização em pictogramas = 45%; Sinalização em cores e legendas = 20%; Sinalização com imagens e Legendas: 35%; Ambiente: 0% Equipe2: Sinalização em pictogramas = 30%; Sinalização em cores e legendas = 50%; Sinalização com imagens e Legendas: 10%; Ambiente: 10% Agora combinaremos pela regra de Dempster e após a combinação aplicaremos o Lateo. Segue a tabela. Agora com o somatório fazemos a normalização, a fim de os dados fornecidos chegarem a 100%, pegamos a soma dos somatórios e dividimos por cada somatório, ou seja, uma regra de três simples, sendo a soma igual a 0,37. A Tabela 2 mostra esses valores. Tabela 2: Resultado da combinação através de Dempster Shafer, não existe incerteza no processo, será a sinalização por pictogramas com certeza.

SinPict = 48,6%

SinCL = 32,4%

SinImL = 19%

Θ = 0%

Neste momento a teoria de Dempster falha, e é necessário usar o Lateo. Pegamos cada valor e aplicamos nesta regra:

(1+ log(1 / k )) Então os novos valores podem ser vistos na Tabela 3. Tabela 3: Resultado corrigido pelo Lateo. Existe muita incerteza envolvida no processo, não temos certeza de uma resposta, este caso agora foi mais bem modelado.

SinPict = 34%

SinCL = 23%

SinImL = 13%

Lateo = 30%

Neste caso há muita incerteza (Lateo) envolvida no processo, até por que só foram recolhidas duas opiniões conflitantes, talvez para obter uma decisão mais segura deva-se consultar outras fontes, se não realizar o trabalho tendo em vista que existe uma probabilidade de não dar certo o projeto. A extração da informação é uma das bases do conhecimento, é preciso recolher dados iniciais, estes dados são pressupostos como verdadeiros, livres de algum erro, apesar de que na prática algum erro possa estar envolvido na extração. O importante nesta extração é como as fontes iram passar a informação, sua grande vantagem é poder modelar a atribuição de

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

massas de crença, ou seja, acreditar em hipóteses. Isso modela de forma melhor o pensamento humano, que analisa a incerteza de forma intrínseca, e leva em consideração várias fontes de informação. Para chegar a este patamar é utilizada a Teoria da Matemática das Evidências. A combinação da informação completa a extração, pois é necessário ter os dados em mãos e saber o que fazer com eles. A combinação ocorre quando existe uma soma ortogonal dos semelhantes, graficamente, existiriam áreas de coincidência e áreas em branco, as áreas em branco seriam a incerteza do processo. A combinação transforma diferentes opiniões em uma só, esta nova opinião formada tem que ser representativa e atender às expectativas do entrevistador. Profissionais experientes costumam combinar varias fontes intrinsecamente, porém, quando o profissional é inexperiente ele necessita de outras formas de tomar decisões de risco baseados na incerteza.

4 Conclusões A extração e combinação da informação são importantes por darem a possibilidade de tomar decisões baseadas na incerteza. Em casos de risco, a extração mostra-se vantajosa em relação a outras teorias anteriormente utilizadas, pelo modo como coleta as informações. Além de levar em conta as diversas hipóteses que uma pessoa pode gerar ainda modela a sua incerteza. Enquanto a combinação mostra-se superior em relação aos dados combinados, podendo representar a incerteza de forma explícita além de criar uma nova opinião oriunda das fontes perguntadas. Esta nova combinação da informação pode ter uma elevada gama de aplicação em vários casos, desde escolhas de alternativas até analisar a incerteza envolvida no processo, para saber se o projeto é viável ou não. Podemos tirar duas conclusões deste trabalho: 1. Com esta extração é possível conseguir dados das fontes com mais veracidade, modelando varias atribuições de crença e uma modelagem da incerteza advinda do conhecimento dos especialistas, não apenas respostas diretas. 2. A combinação da informação pode levar à aplicação prática juntando a opinião de vários especialistas de diferentes áreas sobre um tema, graças à representação da incerteza, além de não apresentar o resultado contra-intuitivo. Este novo recurso pode ser usado não apenas para áreas da informação, pois alem de modelar a informação, pode modelar o conhecimento. O importante é entender como realizar a extração e a combinação da informação, como podemos aplicá-la em diversos estudos ergonômicos, por exemplo, em uma intervenção ergonômica de um posto de trabalho onde alguns profissionais divergem em suas crenças nos problemas, talvez esta situação possa resolvida com o Lateo.

5 Referências Campos, F. (2006). Decision Making in Uncertain Situations . Dissertation.com, Boca Raton. ISBN 1-58112-335-3. Campos, F.; Campello de Souza, F. (2005). Extending dempster-shafer theory to overcome counter intuitive results. Artigo publicado no IEEENLP- KE-05, Beijing, China. Campos, F.; Cavalcante, S. (2003). An extended approach for dempster-shafer theory. Artigo publicado no IEEE-IRI-03, Las Vegas, USA. Campos, F.; Cavalcante, S. (2003). A method for knowledge representation with automatic uncertainty embodiment. Artigo publicado no IEEE-NLP-KE-03, Beijing, China. Campos, F.; Neves, A. (2007). Dealing with subjective uncertainty in knowledge based systems. Artigo publicado no IEEE-ISCC 2007, Aveiro, Portugal. Campos, F.; Neves, A.; Campello de Souza, F. (2007). Decision making under subjective uncertainty. Artigo publicado no IEEE-SSCI-MCDM 2007, Honolulu, USA.

3º congresso internacional de design da informação | curitiba | 8 - 10 de outubro | 2007

Borges, G. (1998). Sgmoo: Sistema gestor de métodos orientados a objetos baseado em conhecimento. Master's thesis, Departamento de Ciência da Computação - Universidade de Brasília. Ferson, S.; Kreinovich, K., Ginzburg, L.; Myers, D.; Sentz, K. (2003). Constructing probability boxes and dempster-shafer structures. Sand Report, Jan. Unlimited Release. Helton, J. (1999). Uncertainty and sensitivity analysis in the presence of stochastic and subjective uncertainty. Journal of Statistical Computation and Simulation, 57:3–76. Joshi, A.; Shasrabudhe S.; Shankar, K. (1995). Sensivity of combination schemes under conflicting conditions and a new method. In J. Wainer, A. Carvalho, et al., editors, Advances in Artificial Intelligence, Lectures Notes in Computer Science, pages 39–47. Springer-Verlag. Matos, C. M. A. Conhecimento X Informação: Uma discussão necessária. Revista Espaço Acadêmico, n 31, 2003. Sentz, K.; Ferson, S. (2002). Combination of evidence in dempster-shafer theory. Sand Report, Apr. Unlimited Release. Shafer, G. (1976). A Mathematical Theory of Evidence . Princeton University Press ISBN: 0691-08175-1. Smets, P. (1988). Belief functions. In P. Smets, E. Mamdani, D. Dubois, and H. Prade, editors, Non-Standard Logics for Automated Reasoning. Academic Press, San Diego CA, USA, 1988. ISBN: 0-12-649520-3. Stein, R. (1993). The dempster-shafer theory of evidential reasoning. Artificial Intelligence Expert, Aug. Uchoa, J. Q.; Panotim, S. M.; Nicoletti. M. (2000). Elementos da teoria da evidência de dempster-shafer. Tutorial do Departamento de Computação da Universidade Federal de São Carlos. Zadeh, L. A. (1984). Book review: A mathematical theory of evidence. AI Magazine, 5(3):81–83.