Sistemas de Visão Computacional

UNIVERSIDADE DE CAXIAS DO SUL

SAMANTA CRISTIANE SANDER

SISTEMA DE VISÃO COMPUTACIONAL PARA INSPEÇÃO DE PAINÉIS ELETRÔNICOS

CAXIAS DO SUL 2015

SAMANTA CRISTIANE SANDER

SISTEMA DE VISÃO COMPUTACIONAL PARA INSPEÇÃO DE PAINÉIS ELETRÔNICOS

Relatório de Estágio apresentado como parte dos requisitos para obtenção da aprovação na disciplina de Estágio Supervisionado do curso de Engenharia de Controle e Automação, tendo como área de concentração visão computacional. Orientador Prof. Dr. Guilherme H Costa.

CAXIAS DO SUL 2015

SAMANTA CRISTIANE SANDER

SISTEMA DE VISÃO COMPUTACIONAL PARA INSPEÇÃO DE PAINÉIS ELETRÔNICOS

Relatório de Estágio apresentado como parte dos requisitos para obtenção da aprovação na disciplina de Estágio Supervisionado do curso de Engenharia de Controle e Automação, tendo como área de concentração visão computacional. Aprovada em

Banca Examinadora _____________________________________________ Prof. Dr. Guilherme H. Costa Universidade de Caxias do Sul- UCS _____________________________________________ Prof. Me. Celso Ferrarini Universidade de Caxias do Sul- UCS _____________________________________________ Prof. Dr. Luciano Hennemann Universidade de Caxias do Sul- UCS

/

/

.

AGRADECIMENTOS

Agradeço em primeiro lugar a Deus por ser a base das minhas conquistas. Aos meus pais Derly Jorge Sander e Elaine Sander, à minha irmã Amanda Cristina Sander e ao meu esposo Daniel Wichmann Kaufmann, por acreditarem em minhas escolhas, apoiando-me e esforçando-se junto a mim, para que eu suprisse todas elas. Ao Prof. Dr. Guilherme Holsbach Costa pela dedicação em suas orientações prestadas na elaboração deste trabalho, me incentivando e colaborando no desenvolvimento de minhas ideias. À Empresa Mobitec Brasil por acreditar na proposta deste trabalho e investir em sua realização dispondo de tempo e recursos. Aos meus colegas da Engenharia de Produto em especial ao Eng. João Pedro Longhi pelo auxílio na ambientação com a plataforma de programação LabVIEW TM.

RESUMO Sistemas de visão computacional vem sendo amplamente empregados em automações de indústrias, em tarefas de inspeção automática, identificação de peças, medição e direcionamento. Este trabalho irá apresentar o desenvolvimento de um sistema de inspeção funcional por visão computacional para placas eletrônicas, desde a especificação do hardware do sistema até a implementação, demostrando as técnicas aplicadas de processamento para correção das distorções nas imagens, determinação de regiões de interesse e segmentação, juntamente com a avaliação dos resultados com o sistema. Palavras-chave: Sistemas de visão computacional, processamento de imagens, inspeção automatizada.

LISTA DE FIGURAS

Figura 1- Fluxograma da produção de itinerários eletrônicos ................................... 13 Figura 2- Sequência de acionamento do painel de LEDs ......................................... 14 Figura 3- Sistema de Visão Artificial Segundo Marques e Vieira .............................. 16 Figura 4- Sistema de Visão Proposto ........................................................................ 17 Figura 5- Câmera e Componentes ............................................................................ 18 Figura 6- Sensor de Varredura por Linha .................................................................. 19 Figura 7- Modelo de Lentes Finas ............................................................................. 24 Figura 8- Relação Diâmetro da Lente X Dimensão do Sensor .................................. 25 Figura 9- Características Câmera ............................................................................. 30 Figura 10- Interface Mecânica e Interface Elétrica .................................................... 32 Figura 11- Fluxograma Software ............................................................................... 33 Figura 12- Processo de Aquisição............................................................................. 34 Figura 13- Apresentação de Coordenadas em Distorções Tangencial e Radial ....... 35 Figura 14- Distorções Radiais do tipo Barril (a) e Almofada (b) ................................ 36 Figura 15- Distorção Projetiva ................................................................................... 36 Figura 16- Sistema de Teste de Painéis de LEDs ..................................................... 39 Figura 17- Tela Principal do Aplicativo ...................................................................... 40 Figura 18- Tela Calibração de Imagens .................................................................... 40 Figura 19- Gabarito Desenvolvido e Grid fornecido Pelo LabView............................ 41 Figura 20- Preparação da Imagem para Mapeamento .............................................. 42 Figura 21- Resultado da Calibração .......................................................................... 43 Figura 22- Relação Milímetro por Pixel ..................................................................... 44 Figura 23- Tela da VI Cadastro de Produtos ............................................................. 44 Figura 24- Coordenada do Primeiro LED .................................................................. 45 Figura 25- Fluxograma Software: teste de placas ..................................................... 46 Figura 26- Placa de Controle..................................................................................... 46 Figura 27- Determinação do ROI .............................................................................. 48 Figura 28- Fluxograma Software- Delimitação ROIs ................................................. 49 Figura 29- Resultado com Matriz de Indicadores ...................................................... 51 Figura 30- Resultado do Teste- Placa Aprovada....................................................... 52 Figura 31- Resultado do Teste – Placa Reprovada ................................................... 52

LISTA DE TABELAS

Tabela 1- Comparativo Câmera Digital x Câmera Analógica .................................... 21 Tabela 2- Interfaces de Câmeras Digitas .................................................................. 22 Tabela 3- Comparativo entre Sensores CCD e CMOS ............................................. 22 Tabela 4- Dados Sobre Encaixe Lentes .................................................................... 23 Tabela 5- Tipos de Iluminação e Características ...................................................... 25

SUMÁRIO 1

INTRODUÇÃO ............................................................................................. 10

1.1

OBJETIVOS ................................................................................................. 11

1.1.1

Objetivo Geral ............................................................................................. 11

1.1.2

Objetivos Específicos ................................................................................ 11

1.2

ÁREA DE TRABALHO.................................................................................. 12

2

PROCESSO DE TESTE DE ITINERÁRIOS ELETRÔNICOS ...................... 13

2.1

PROCESSO ORIGINAL DE TESTE ............................................................. 13

2.2

SOLUÇÃO PROPOSTA ............................................................................... 15

2.2.1

Especificação de um sistema de visão..................................................... 18

2.2.1.1 Parâmetros para definição de câmeras ........................................................ 18 2.2.1.2 Lentes ........................................................................................................... 23 2.2.1.3 Iluminação .................................................................................................... 25 2.2.1.4 Interfaces mecânicas e elétricas .................................................................. 27 2.2.1.5 Definição de plataforma e concepção do software ....................................... 27 2.2.2

Definição de hardware e software ............................................................. 27

2.2.2.1 Definição da câmera ..................................................................................... 28 2.2.2.2 Cálculo de lente ............................................................................................ 30 2.2.2.3 Iluminação .................................................................................................... 31 2.2.2.4 Interface mecânica e elétrica ........................................................................ 31 2.2.2.5 Plataforma de desenvolvimento e concepção do software ........................... 32 2.2.3

Conceitos processamento de imagem utilizados .................................... 33

2.2.3.1 Aquisição ...................................................................................................... 33 2.2.3.2 Distorções geométricas ................................................................................ 34 2.2.3.3 Registro de imagens ..................................................................................... 37 2.2.3.4 Segmentação ............................................................................................... 37 2.3

IMPLEMENTAÇÃO SISTEMA DE INSPEÇÃO DE PAINEIS DE LED .......... 38

2.3.1

Calibração do sistema ................................................................................ 40

2.3.2

Cadastro de produtos ................................................................................ 44

2.3.3

Teste de placas ........................................................................................... 45

2.3.3.1 Acionamentos de placas ............................................................................... 46 2.3.3.2 Aquisição ...................................................................................................... 47 2.3.3.3 Definição de ROIs......................................................................................... 47

2.3.3.4 Determinação de limiar para LEDs ligados e desligados.............................. 50 2.3.3.5 Avaliação do acionamento dos LEDs ........................................................... 50 2.3.3.6 Exibição dos resultados ................................................................................ 51 3

RESUSLTADOS EXPERIMENTAIS ............................................................ 53

4

CONSIDERAÇÕES FINAIS ......................................................................... 54

APÊNDICE A – VI CALIBRAÇÃO ............................................................................ 57 APÊNDICE B - VI CADASTRO DE PRODUTOS ..................................................... 58 APÊNDICE C – VI ACIONAMENTO DE PLACAS ................................................... 59 APÊNDICE D – VI AQUISIÇÃO ................................................................................ 60 APÊNDICE E – VI TESTE DE PLACAS ................................................................... 61 ANEXO A- FOLHA DE DADOS CÂMERA ............................................................... 62

10 1

INTRODUÇÃO

O presente trabalho trata de um sistema automático de inspeção de conformidade de itinerários eletrônicos, que visa identificar problemas funcionais do painel que resultem no acionamento inadequado dos LEDs. O sistema proposto destina-se a substituir o processo de testes realizado originalmente na Mobitec Brasil Ltda. Esses itinerários são matrizes de LEDs (Light Emiter Diode – diodo emissor de luz) com acionamento realizado por um sistema microcontrolado. São utilizados para informar rotas ou o trajeto em transportes coletivos quando fixados na parte externa do veículo, e também podem trazer informações diversas quando na parte interna. No processo produtivo dos painéis, a verificação de funcionamento é realizada de maneira visual, por operadores que executam uma sequência prédefinida de testes de funcionalidade. Porém, o controle de qualidade dos produtos realizado através desse tem sido falho, uma vez que alguns equipamentos têm sido expedidos com falha de funcionamento. Em função destas ocorrências há a necessidade de manter uma rede de assistência técnica distribuída em toda a área de atendimento comercial, para atender o cliente caso ocorra algum problema. Além dos custos para administração deste sistema de assistência, ainda existem custos extras dentro da linha produtiva em relação ao processo de teste, pois como a inspeção dos painéis causa desconforto visual quando exercido por período prolongado, é necessário dispor de dois funcionários para cada posto de verificação de conformidade, possibilitando revezar estes durante o turno de trabalho. Como solução para este problema é proposto o desenvolvimento de um sistema de visão computacional dedicado à inspeção dos itinerários. Um sistema de visão computacional pode ser definido como sistema de visão artificial, semelhante a visão humana, que possibilita a um equipamento obter uma imagem de seu entorno ou região de interesse e realizar ações conforme determinação programada. É composto por um elemento de imagem como um scanner, sensores ou câmera e unidades de processamento com software para manipulação destes dados. A partir da compilação dos dados coletados é possível ao sistema reconhecer objetos e definir a ação a ser realizada.

11 O dispositivo proposto realiza a validação dos painéis através da avaliação de imagens capturadas do itinerário, usando uma câmera de vídeo digital, durante o teste funcional. Para o processamento das cenas obtidas do equipamento durante a inspeção, foi previamente definido que a plataforma de desenvolvimento para o software será o LabVIEW TM, da National Instruments®, em função da empresa já possuir as licenças do programa e ser uma plataforma consolidada na empresa para desenvolvimento de dispositivos de testes. A plataforma possui linguagem gráfica, o que facilita o desenvolvimento do código, e por derivar de compiladores de linguagem C++ contempla a maior parte das funções lógicas e estruturas. O processamento das imagens capturadas é realizado com utilização da ferramenta IMAQ

VISION®,

dedicado

ao

desenvolvimento

de

aplicações

de

visão

computacional, por possuir bibliotecas e funções que facilitam a manipulação e o processamento de imagens. Após a compilação dos dados coletados o sistema deve avaliar a conformidade da placa inspecionada, isentando o operador desta tarefa.

1.1

OBJETIVOS

1.1.1

Objetivo Geral

Automatizar a avaliação do funcionamento de itinerários eletrônicos (painéis de LEDs).

1.1.2

Objetivos Específicos



Desenvolver uma solução com base em sistemas de visão computacional;



Desenvolver uma solução de inspeção automática com base em plataforma LabView;



Desenvolver uma solução capaz de reduzir o número de equipamentos expedidos com problemas de funcionamento;



Desenvolver uma solução capaz de padronizar e reduzir o tempo de inspeção dos produtos.

12 1.2

ÁREA DE TRABALHO

O sistema foi desenvolvido na empresa Mobitec Brasil Ltda., sediada na cidade de Caxias do Sul, estado do Rio Grande do Sul, Brasil. Essa empresa pertence ao Grupo Mobitec, parte da Luminator Technology Group Company, que desenvolve e fabrica sistemas de informação para o transporte público de passageiros, tanto no setor rodoviário quanto no ferroviário. A Mobitec, em sua sede no Brasil, possui 90 funcionários, linha de produção completa e além de desenvolver, fabrica produtos nos segmentos de chicotes elétricos, painéis eletrônicos, controles de rotas, além de outros controladores dedicados para montadoras e encarroçadoras de veículos. A solução foi desenvolvida por uma parceria entre as Engenharias de Processos e de Produto, com o objetivo de estimular o vínculo entre estas para melhorias no processo de desenvolvimento e fabricação de produtos. Em outras empresas do grupo este tipo de associação entre essas áreas já se tornou parte do processo de desenvolvimento e produção dos equipamentos, de maneira que cada etapa do projeto é acompanhada por membros de ambas. Desta maneira efetivando a melhoria continua pela auditoria constate de cada ciclo do produto desde sua concepção até sua entrega ao cliente final.

13 2

PROCESSO DE TESTE DE ITINERÁRIOS ELETRÔNICOS

Este capítulo está dividido em três partes, a primeira descreve o processo original de testes, a segunda traz uma visão geral do sistema proposto, após as definições utilizadas para determinação do arranjo de inspeção, especificação de hardware e software e contextualização das técnicas de processamento utilizadas para realização do software proposto. A terceira descreve a implementação do teste de placas.

2.1

PROCESSO ORIGINAL DE TESTE

Garantir o funcionamento adequado dos produtos no cliente final depende em grande parte da eficácia da produção destes. Caso ocorram quaisquer não conformidades, estas devem ser segregadas em alguma das etapas de inspeção. Nestas verificações são avaliadas as montagens executadas e ocorrem em pontos estabelecidos do roteiro de montagem do itinerário como pode ser observado no fluxograma de produção deste produto na Figura 1. Figura 1- Fluxograma da produção de itinerários eletrônicos

Fonte: Autor.

14 Dentre os postos de inspeção o considerado mais importante é o teste funcional, pois é executado quando toda a montagem eletrônica está finalizada. Pois irregularidades apontadas na etapa de inspeção final geram retrabalhos envolvendo desmontagem de gabinete metálico e cabos de alimentação e comunicação do painel, além da possibilidade de com reprocesso não planejado comprometer a entrega de um pedido. O teste elétrico é realizado de forma manual por um operador, de acordo com um roteiro estabelecido em documentação desenvolvida pelo setor engenharia de produto da empresa. Executando um programa de teste que aciona as linhas e colunas da placa. Para isso, é disponibilizado um arquivo pela engenharia, que é gravado em uma placa padrão da inspeção e em um sistema mestre-escravo ela controla o acendimento dos LEDs do produto a ser testado. Segundo uma sequência determinada por este programa, deve ser analisado o correto acionamento de todos os componentes. Para identificação da maior parte dos problemas é necessária uma rotina definida de acionamento dos LEDs, conforme Figura 2, em que é intercalado o acendimento das linhas, pares e ímpares, das colunas, pares e ímpares, e de toda a matriz de LEDs, respectivamente. Desta forma quando ligadas as linhas com referência par, os componentes destas devem estar acesos e todos os de linhas ímpares devem estar apagados, ocorrendo igualmente no acendimento das colunas. Por fim, quando toda a matriz for acionada, nenhum LED deve permanecer desligado.

Figura 2- Sequência de acionamento do painel de LEDs

Fonte: Empresa Mobitec Brasil (2008).

15 Como toda a validação de funcionamento é realizada visualmente por operadores, o sistema está sujeito a falhas por diversos motivos. O motivo mais comum é o cansaço visual causado pela exposição excessiva à luz durante o teste, pelos períodos prolongados de trabalho e pela necessidade de detecção de defeitos em componentes pequenos. Segundo relato dos responsáveis pela inspeção, após algumas horas de execução de testes eles tem mais dificuldade em identificar erros no acionamento dos LEDs. Isso vai ao encontro do apontado por Piccoli e Zambelli (1999), sendo a execução de tarefas com alto comprometimento visual, como observação de objetos próximos por períodos prolongados, acarreta em fadiga da função de visão e redução progressiva da acuidade visual. Para solucionar problemas referentes à susceptibilidade humana a falhas e melhorias das condições de trabalho, busca-se reduzir ou eliminar a interferência do operador nas decisões e atividades críticas no processo. Geralmente esta alteração é realizada por meio de automação. Dentro dos processos de inspeção e montagem industrias são empregados com sucesso sistemas de visão computacional (SOUZA; MACHADO, 2007).

2.2

SOLUÇÃO PROPOSTA

O sistema proposto tem como base uma automação de um processo de inspeção, através de sistema de visão computacional. Que deve inspecionar o funcionamento de todos os LEDS de todas placas eletrônicas a cada etapa do teste. Através da aquisição e processamento de imagens e exibir o resultado ao final. Um sistema de visão consiste em o equipamento obter informações visuais do ambiente a sua volta ou em uma região de interesse e subtrair os dados necessários através da manipulação da imagem e executar ações (BALLARD; BRONW, 1982). Existem autores que tratam o sistema de visão computacional com estruturas como a desenvolvida por Marques e Vieira (1999), conforme Figura 3. Onde é possível observar as principais etapas de um sistema de visão computacional de maneira detalhada.

16 Figura 3- Sistema de Visão Artificial Segundo Marques e Vieira

Fonte: (MARQUES E VIEIRA, 1999).

Segundo Marques e Vieira as etapas representadas na estrutura podem ser explicadas da seguinte forma: a) Problema ou domínio: objeto ao qual o sistema é dedicado; b) Aquisição: primeira etapa de fato dos sistemas de visão computacional, limita-se a obtenção da imagem para processamento desta. O processo de aquisição é a conversão de sinais analógicos oriundos da parte óptica em sinais digitais. O projeto desta etapa compreende definição do sensor, lentes, condições de iluminação, etc; c) Pré-processamento: são executadas operações com objetivo de eliminar defeitos causados na etapa de aquisição, são intervenções ditas de baixo nível, pois alteram apenas as informações contidas nos pixels; d) Segmentação: seu objetivo é tratar a imagem de forma a separar os objetos de interesse do plano de fundo; e) Extração de características: é a seleção dos dados relevantes da imagem segmentada;

17 f) Reconhecimento e Interpretação: a etapa de reconhecimento tem o objetivo de classificar os dados enquanto a interpretação tem a função de dar significado a esta classificação; g) Resultado: é o objetivo do sistema de visão; h) Base de dados: conhecimento prévio para sobre o problema, são dados necessários para as decisões do sistema. Dadas as definições e estrutura expostas acima, é possível representar o sistema de inspeção proposto de forma semelhante, de maneira a facilitar o entendimento da solução proposta, conforme Figura 4.

Figura 4- Sistema de Visão Proposto

Fonte: Autor

18

2.2.1

Especificação de um sistema de visão

Para obtenção de bons resultados na aquisição das

imagens e

consequentemente nas demais etapas, o sistema de visão deve estar bem projetado e adequado ao problema e ambiente onde será instalado. Por isso é importante conhecer todos os requisitos, limitações e características do problema a ser solucionado (HORNBERG, 2006). Segundo Hornberg, existem etapas fundamentais para execução adequada do projeto de um sistema de visão: a) Definir tipo de escaneamento de câmara; b) Determinar o campo de visão; c) Calcular resolução necessária; d) Selecionar um modelo de câmera e hardware acessórios; e) Determinar a lente; f) Definir necessidade e tipo de iluminação; g) Avaliar e definir interfaces mecânicas e elétricas; h) Selecionar plataforma de desenvolvimento e conceber o software.

2.2.1.1 Parâmetros para definição de câmeras

A câmera é o principal elemento do sistema de visão, pois é dentro dela que ocorre a transformação do elemento de cena em imagem. Devido a isso é importante determinar corretamente cada parâmetro de sua construção, a Figura 5 apresenta uma câmera e seus componentes.

Figura 5- Câmera e Componentes

Fonte: Adaptado de www.flea3.com (2015).

19 Definir o tipo de escaneamento da câmera é um dos primeiros requisitos, pois influencia diretamente a concepção do sistema. Existem dois tipos de linha e área. A principal diferença entre eles é o formato do sensor (HORNBERG, 2006). Na configuração linha, o sensor possui uma única linha de pixels mas muitas colunas. Devido a isso é amplamente indicado para inspeção de objetos largos ou que exijam altas resoluções, pois a resolução e no sentido da varredura depende apenas da velocidade de execução desta (KOERICH, 2007). Mas como a imagem é formada de maneira continua (linha a linha), é necessário que o objeto se mova sob a câmera ou que a estrutura de aquisição seja movimentada com altura e velocidade constante (GONZALEZ; WOODS, 2010).

Figura 6- Sensor de Varredura por Linha

Fonte: Adaptado de Hornberg (2006).

Já a configuração de área é mais utilizada. Esta possui a vantagem de varrer todas as linhas e colunas de pixels do sensor de uma única vez na forma de Frame (quadro). Devido a isso não requerer movimentação nem do sensor, tão pouco do elemento, o processo de processo de aquisição é mais simples. Sensores com este formato possuem relações fixas entre as dimensões horizontal e vertical, o que permite ao sistema trabalhar com disparo (shutter – obturador, sua abertura determina o tempo de exposição do sensor a luz) de alta velocidade (KOERICH, 2007). De acordo com Hornberg, o segundo passo para definição do sistema de visão é determinar o campo de visão (FOV- Field Of View), que é a área visível à

20 câmera do objeto sob inspeção. Para obtê-lo é necessário conhecer algumas características do objeto a ser inspecionado como: a) d: dimensão do maior objeto a ser inspecionado; b) tol: tolerância de produto e processo; c) AR: relação horizontal/vertical do sensor (aspect ratio).

FOV  d  tol

(1)

FOV H  FOV v  AR

(2)

A partir da definição do campo de visão é possível calcular a resolução necessária para capturar os detalhes do objeto que se deseja inspecionar. A resolução da câmera (RC) é estabelecida pelo número de linhas e colunas que compõem a matriz do sensor de imagem. Além do campo visão a resolução espacial (Rs), que é a dimensão mapeada em cada pixel, é necessária para determinar a resolução da câmera.

RC 

(3)

FOV RS

Para calcular a resolução espacial é preciso conhecer outros dois requisitos do objeto que se deseja inspecionar, as dimensões do menor item que o sistema deve detectar (SF- Size of the smallest feature) e o número de pixels necessários para mapear o menor defeito (NF- Number of pixels to map the smallest feature).

RS 

(4)

SF NF

Com os parâmetros principais definidos, a próxima etapa é definir o tipo de câmera. Para isso é recomentado analisar os seguintes aspectos: a) Sinal de saída: é o tipo de sinal disponível na saída da câmera. Pode ser digital ou analógico. As principais características estão expostas na Tabela 1.

21 Tabela 1- Comparativo Câmera Digital x Câmera Analógica Saída em Formato Saída em Formato Característica Digital Analógico Geralmente câmeras Tamanho geralmente Tamanho da câmera maiores menor. A resolução vertical não é Resolução vertical é limitada, portanto, Resolução limitada pela largura de câmeras digitais podem banda do sinal analógico. ter maior resolução. Sem limitação de banda, oferecem um número maior de pixels e Sensores são geralmente Limitação do sensor sensores CCDs maiores, de tamanho padrão. resultando em resolução maior. Computadores / placas de Computador e / ou placa captura podem ser Visualização da imagem de captura necessários usadas para digitalização em monitores para mostrar o sinal. mas não são necessárias para mostrar o sinal. Impressão e gravação O sinal pode ser analógica pode ser Compatibilidade comprimido e transmitido facilmente incorporada ao sem perdas. sistema. Têm geralmente pixels Geralmente têm pixels Dimensão do Pixel quadrados. retangulares. O sinal de saída é digital, Sinais analógicos são portanto pouca perda de mais susceptíveis a ruído Nível de Ruído deste ocorre durante o e interferências que processamento. causam perdas no sinal. Fonte: Adaptado de Koerich (2007).

b) Tipo da interface da câmera: é o tipo de conexão na saída da câmera. Podem ser analógicas ou digitais. As analógicas foram as primeiras a serem utilizadas, mas com aumento da demanda por velocidade de transmissão e qualidade praticamente não são mais utilizadas (STEGER; WIEDEMANN; ULRICH, 2008). Dentre as digitais, as mais utilizadas em sistemas de visão estão expostas na Tabela 2.

22

Parâmetros Velocidade

Tabela 2- Interfaces de Câmeras Digitas FireWire FireWire Camera USB 2.0 1394.a 1394.b Link 400Mbps 800Mbps 3600Mbps 480Mbps

GigE 1000Mbps

Comprimento máximo do cabo

4,5m

100m

10m

5m

100m

Número máximo de Câmeras

63

63

1

127

Sem limite

Tipo de Conector

6 pinos

9 pinos

26 pinos

4 pinos

RJ45/ CAT5

Opcional

Opcional

Sim

Não

Não

Opcional

Opcional

Sim

Opcional

Sim

Conector Requer placa Fonte de alimentação externa

Fonte: Adaptado de Edmund Optics http://www.edmundoptics.com/technical-resourcescenter/imaging/camera-types-and-interfaces-for-machine-vision-applications/ (2015).

c) Tipo de sensor: diz respeito ao material de que o sensor é fabricado. Os dois tipos predominantemente empregados são de caracterizados por serem de condutores de estado sólido que são CCD (Charged Coupled Device- Dispositivo de Carga Acoplada) e CMOS (Complementary Metal Oxide Semiconductor – semicondutor de metal oxido complementar)

(GAMAL; ELTOUKHY, 2005). As duas tecnologias se diferenciam pela sua construção e arquiteturas dos circuitos integrados a eles. Na d) Tabela 3, segue comparativo entre os dois sensores.

Tabela 3- Comparativo entre Sensores CCD e CMOS Características CCD CMOS Sinal de saída do sensor Carga elétrica Tensão Sinal de saída do chip Tensão Digital (bits) Sinal de saída da câmera Digital (bits) Digital (bits) Ruído no sistema Baixo Moderado a alto Resposta a iluminação Moderada Muito sensível Faixa dinâmica (8 – 14 bits) (6 – 12 bits) Velocidade de captura Moderada a alta Muito alta. Tempo de exposição Rápido Limitado Fonte: Adaptado de Koerich (2007).

e) Tipo de varredura do sensor: é a forma como o sensor é lido pelo chip, existem duas formas varredura entrelaçada e progressiva. Na varredura

23 entrelaçada o sensor é lido duas vezes. Primeiro linhas ímpares, após pares, posteriormente os dois quadros são entrelaçados formando um único. Este tipo de varredura é indicado para processos de baixa velocidade. Já a varredura progressiva obtém todos os dados do sensor em um único período, varrendo sequencialmente todas as linhas. É indicada para arranjos de alta velocidade (HORNBERG, 2006).

2.2.1.2 Lentes

Realizado o levantamento dos parâmetros fundamentais para definição da câmera. A próxima etapa compreende a determinação da lente. Como já mencionado, a função desta é direcionar a luz ao sensor da câmera projetando o elemento de cena nele. O resultado deste processo depende principalmente da adequada definição dos parâmetros da lente. Para definir uma lente para um sistema de visão dois parâmetros precisam ser determinados: o encaixe da lente e a distância focal (HORNBERG, 2006). O tipo de encaixe da lente depende da compatibilidade com a câmera, sendo que os mais comuns são C-mount, CS-mount e F-mount. Em relação a afinidade do encaixe, uma lente C-mount pode ser montada em uma câmera CSmount com uso de adaptador em forma de anel. Porém, a situação inversa não é possível devido a distância mínima entre sensor e lente. Na Tabela 4, estão listados dados sobre os tipos mais comuns de encaixe.

Tipo C-mount CS-mount F-mount

Tabela 4- Dados Sobre Encaixe Lentes Encaixe Distância entre a Tamanho máximo lente e o sensor do sensor 1” 17,52mm 22mm 1” 12,5mm 22mm Nikon Bayonet 46,5mm 42mm

Fonte: Adaptado de http://www.vision-systems.com/articles/2009/12/match-game.html (2015)

Para calcular a distância focal, é necessário conhecer parâmetros como: resolução da câmera escolhida, o campo de visão (FOV) e a distância de trabalho (WD – Working Distance), que é a distância do objeto à lente (HORNBERG, 2006). Para obtenção da distância focal é possível utilizar o modelo óptico de lentes finas, conforme a

24 Figura 7. Segundo Hornberg (2006), apesar de não ser o mais correto para calcular lentes com espessuras como as de um sistema de visão, este modelo fornece uma aproximação razoável para escolha da lente.

Figura 7- Modelo de Lentes Finas

Fonte: Hornberg (2006).

Definições para o modelo de lentes finas: a) y: objeto de cena; b) y’: imagem do objeto; c) z’: distância entre o ponto focal da lente e o plano do sensor; d) a: distância de trabalho - W D; e) a’: distância entre lente e sensor; f) f’: distância focal; g) F: ponto focal; h) F’: ponto focal da lente; i) β: fator de ampliação da lente; j) TS: Tamanho do sensor (tamanho do pixel x RC).

   TS

(5)

FOV



y ' a'  y a

(6)

25

(7)

1 1 1   f ' a' a

Além da distância focal e do tipo de encaixe, outro parâmetro que deve ser observado: é a relação adequada entre o diâmetro da lente e o tamanho do sensor, dado pela diagonal. A relação inadequada entre estes pode causar a perda de detalhes da cena. É recomendado utilizar diâmetro da lente igual a diagonal do sensor (HORNBERG;2006). Esta relação pode ser visualizada na Figura 8.

Figura 8- Relação Diâmetro da Lente X Dimensão do Sensor

Fonte: Hornberg (2006).

2.2.1.3 Iluminação

A iluminação da cena é utilizada para obter melhores contrastes na imagem e minimizar os ruídos. Seu principal objetivo é obter uma iluminação uniforme. Os principais tipos de iluminação são frontal difusa, direcional, anel luminoso, lateral, polarizada, estruturada, darkfield (fundo escudo) e backlight (luz de fundo), ilustradas na Tabela 5. Estes possuem indicações específicas de acordo com o tipo de material, fundo e detalhes que se deseja inspecionar (HORNBERG, 2006).

Tabela 5- Tipos de Iluminação e Características Tipo

Vantagens

Desvantagens

Aplicação

Direcional

Iluminação forte e relativamente constante

Regiões com sombra e outras com muita luz

Inspeção e medição de objetos planos e com

Montagem e Exemplo

26 superfície não reflexiva.

Lateral

Frontal Difusa

Mostra defeitos de superfície e irregularidade de topologia Sombras reduzidas, redução da reflexão direta da luz

Anel Luminoso

Montagem direta a lente e sombreamento reduzido.

Iluminação Axial

Reduz sombreamento e minimiza brilho.

Estruturada

Melhora as características da superfície.

Polarizada

Darkfield

Backlight

Fornece uma iluminação uniforme sobre toda a e reduz o brilho para tornar as características da superfície perceptíveis. Melhora a percepção de defeitos em objetos transparentes. Alto contraste para a detecção de bordas.

Produz fortes pontos de iluminação e regiões criticamente sombreadas

Inspeção de objetos em profundidade.

As características da superfície são menos distintas

Inspeção de objetos grandes, brilhantes com grandes distâncias de trabalho.

Funciona apenas em distâncias de trabalho relativamente curtas. Grande e difícil de montar e distância de trabalho limitada.

Inspeção e medição com objetos foscos.

Medições e inspeção de objetos brilhantes.

É absorvida por algumas cores.

Inspeção de objetos tridimensionais e medições topográficas.

Em geral intensidade da luz é reduzida após o filtro de polarização.

Medições e inspeção de objetos brilhantes.

Contraste das bordas ruim.

Inspeção e objetos de plástico e vidro.

Detecção de bordas, Elimina detalhes medição de da superfície. objetos opacos e classificação

27 de objetos translúcidos coloridos. Fonte: Adaptado de Edmund Optics http://www.edmundoptics.com/technicalresources-center/illumination/choose-the-correct-illumination/ 2.2.1.4 Interfaces mecânica e elétrica

As interfaces mecânica e elétrica configuram uma etapa do projeto que depende dos itens definidos anteriormente. A interface mecânica deve atender o posicionamento da câmera e iluminação (se necessária), respeitando o espaço de trabalho e demais parâmetros. Para o projeto elétrico devem ser levantadas as necessidades de interligação entre os componentes do sistema e respeitar as restrições impostas pela interligação entre a interface da câmera e hardware de processamento de imagem.

2.2.1.5 Definição de plataforma e concepção do software

Ao definir a plataforma de programação deve-se observar aquelas que já possuem bibliotecas com ferramentas de processamento. Desta forma se evita ao desenvolvedor criar todas manualmente (Hornberg, 2006). Em relação a concepção, para a maioria das aplicações, o software executa rotinas de processamento de imagem seguindo uma estrutura proposta como: a) Aquisição; b) Pré-processamento; c) Processamento da imagem; d) Extração de características; e) Reconhecimento; f) Interpretação; g) Exibição de resultados.

2.2.2 Definição de hardware e software

Seguindo as etapas descritas na seção anterior, é necessário definir os requisitos do teste e características dos objetos a serem inspecionados:

28 a) Maior produto a ser inspecionado (horizontal x vertical): 400mm x 280 mm; b) Distância de trabalho: 650mm, foi definida em função da ergonomia e mobilidade na bancada de teste, evitando também que na manipulação do produto o operador bata acidentalmente na câmera; c) Menor defeito para der identificado: 2mm, foi definido a partir do tamanho de um LED; d) Número de pixels para identificar o menor defeito: 3 pixels, definido de maneira experimental. e) Relação horizontal: vertical do sensor (AR- aspecto ratio): 4:3, para definição deste item foi realizada pesquisa em fornecedores de equipamentos para visão sobre qual opção com maior disponibilidade de diferentes modelos de câmera para evitar restrições na escolha. f) Posicionamento do objeto: deve permanecer parado e com restrição mecânica para posicionamento.

2.2.2.1 Definição da câmera

Com os requisitos para o projeto conhecidos pode-se iniciar a especificação da câmera conforme parâmetros descritos na seção 2.2.1.1: a) Tipo de escaneamento: por área, pois o objeto terá posicionamento restrito. b) Campo de Visão (FOV): FOV H  d  tol FOV H  400mm 60mm

FOV H  460mm

FOV V  FOV H 

1 AR

FOV V  460mm FOV V  345mm

3 4

29 c) Resolução da câmera (RC): primeiro é calculada a resolução espacial (RS), após a resolução da câmera;

RS 

SF NF

RS 

2mm 3pixels

RS  0,6667 RC 

FOV

RC 

460 0,6667

mm pixel

RS

RC  690pixels

d) Tipo de câmera: com base em características expostas, foi escolhida uma câmera com saída digital e interface UBS 2.0, pois possibilita a conexão direta ao computador sem necessidade de hardware adicional. Os dois sensores atendem a maior parte das aplicações de visão de máquina, porém o custo do sensor CCD é superior ao de um sensor CMOS com as mesmas características (LITWILLER, 2001). Ainda segundo Litwiller, em aplicações que não exijam alta qualidade de imagem, em locais que tenham boas condições de iluminação e baixa presença de ruído, sensores CMOS tem obtido bons resultados. A partir das informações acima e as boas características apresentadas, como a resposta a luminosidade e também pelo fator custo x benefício o sensor escolhido foi o sensor CMOS. Com os parâmetros da câmera definidos foi adquirido um equipamento da marca IMAGINSOURCE modelo DFK 22AUC03. Suas características principais podem seu visualizadas na Figura 9. Para mais informações consultar Anexo A.

30 Figura 9- Características Câmera

Fonte: Adaptado da folha de dados câmera (2015).

2.2.2.2 Cálculo de lente

Para definição das lentes foi utilizada modelo de lentes finas conforme descrito na seção 2.2.1.2. a) Resolução da câmera:

RCReal  744pixels b) Fator de ampliação (β):

   TS

FOV

β

6 μm  744pixels 460

β  0,00970

c) Distância focal f’:

β

a a'

 0,00970 

650mm a'

a'  6,305 1 1 1   f ' a' a

1 1 1   f ' 6,305 650

f '  6,3607mm

31

Lente definida com encaixe CS-mount devido a compatibilidade com o encaixe da câmera. A distância focal definida foi de 6mm conforme cálculos expostos acima.

2.2.2.3 Iluminação

A necessidade de iluminação dedicada à aplicação foi descartada devido a condição de luminosidade homogênea no local onde será instalado o sistema de teste. A aplicação avaliará pontos de luz no objeto que estará voltado à câmera. Como a intensidade destes é superior, qualquer forma de iluminação torna-se desnecessária.

2.2.2.4 Interface mecânica e elétrica

Como estrutura para este sistema de inspeção foi definido um suporte em perfil de alumínio padrão, o que facilita possíveis ajustes. A base foi desenvolvida em madeira e revestida com manta antiestética. Foram adicionados limitadores para restringir o movimento da placa a ser testada. Também são necessários cabos para alimentação e transferências de dados à placa. Estes não necessitaram de desenvolvimento, pois serão utilizados os mesmos cabos empregados na montagem do painel de LEDs. A câmera dispensa o projeto de cabos, pois o fabricante disponibiliza juntamente com a câmera. Os itens citados podem ser visualizados na Figura 10.

32 Figura 10- Interface Mecânica e Interface Elétrica

Fonte: Autor

2.2.2.5 Plataforma de desenvolvimento e concepção do software

Para o desenvolvimento do software do sistema de inspeção será utilizada a plataforma de programação LabVIEWTM da National Instruments®. Esta possui programação de forma gráfica, o que facilita o desenvolvimento e alterações de aplicações. Outra característica interessante é a modularidade, ou seja, as aplicações podem ser transformadas em módulos, instrumentos virtuais, podendo ser utilizadas como ferramenta em outra aplicação. O LabVIEW TM também possui a vantagem de com o módulo IMAQTM Vision, facilitar o processamento de imagens, pois possui instrumentos desde a aquisição até a exibição de resultados, além das ferramentas dedicadas a sistemas de visão artificial. A estrutura de software proposta para o sistema de inspeção de placas está disposta na Figura 11.

33 Figura 11- Fluxograma Software1

Fonte: Autor.

2.2.3 Conceitos processamento de imagem utilizados

2.2.3.1 Aquisição

A primeira etapa do sistema de visão consiste em transformar uma imagem de um objeto ou elemento de cena em uma matriz de pontos. E pode ser explicado de forma geral pelas etapas descritas abaixo (GONZALES; WOODS, 2010): a) A luz incide sobre o elemento de cena; b) Refletem no objeto e no fundo em direção ao sistema de aquisição; c) As lentes direcionam ao sensor da câmera; d) Cada célula do sensor é sensibilizada e produz respostas proporcionais à integral da iluminação recebida;

1

ROI (Region Of Interest – região de interesse): caracteriza-se como um segmento de imagem, ou uma sub-imagem. As ROIs são normalmente utilizadas quando se deseja analisar apenas uma parte específica da imagem.

34 e) A resposta de cada célula é disposta de forma digital formando uma matriz de pontos. A forma como esta última etapa é executada depende do tipo de sensor e câmera. Para digitalização da imagem, são envolvidos dois processos: amostragem (responsável pela conversão das coordenadas da imagem) e quantização (conversão da intensidade de luz absorvida). O processo de aquisição descrito acima pode ser observado na Figura 12:

Figura 12- Processo de Aquisição

Fonte: Adaptado de Gonzales e Woods (2010).

2.2.3.2 Distorções geométricas

Imagens obtidas a partir de sensores de imagem estão sujeitas a distorções geométricas inerentes ao projeto, fabricação dos componentes e montagem do sistema de visão (LOBÃO, 2004). Estas distorções são diferenças encontradas entre pontos determinados em uma imagem adquirida e uma imagem ideal (MURAI, 1993). Dentro dos processos de visão de máquina os tipos de deformações mais comuns são o radial, tangencial e de perspectiva (LOBÃO, 2004) (MURAI,1993). Distorções do tipo radial e tangencial são consequentes de características

35 inadequadas da lente, a Figura 13 demostra a apresentação das coordenadas destes modelos.

Figura 13- Apresentação de Coordenadas em Distorções Tangencial e Radial

Fonte: Adaptado de Lobão (2004)

Abaixo são detalhadas as características de cada tipo de deformação na imagem: a) Radial: caracterizada pela presença de retângulos concêntricos com deformações radiais. Devido ao seu aspecto, são denominados barril e almofada. Este modelo é predominante de distorção na maior parte das câmeras comerciais (LOBÃO, 2004). A Figura 14 apresenta o aspecto destas.

36 Figura 14- Distorções Radiais do tipo Barril (a) e Almofada (b)

Fonte: Lobão (2004).

b) Tangencial: definida como a alteração na orientação dos pontos de coordenadas em uma imagem como demonstrado na Figura 13. Ocasionado por efeitos físicos chamados Prisma Fino e descentralização (LOBÃO,2004). c) Projetiva:

apresenta

deformação

de

perspectiva,

devido

ao

desalinhamento entre o plano de aquisição e plano do objeto, ou seja, a câmera não apresenta perpendicularidade em relação ao elemento de cena. A Figura 15 demostra a aparência da imagem com este modelo de distorção.

Figura 15- Distorção Projetiva

Fonte: Murai (2004)

Como na maior parte das aplicações não é possível garantir que a imagem adquirida corresponda fielmente ao objeto de cena, é necessário garantir que o

37 algoritmo corrija estas imperfeições (HORNBERG, 2006). Para que seja possível reparar as imperfeições da imagem é necessário estimar um modelo que represente o comportamento das distorções, para este fim vem sendo bem aplicado em sistemas de visão a técnica de registro de imagens (ZITOVÁ; FLUSSER, 2003).

2.2.3.3 Registro de imagens

A técnica de registro de imagem corrige geometricamente imagens, independente de dispositivos e perspectiva utilizados, tomando como referência uma imagem previamente definida no sistema (BROWN, 1992). Para alinhar estas imagens, a técnica aproxima um modelo de distorção com a determinação de pontos de controle na imagem definida como referência e posteriormente realiza a busca destes pontos nas imagens comparadas. Desta forma, representa todas as imagens num mesmo sistema de coordenadas (ZITOVÁ; FLUSSER, 2003). Ainda de acordo com os autores, existem quatro passos para implantação desta técnica: a) Definição dos pontos de controle: são características comuns a todas as imagens usadas na estimação do modelo. Estes podem ser inseridos manualmente ou detectados automaticamente através da informação de suas características (centroide, área, borda, etc.); b) Correspondência entre as imagens: é estabelecido um modelo de distorção. Para esse fim, é analisada a correspondência geométrica entre os pontos de controle definidos na imagem de referência e os identificados nas comparadas. c) Estimação do modelo de transformada: é estimada o tipo e parâmetros da transformada geométrica. Esta mapeará a imagem a fim de corrigi-la, conforme a imagem de referência. d) Transformação e interpolação: com a definição do modelo de transformada, a imagem é corrigida. Onde os valores de coordenadas fracionárias são estimados por métodos de interpolação.

2.2.3.4 Segmentação

38 O processo de segmentação da imagem tem como objetivo dividir a imagem em ROIs ou objetos que a compõem. O número e detalhamento de subdivisões do processo dependem da aplicação (GONZALES; WOODS, 2010). A maior parte das práticas de segmentação são fundamentadas em classificação em função de intensidade dos pixels, descontinuidade e similaridade. Apesar de alguns algoritmos combinarem mais de uma forma de segmentação para seleção de ROIs. Dentre as aplicações mais comuns está a distinção de um elemento de seu fundo, através da separação de objetos claros e escuros. Este compara a similaridade entre os valores dos pixels para segmantá-los. Este método é denominado limiarização (GONZALES; WOODS, 2010). Existem muitas formas de limiarização ou binarização, mas dentre estas podemos destacar o método de Otsu como mais consagrado para distinção de itens claros e escuros. Para determinar o limiar ótimo de separação utiliza a ideia de que elementos de objeto com limiares distintos devem possuir valores diferentes de intensidade de seus pixels. O método de Ostu é tido como ótimo, pois, ao aplicar esta ideia maximiza a variação entre elementos (classes), onde o limiar que oferece a melhor separação entre as classes é definido como limiar ótimo. Outra vantagem desta técnica é o baixo custo computacional, pois baseia-se apenas em cálculos realizados no histograma da imagem (GONZALES; WOODS, 2010).

2.3

IMPLEMENTAÇÃO SISTEMA DE INSPEÇÃO DE PAINEIS DE LED

O sistema foi concebido com objetivo de testar de maneira autônoma placas de LEDs. Para o desenvolvimento foi realizado dimensionamento do sistema de visão conforme descrito na seção 2.2.2. Este é composto por uma câmera digital USB DFK22AUC03, lente com distância focal ajustável (4 – 12 mm) e encaixe CSmount, um computador responsável pelo processamento das informações referentes ao sistema de teste, conexões elétricas necessárias para o acionamento da placa, estrutura mecânica para fixação da câmera e posicionamento do produto a ser testado e software encarregado pelo processamento das imagens e validação do funcionamento. Os itens listados podem ser observados na Figura 16.

39 Figura 16- Sistema de Teste de Painéis de LEDs

Fonte: Autor.

Esta seção está dividida em três subseções. A primeira traz o procedimento executado para calibração do sistema, a segunda a formação de parte da base de conhecimento desta aplicação que ocorre com o cadastro dos produtos e a última explica os procedimentos envolvidos na etapa de teste das placas de LEDs. O software foi construído para ser executado na forma de aplicativo pelo usuário, o que impede a alteração de códigos de programação e limita as ações do operador a informações solicitas pela aplicação, além de dispensar a instalação do software de programação, nesse caso LaBVIEW TM. Na tela principal é possível acessar os menus, que serão apresentados nas próximas subseções deste documento. A Figura 17 mostra a tela principal do programa.

40 Figura 17- Tela Principal do Aplicativo

Fonte: Autor.

2.3.1

Calibração do sistema

Conforme citado, esta etapa realiza a calibração do sistema. Nela é realizada determinação do modelo de transformação necessário para a posterior correção das imagens. Esta será executada sempre que houver alterações de posicionamento da câmera ou da base de fixação dos produtos. Na Figura 18 podese observar os detalhes da tela de calibração.

Figura 18- Tela Calibração de Imagens

Fonte: Autor.

41 Para obtenção do modelo de distorção e definição da transformada a ser aplicada, é implementada a técnica de registro de imagens, descrita na seção 2.2.3.3. Para isso, foi confeccionado um gabarito de calibração a partir de um grid fornecido pelo LabVIEW TM. Como pode ser observado na Figura 19. Para calibração deve ser posicionado o gabarito de calibração na base da estrutura de aquisição. Obtém-se a imagem do gabarito de calibração a partir do acionamento da tecla “Adquirir Imagem”. Também é possível obter uma imagem de um arquivo a partir da tecla “Abrir Imagem”.

Figura 19- Gabarito Desenvolvido e Grid fornecido Pelo LabView

Fonte: Autor.

Após a aquisição da imagem do gabarito, são realizados processamentos para preparar a imagem para o mapeamento dos pontos de controle. A imagem que está no formato RGB é convertida para escala de cinza através da extração do plano de iluminação. Em seguida uma limiarização para separar os pontos de controle do fundo da imagem. Após é aplicado um filtro de partículas para eliminar pontos que possam ser confundidos com pontos de controle pela ferramenta de mapeamento de pontos. Os resultados podem ser observado na Figura 20, apresentados respectivamente.

42 Figura 20- Preparação da Imagem para Mapeamento

Fonte: Autor. Em (a) imagem em formato RGB, (b) imagem em escala de cinza, (c) imagem limiarizada e (d) remoção de pontos que possam ser confundidos com pontos de controle.

Para mapeamento dos pontos de controle na imagem adquirida é utilizada a ferramenta “IMAQ Calibration Target to Points - Circular Dots VI”. Esta, busca pontos circulares e calcula seus centroides. A coordenada destes é a posição real dos pontos. A localização prevista para os pontos de controle é obtida através da informação de alguns dados à ferramenta, como: quantidade de linhas, colunas e espaçamento entre os pontos. Os dados coletados são enviados para o VI (Virtual Instrument- Instrumento Virtual) “IMAQ Learn Distortion Model VI”, que de acordo com o conjunto de coordenadas, modelo de aproximação e coeficientes, determina os dados necessários para estimação da transformada geométrica. Para encontrar o modelo de distorção foram utilizados os seguintes parâmetros: a) Modelo de aproximação: polinomial; b) Número de coeficientes: 3 coeficientes (K1, K2, K3) e coeficientes tangenciais;

43 Os dados obtidos são gravados em um arquivo de imagem e aplicados a cada imagem adquirida no sistema através da ferramenta “IMAQ Correct Calibrated Image VI”, que aplica as transformações e interpola a imagem de acordo com tipo definido, neste caso interpolação Bi-linear. Os resultados obtidos com a correção das imagens podem ser visualizados na Figura 21.

Figura 21- Resultado da Calibração

Fonte: Autor.

Outra informação importante é obtida nesta etapa, a relação mm/pixel (esta informação é a medida em milímetros de cada pixel). Após salvar os dados de calibração, a imagem do gabarito é corrigida e exibida na tela. O operador deve traçar uma diagonal sobre dois pontos extremos da imagem. Desta forma o sistema adquire a dimensão em pixels entre os pontos inicial e final. Com as informações, é calculada a relação com a distância em pixels e a distância em milímetros que é conhecida através da medição no gabarito. Quando a diagonal estiver desenhada, o usuário deve acionar o botão “Salvar”. A relação mm/pixel é calculada e salva em um arquivo que será utilizado em várias tarefas durante o teste de placas para converter informações em milímetros para pixels. A tecla “STOP”, para a aplicação e retorna à tela inicial.

44 Figura 22- Relação Milímetro por Pixel

Fonte: Autor

2.3.2

Cadastro de produtos

Esta etapa trata do armazenamento de informações sobre os produtos a serem testados. Deve ser executada antes de iniciar o teste de um novo produto ou quando for necessária alteração de dados de qualquer placa. Ao iniciar a aplicação, o usuário deve preencher todos os campos de acordo com o produto que está sendo cadastrado. Após adquirir uma imagem da placa através do “Adquirir Imagem”, há a possibilidade de abrir uma imagem no arquivo. Na Figura 23 pode ser visualizada a tela do cadastro de produtos. Figura 23- Tela da VI Cadastro de Produtos

Fonte: Autor.

45 Após preencher os dados: modelo da placa, número de linhas e colunas de LEDs, espaço entre linhas e colunas, é necessário informar as coordenadas do primeiro LED. Este processo é realizado através de um clique na tela sobre a imagem na posição do componente citado. A Figura 24 mostra a localização do primeiro LED. Figura 24- Coordenada do Primeiro LED

Fonte: Autor.

Após a seleção da coordenada e preenchimento de todos os dados, a tecla “GRAVAR DADOS” deve ser acionada. Com isso, as informações são gravadas em um arquivo com o nome da placa. Estes serão utilizados para delimitação das ROIs (localização dos LEDs) durante o teste da placa. Para iniciar outro cadastro, basta acionar a tecla “CLEAR” e inserir novos dados. Já o botão “STOP”, além de limpar os campos, retorna a tela inicial do teste.

2.3.3

Teste de placas

Este estágio pode ser considerado o centro de controle, pois são utilizadas as informações geradas pelos dois módulos paralelos: “Cadastro de Produtos” e “Calibração do Sistema”. A partir deste, são acionadas todas a tarefas como aquisição de imagem, acionamento da placa e exibição de resultados. Na Figura 25 pode-se observar as etapas do teste que serão explicadas nas subseções a seguir.

46 Figura 25- Fluxograma Software: teste de placas

Fonte: Autor.

2.3.3.1 Acionamentos de placas

Esta etapa do teste é encarregada do acionamento dos LEDs da placa. Para isso é gerado uma mensagem hexadecimal com a situação (ligado ou desligado) de cada elemento da matriz de LEDs. O código obtido é enviado à placa de controle utilizando o protocolo RS-485, que por sua vez controla o painel em sistema mestre escravo. A placa de controle pode ser visualizada na Figura 26.

Figura 26- Placa de Controle

Fonte: Autor.

47 Para gerar a mensagem hexadecimal de acionamento dos LEDs, foi implementado uma função no LabVIEW TM, que monta o código coluna a coluna formando a matriz de componentes de acordo com o modo desejado (painel todo acionado, linhas, colunas e painel desligado).

O módulo desenvolvido está

disponível no Apêndice C.

2.3.3.2 Aquisição

Este módulo do programa é responsável pela obtenção das imagens que serão utilizadas em cada ciclo do teste. Nesta etapa também são realizadas adaptações na imagem e correções. A aquisição é realizada com o VI “Vision Acquisition” que realiza toda a configuração da câmera e controla a obtenção das imagens. Na aplicação desenvolvida, apenas um parâmetro foi ajustado manualmente que é o tempo de exposição. Este dado necessitou receber ajuste ao longo do desenvolvimento para melhorar a definição dos objetos inspecionados. Após adquirir a imagem desejada, esta passa pela etapa de conversão da imagem para tons de cinza. Para este fim é utilizada a ferramenta “IMAQ Extract Single Color Plane VI”, e configurada para extrair somente o plano de iluminação. Este processo é necessário pois os módulos de processamento de imagem que serão utilizados, trabalham somente com cenas em tons de cinza. Em seguida, a imagem adquirida é corrigida de acordo com o modelo de distorção levantado na etapa de calibração do sistema. Para correção é empregado o VI “IMAQ Correct Calibrated Image VI”, que configura o tipo de interpolação e o valor de preenchimento da imagem. Nesta aplicação foi configurada interpolação bi linear e preenchimento com a cor preta (equivalente ao valor 0). Após corrigida, a imagem é disponibilizada ao software.

2.3.3.3 Definição de ROIs

A definição dos ROIs, trata-se da divisão da placa em células de uma matriz, que contenham um LED. A partir desta delimitação todo o processamento da imagem é executado em cada uma das áreas de interesse.

48 Para determinar a matriz são utilizados dados retirados do cadastro do produto. O número de linhas e colunas são definidos pela quantidade de linhas e colunas de LEDs da placa, já o tamanho da célula é definido pelo espaçamento entre elas. O intervalo entre o centro dos componentes de uma linha determina a dimensão da ROI no sentido vertical, já na horizontal esta medida é calculada com a separação entre os centros dos LEDs de uma coluna. A coordenada inicial para formação da matriz também é obtida pelo cadastro do produto através da coordenada do primeiro componente. A Figura 27 demostra uma célula da matriz descrita.

Figura 27- Determinação do ROI

Fonte: Autor.

Como as distâncias entre centros dos componentes são informadas em milímetro e na imagem, as dimensões são dadas por pixels, torna-se necessária a conversão dos elementos. Para isso, é utilizada a relação milímetros por pixel, definida na etapa de calibração, que multiplicada pelas dimensões fornecidas (espaçamento entre linhas e colunas) define o tamanho de cada ROI. Nesta aplicação são necessárias apenas as coordenadas de dois cantos da região de interesse (diagonais entre si). O cálculo para determinação é executado segundo fluxograma demostrado na Figura 28:

49 Figura 28- Fluxograma Software- Delimitação ROIs

Fonte: Autor.

50 2.3.3.4

Determinação de limiar para LEDs ligados e desligados

Para a verificação funcional das placas são contrapostos o limiar de separação entre LEDs apagados e LEDs acesos com o do LED verificado. A definição deste limiar é realizada através da implementação do método de Otsu. Com a finalidade de determinar a fronteira entre os dois modos de acionamento do componente avaliado, são executadas algumas etapas: a) A placa é acionada com colunas intercaladas (somente os LEDs de colunas com índice par estão ligados); b) Uma imagem é adquirida; c) São recortadas da imagem cada ROI; d) O parâmetro de cada célula é calculado através da limiarização com módulo “IMAQ AutoBThreshold 2 VI” configurado no modo inter-class variance (limiar de Otsu); e) Os limiares de LEDs de coluna com índice par são armazenados em um vetor, e, os de índice impar, em outro; f) O limiar é calculado a partir da média das medianas de cada vetor. O cálculo deste parâmetro é executado no início do teste de cada placa. Desta forma evitam-se reprovações, caso hajam pequenas diferenças de intensidade de brilho entre os componentes de cada produto que possam acarretar em aprovações ou reprovações errôneas.

2.3.3.5 Avaliação do acionamento dos LEDs

A verificação de funcionamento dos LEDs é realizada através da comparação do limiar de cada ROI (que contém um LED dentro) com o limiar definido como parâmetro de separação entre LEDs ligados e desligados. A cada etapa de teste, existem dados para validação do acionamento, como, quais colunas ou linhas devem estar acessas. Estas são condições utilizadas na validação do teste funcional. Após finalizar, o resultado de cada etapa é gravado dentro de uma matriz, onde cada célula corresponde a um LED. Quando o funcionamento estiver conforme o esperado, é atribuído valor lógico “true” e quando não conforme “false”. Ao final é

51 executado um teste lógico “AND” entre as matrizes onde o conteúdo deve ser verdadeiro para que o acionamento do painel seja validado.

2.3.3.6 Exibição dos resultados

Após a validação de todas as etapas de teste, o resultado é exibido na tela na forma de uma matriz de indicadores, onde os LEDs aprovados são apresentados na cor verde e aqueles que não foram, na cor vermelha. Quando uma placa apresenta funcionamento adequadamente é exibida uma mensagem de sucesso, caso contrário, a tela mostra a imagem do produto com os pontos de falha assinalados, como é exemplificado nas imagens a seguir:

Figura 29- Resultado com Matriz de Indicadores

Fonte: Autor

52

Figura 30- Resultado do Teste- Placa Aprovada

Fonte: Autor.

Figura 31- Resultado do Teste – Placa Reprovada

Fonte: Autor.

53 3

RESULTADOS EXPERIMENTAIS

Durante a execução dos primeiros testes não se obteve sucesso. Após análise, verificou-se que não havia um limiar que possibilitasse separar LEDs apagados e acessos devido a dois motivos: a) Delimitação incorreta das ROIs; b) Tempo de exposição da câmera inadequado. Para que as áreas de interesse contenham um LED ao centro, foi necessário acrescentar um fator de correção, pois como a relação milímetros por pixel não é um número inteiro (nesta aplicação em torno de 1,20mm/pixel) foi verificado que a cada três linhas ou colunas da placa, ocorria o deslocamento de um pixel na ROI. Para esta correção é somado um pixel a cada três linhas e colunas selecionadas, com isso foi possível verificar a centralização do LED na área delimitada. Após o posicionamento adequado do componente dentro da área selecionada, outro problema foi encontrado em relação ao tempo de exposição. Com a configuração definida inicialmente, mesmo ROIs que continham LEDs apagados resultavam em limiares equivalentes aos de LEDS acesos, pois a luz dos componentes no entorno invadia a área destes. A partir de testes foi possível definir um valor para o tempo de exposição que possibilitou que cada região contivesse apenas a luminosidade oriunda do componente em seu centro. Com a adaptação dos parâmetros citados obteve-se bons resultados, sendo possível realizar a instalação em linha de produção para de validação do sistema desenvolvido. Nesta fase é avaliada a aplicação desenvolvida com relação a repetitividade, operacionalidade, tempo de ciclo e capacidade de percepção dos defeitos gerados pela etapa de montagem dos produtos.

54 4

CONSIDERAÇÕES FINAIS

Os resultados obtidos com a implantação do sistema de inspeção de placas por visão computacional podem ser considerados satisfatórios, mostrando ser uma solução viável e robusta para a área industrial. Apresenta fácil operação por meio de interface com telas interativas, necessitando a interação do operador somente para configuração e início do ciclo de teste. Por ser desenvolvida na forma de aplicativo, que dispensa a instalação de qualquer outro programa, também pode ser considerado um resultado importante. Foi observada a possibilidade de padronizar o tempo de teste, pois a execução deste possui duração estabelecida pelo processamento. Foram realizadas tomadas de tempo durante a avaliação que resultaram em um padrão de 20 segundos, o que foi um considerado ótimo, tendo em vista que o tempo médio de realização do teste de maneira manual é aproximadamente 60 segundos. No entanto, um parâmetro na avalição da solução não obteve bons resultados: a repetitividade do teste. Este fato deve-se a restrição do posicionamento do produto para o teste que não são eficientes como esperado, pois da maneira como foram concebidos, apenas orientam a posição e, não a restringem. Este fator afeta todo o teste, pois a localização dos LEDs não serão as esperadas pelo dispositivo. Contudo, o sistema de inspeção proposto pode ser considerado adequado, tendo em vista os resultados obtidos em relação aos tempos e, principalmente, pela eliminação da expedição de produtos com defeito nos lotes acompanhados até o presente momento. Como sugestão para trabalhos futuros sugere-se: a) Implantar controle de posicionamento do objeto por meio físico; b) Mapear localização do produto, pode ser feito através do acionamento dos LEDs nos extremos da placa e identificação destes pelo teste; c) Configuração do sistema de maneira automática através do código de barras da etiqueta de identificação dos itens.

55 REFERÊNCIAS

BALLARD, Dana H.; BROWN, Christopher M.Computer Vision. Prentice Hall, 1982.

BIANCHI, Reinaldo A. C. Visão Computacional Aplicado Ao Controle De Micro Robôs. São Bernardo do Campo: Relatório do projeto de trabalho OS.N5886, 2001.

BROWN, Lisa G. A Survey of Image Registration Techniques. Department of Computer Sctence, The United States, New York, 1992.

GAMAL, Abbas. E.; ELTOUKHY, Helmy. CMOS image sensors. IEEE Circuits and Devices Magazine, 2005. GONZALES, Rafael. C.; WOODS, Richard. E. Processamento Digital De Imagens. 3º. ed. São Paulo: Pearson Prenticie Hall, 2010.

HORNBERG, Alexander, Handbook of Machine Vision. Alemanha, Weinheim: Wiley-VCH, 2006.

KOERICH, Alessandro L. Hardware para Visão Computacional. São Paulo: Seminário de Engenharia Elétrica, 2007.

LITWILLER, Dave. CCD vs. CMOS: Facts and fiction. Photonics Spectra, 2001.

LOBÃO, Fábio. S. Calibração com Mapeamento das Distorções Geométricas Aplicada a um Sistema de Visão. Dissertação (Mestrado em Engenharia) Universidade de Brasília - Faculdade de Tecnologia. Brasília. 2004

MARQUES, Ogê; VIEIRA, Hugo. Processamento Digital de Imagens, Rio de Janeiro: Brasport Livros, 1999.

MURAI, S. (Ed.). Remote Sensing Notes. Japan Association on Remote Sensing, 1993.

56 PICCOLLI, Bruno; ZAMBELLI, Pierluigi. Curso International De Ergooftalmologia. São Paulo: Apostila SENAC-SP, 1999.

SOUZA, A.; MACHADO, F. Visão Artificial Na Medição E Controle Da Produção E Fluxo De Materiais: do manuseio de granel até as linhas de produção. Vitória: Seminaries ABM, 2007.

STEGER, Carsten.; WIEDEMANN, Christian.; ULRICH, Markus. Machine Vision Algorithms and Applications. Alemanha, Weinheim: Wiley-VCH, 2008.

ZITOVÁ, Bárbara; FLUSSER, Jan. Image registration methods: a survey. Image and Vision Computing, Praga, Republica Checa, 2003.

57 APÊNDICE A – VI CALIBRAÇÃO

Fonte: Autor.

58 APÊNDICE B - VI CADASTRO DE PRODUTOS

Fonte: Autor.

59 APÊNDICE C – VI ACIONAMENTO DE PLACAS

Fonte: Autor.

60 APÊNDICE D – VI AQUISIÇÃO

Fonte: Autor.

61 APÊNDICE E – VI TESTE DE PLACAS

Fonte: Autor.

62 ANEXO A- FOLHA DE DADOS CÂMERA

Fonte: Folha de dados da camera.