Cover Image

Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda

Detecção e rastreamento em seis graus de liberdade (6-DoF, six Degrees-of-Freedom) são problemas amplamente estudados na área de Visão Computacional. É possível encontrar aplicações que utilizam detecção 6-DoF em áreas como realidade aumentada, robótica, interação avançada, entre outras. As técnicas...

Full description

Main Author: CUNHA, Kelvin Batista da
Other Authors: TEICHRIEB, Veronica
Format: masterThesis
Language: por
Published: Universidade Federal de Pernambuco 2019
Subjects:
Visão computacional
Mídia e interação
Online Access: https://repositorio.ufpe.br/handle/123456789/35367
Tags: Add Tag
No Tags, Be the first to tag this record!
id ir-123456789-35367
recordtype dspace
spelling ir-123456789-353672019-11-30T05:10:28Z Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda CUNHA, Kelvin Batista da TEICHRIEB, Veronica SIMÕES, Francisco Paulo Magalhães http://lattes.cnpq.br/6273055129358941 http://lattes.cnpq.br/3355338790654065 http://lattes.cnpq.br/4321649532287831 Visão computacional Mídia e interação Detecção e rastreamento em seis graus de liberdade (6-DoF, six Degrees-of-Freedom) são problemas amplamente estudados na área de Visão Computacional. É possível encontrar aplicações que utilizam detecção 6-DoF em áreas como realidade aumentada, robótica, interação avançada, entre outras. As técnicas desenvolvidas podem utilizar diversos tipos de sensores, com prevalência de técnicas baseadas em sensores RGB ou RGBD. Para utilizar apenas informações RGB, houve um recente avanço com a utilização de técnicas baseadas em aprendizagem profunda. Para tal, os métodos propostos geralmente utilizam modelos mais complexos para lidar com a falta da informação de profundidade. Devido a isto, a performance do algoritmo é prejudicada, realizando, em alguns casos, a estimação de pose dependente de pós-processamento que prejudica o tempo de execução do algoritmo. Nesse contexto, esta dissertação visa avaliar a aplicabilidade das recentes técnicas de aprendizagem profunda para realizar a detecção de objetos 3D com 6 graus de liberdade. O principal objetivo é o desenvolvimento de uma técnica para estimação da pose em tempo real utilizando apenas câmeras RGB com o uso de aprendizagem profunda, bem como avaliar as limitações e perspectivas de seu uso para identificação de oportunidades. Para alcançar o objetivo, foi escolhido um método base para desenvolvimento, a partir das principais características obtidas na revisão da literatura. Os resultados foram validados através da utilização da base de dados pública LINEMOD. Em seguida, foram analisados detalhadamente seus pontos de robustez e falhas para diferentes cenários. Posteriormente, foi gerado um conjunto de dados para avaliar como o método se comporta para cenários genéricos, variando características de iluminação, ambiente, parâmetros de câmeras e movimento da cena. Nestes cenários, o método conseguiu obter resultados compatíveis com o estado da arte para casos em que aparecem imagens borradas, ambientes poluídos e oclusão parcial do objeto. Para casos em que foram utilizadas imagens de diferentes câmeras de testes e mudanças de ambiente, o método obteve baixo desempenho, demonstrando pontos de melhoria. Para melhorar o comportamento da técnica nestes cenários, foi gerado um conjunto de imagens sintéticas, com adaptação do domínio e randomização do domínio. A utilização das imagens sintéticas possibilitou avaliar a potencial melhoria de precisão do modelo nos cenários genéricos. CNPq Detection and tracking in six degrees of freedom (6-DoF) are tasks widely studied in computer vision. It is possible to find applications that use 6-DoF detection in areas such as augmented reality, robotics, advanced interaction, among others. The developed techniques can use several types of sensors, with prevalence of techniques based on RGB or RGBD sensors. The methods based on RGB information received a recent advance influenced by deep learning methods. To do so, the proposed methods generally use more complex models to deal with the lack of depth information. Due to this, the performance of the algorithm is impacted, requiring in some cases post-processing responsible of even more impact on the algorithm execution time. In this context, this dissertation aims to evaluate the applicability of recent deep learning techniques to detect 3D objects with six degrees of freedom. The main objective is to develop a technique for estimating a 6-DoF pose in real time using only RGB cameras with the use of deep learning, as well as to evaluate the limitations and perspectives of its use to identify future opportunities. To reach the objective, a basic method for development was chosen, based on the main characteristics obtained from the literature review. The results were validated through the use of the public dataset called LINEMOD. Then, its robustness points and failures for different scenarios was analyzed in detail. Later, a dataset was generated to evaluate how the method behaves for generic scenarios, varying lighting characteristics, environment, camera parameters and camera motion. In these scenarios, the method was able to obtain results compatible with the state of the art for cases in which blurred images appear, polluted environments and partial occlusion of the object. For cases where images from different test cameras and environment changes were used, the method performed poorly, demonstrating improvement points. To improve the behavior of the technique in these scenarios, a set of synthetic images was generated, with domain adaptation and domain randomization. The use of synthetic images made it possible to evaluate the potential improvement of model accuracy in the generic scenarios. 2019-11-29T16:57:35Z 2019-11-29T16:57:35Z 2019-02-22 masterThesis CUNHA, Kelvin Batista da. Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda. 2019. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2019. https://repositorio.ufpe.br/handle/123456789/35367 por openAccess Attribution-NonCommercial-NoDerivs 3.0 Brazil http://creativecommons.org/licenses/by-nc-nd/3.0/br/ application/pdf Universidade Federal de Pernambuco UFPE Brasil Programa de Pos Graduacao em Ciencia da Computacao
institution REPOSITORIO UFPE
collection REPOSITORIO UFPE
language por
topic Visão computacional
Mídia e interação
spellingShingle Visão computacional
Mídia e interação
CUNHA, Kelvin Batista da
Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda
description Detecção e rastreamento em seis graus de liberdade (6-DoF, six Degrees-of-Freedom) são problemas amplamente estudados na área de Visão Computacional. É possível encontrar aplicações que utilizam detecção 6-DoF em áreas como realidade aumentada, robótica, interação avançada, entre outras. As técnicas desenvolvidas podem utilizar diversos tipos de sensores, com prevalência de técnicas baseadas em sensores RGB ou RGBD. Para utilizar apenas informações RGB, houve um recente avanço com a utilização de técnicas baseadas em aprendizagem profunda. Para tal, os métodos propostos geralmente utilizam modelos mais complexos para lidar com a falta da informação de profundidade. Devido a isto, a performance do algoritmo é prejudicada, realizando, em alguns casos, a estimação de pose dependente de pós-processamento que prejudica o tempo de execução do algoritmo. Nesse contexto, esta dissertação visa avaliar a aplicabilidade das recentes técnicas de aprendizagem profunda para realizar a detecção de objetos 3D com 6 graus de liberdade. O principal objetivo é o desenvolvimento de uma técnica para estimação da pose em tempo real utilizando apenas câmeras RGB com o uso de aprendizagem profunda, bem como avaliar as limitações e perspectivas de seu uso para identificação de oportunidades. Para alcançar o objetivo, foi escolhido um método base para desenvolvimento, a partir das principais características obtidas na revisão da literatura. Os resultados foram validados através da utilização da base de dados pública LINEMOD. Em seguida, foram analisados detalhadamente seus pontos de robustez e falhas para diferentes cenários. Posteriormente, foi gerado um conjunto de dados para avaliar como o método se comporta para cenários genéricos, variando características de iluminação, ambiente, parâmetros de câmeras e movimento da cena. Nestes cenários, o método conseguiu obter resultados compatíveis com o estado da arte para casos em que aparecem imagens borradas, ambientes poluídos e oclusão parcial do objeto. Para casos em que foram utilizadas imagens de diferentes câmeras de testes e mudanças de ambiente, o método obteve baixo desempenho, demonstrando pontos de melhoria. Para melhorar o comportamento da técnica nestes cenários, foi gerado um conjunto de imagens sintéticas, com adaptação do domínio e randomização do domínio. A utilização das imagens sintéticas possibilitou avaliar a potencial melhoria de precisão do modelo nos cenários genéricos.
author2 TEICHRIEB, Veronica
format masterThesis
author CUNHA, Kelvin Batista da
author_sort CUNHA, Kelvin Batista da
title Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda
title_short Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda
title_full Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda
title_fullStr Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda
title_full_unstemmed Detecção de objetos em 6-DoF em tempo real utilizando técnicas de aprendizagem profunda
title_sort detecção de objetos em 6-dof em tempo real utilizando técnicas de aprendizagem profunda
publisher Universidade Federal de Pernambuco
publishDate 2019
url https://repositorio.ufpe.br/handle/123456789/35367
_version_ 1661517179624882176
score 13.657419

Similar Items