Spatial-temporal reasoning in symbolic neural network for semantic interpretation of videos

Abstract

O campo de estudo sobre Interpretação Semântica de Vídeos procura maneiras de modelar as informações existentes nos vídeos. Os métodos existentes podem ser divididos em métodos genéricos e especializados, o primeiro é capaz de categorizar as informações com eficiência e o especialista não tem um bom desempenho para dados genéricos. Uma maneira de os pesquisadores lidarem com esse impasse, em outros campos de estudo, é usar o conhecimento e as restrições sobre ele. Para isso, usamos o raciocínio neural-simbólico. Nossa hipótese é usar uma rede neural simbólica para extrair informações de imagens de um vídeo para modelar essas informações, e enfim realizar raciocínio para extração da descrição semântica. Para tal propósito foram escolhidos três principais etapas (1) identificação dos objetos nas imagens do vídeo, (2) identificação das relações espaciais em grupos de frames e (3) analise das relações temporais encontradas, através dessas etapas identificamos com esta pesquisa que é possível inferirmos as ações que acontecem em um vídeo através do algoritmo proposto.