SGN

Die erkennung von menschlichen handlungen auf der basis von skelettdaten hat großes interesse geweckt, da die zugänglichkeit der menschlichen skelettdaten einfach ist. Kürzlich gibt es einen trend, sehr tiefe feedforward-neuronale netzwerke zu verwenden, um die 3D-koordinaten der gelenke zu modellieren, ohne die recheneffizienz zu berücksichtigen. In dieser arbeit schlagen wir ein einfaches, aber effektives semantics-guided neural network (SGN) vor. Wir führen explizit die hochrangige semantik der gelenke (gelenktyp und frame-index) in das netzwerk ein, um die fähigkeit zur merkmalsdarstellung zu verbessern. Intuitiv offenbaren semantische informationen, d.h. der gelenktyp und der frame-index, zusammen mit dynamik (d.h. 3D-koordinaten) die räumliche und zeitliche konfiguration/struktur der gelenke des menschlichen körpers und sind sehr wichtig für die handlungserkennung. Darüber hinaus nutzen wir die beziehung der gelenke hierarchisch durch zwei module aus, d.h. ein gelenk-modul auf der ebene der gelenke zur modellierung der korrelationen der gelenke im selben frame und ein frame-modul zur modellierung der abhängigkeiten der frames, indem wir die gelenke im selben frame als ganzes betrachten. Eine starke grundlage wird vorgeschlagen, um das studium dieses bereichs zu erleichtern.