Stap 5: Het combineren van hand tracking met neuraal netwerk gebaseerd hand erkenning
Dit is de laatste stap.
Om hand pose wordt herkend, moet het systeem detecteren van mijn hand positie.
Dus, ik hand tracking systeem geïmplementeerd die kunt het volgende doen:
- Aftrekken van achtergrondafbeelding
- 3D-hand standpunt detecteren met behulp van beweging bijhouden bibliotheek, NITE (deze bibliotheek niet wordt gedetecteerd door een hand pose)
- Uittreksel van elke kleur regio via beeldverwerking
- Gebruik Xtion PRO LIVE sensor (zie foto)
Door het combineren van de tracking-systeem met de volledige tuned neuraal netwerk,
Manipit, een beweging van de hand tracking systeem, is nu voltooid.
Hoe werkt het? Zie de video.
De CG handen op het display worden gesynchroniseerd met mijn werkelijke handen!
Zelfs als ik grijpen ben, herkent Manipit mijn hand pose.
Ik denk dat dit punt het grote verschil van bestaande producten en onderzoek is.
