Προκειμένου να προσαρμοστεί στο ανοιχτό αστικό περιβάλλον, τα έξυπνα όργανα πρέπει να συλλάβουν τις κινήσεις του σώματος των γύρω ανθρώπων και τη δομή της σκηνής σε πραγματικό χρόνο. Η παραδοσιακή αντίληψη σημαίνει βασισμένη σε αδρανειακούς αισθητήρες και κάμερες, οι οποίες έχουν τα προβλήματα της μακροχρόνιας μετατόπισης δεδομένων και της ευαισθησίας στις δυναμικές αλλαγές του φωτός και του περιβάλλοντος, αντίστοιχα, είναι δύσκολο να ικανοποιηθούν η ζήτηση για κίνηση του ανθρώπινου σώματος και σύλληψη σκηνής σε σύνθετα περιβάλλοντα στην εφαρμογή Πεδία έξυπνης οδήγησης, ρομποτικής εξυπηρέτησης και αθλητικής κατάρτισης.
Από το 2022, η ομάδα του καθηγητή Cheng Wang και του καθηγητή Chenglu Wen ήταν ο πρώτος που προτείνει την τεχνολογία της Lidar Human Motion Capture στη διεθνή αρένα (Lidarcap, CVPR 2022, HSC4D, CVPR 2022, SLOPER4D, CVPR 2023). Σε αυτή τη δημοσίευση, το HISC4D, η ομάδα σπάει μια μέθοδο για να συλλάβει ποικίλες κινήσεις αλληλεπίδρασης δύο ατόμων και 3D σκηνές σε θέα πρώτου προσώπου σε μεγάλης κλίμακας εσωτερικές και υπαίθριες ανοιχτές σκηνές. Η μέθοδος κατασκευάζει ένα πλαίσιο βελτιστοποίησης αρθρώσεων πολλαπλών σταδίων με τη συγχώνευση δεδομένων αδρανειακής καθοδήγησης και LIDAR, τα οποία επιλύουν αποτελεσματικά το πρόβλημα της μετατόπισης που προκαλείται από την αδρανειακή καθοδήγηση και βελτιώνει σημαντικά την ακρίβεια ανακατασκευής της σκηνής και επεκτείνει το εύρος της χωρικής, ανθρώπινης κίνησης και της σύλληψης αλληλεπίδρασης. Ταυτόχρονα, απελευθερώνεται το πρώτο σύνολο δεδομένων αλληλεπίδρασης δύο ατόμων, καλύπτοντας διαφορετικούς τύπους σκηνών και διαφοροποιημένα ανθρώπινα κινήματα, παρέχοντας πόρους δεδομένων κατάρτισης για συναφείς ερευνητικούς τομείς. Την ίδια στιγμή, η οποία ανοίγει έναν νέο τρόπο σκέψης για ενσωματωμένη νοημοσύνη για να πάει στο τεράστιο ύπαιθρο και να ενσωματωθεί στο πλήθος.
