این تکینک جدید به رایانه اجازه می دهد حالات و حرکات افراد مختلف را درک کند و حتی هنگامیکه فرد انگشت خود را حرکت می دهد، آن را ردیابی کند.

انسان ها به طور طبیعی با استفاده از زبان بدن با یکدیگر ارتباط برقرار می کنند، اما رایانه های کم و بیش نسبت به این گونه تقابل ها واکنشی نشان نمی دهند. به هرحال برنامه جدید با ردیابی دوبعدی فرم و حرکت بدن انسان می تواند قابلیت روبات ها در محیط های اجتماعی را تا حد زیادی ارتقا دهد.

 محققان موسسه روباتیک دانشگاه کارنگی ملون این برنامه را با استفاده از استودیو Panoptic ساخته اند. این استودیو که در حقیقت گنبدی دو طبقه و مجهز به 500 دوربین ویدئویی است از هر فعالیتی از نماهای مختلف فیلمبرداری می کند.

تصاویر این سیستم نشان می دهد فعالیت های انسان با استفاده از مدل 2 بعدی چطور به نظر می رسند.

به هرحال با استفاده از تصاویر دوربین می توان به طور واقعی حتی کوچکترین فعالیت های انسان را ردیابی کرد. همچنین این برنامه حتی می تواند همزمان فعالیت های چند نفر را رصد کند.

محققان در همین راستا مخزنی از فعالیت قسمت های مختلف بدن انسان فراهم کرده اند.

از این روش می توان به تدریج در حوزه های مختلفی استفاده کرد، مانند کمک به ارتقای توانای خودروهای خودران برای پیش بینی حرکت عابران. همچنین در تحلیل های ورزشی و تشخیص های رفتاری نیز کاربر دارد.