Jan Sedmidubský a další vědečtí pracovníci získali ocenění „Best Short Paper Award Honorable Mention“
Za vědecký článek získali doc. RNDr. Jan Sedmidubský, Ph.D.; RNDr. Tomáš Rebok, Ph.D. a další autoři, prestižní ocenění „Best Short Paper Award Honorable Mention“ na A* konferenci SIGIR 2023. Jejich článek „Text-to-Motion Retrieval: Towards Joint Understanding of Human Motion Data and Natural Language“ se umístil mezi třemi nejlepšími články ze 154 přijatých a 613 zaslaných článků (vždy v dané kategorii).
Více o obsahu článku se dozvíte ze stručné anotace přímo od jednoho z autorů, a to docenta Jana Sedmidubského:
Díky aktuálnímu pokroku v počítačovém vidění lze z běžného videa vyextrahovat pohyb osoby ve formě sekvencí zjednodušených 3D koster. Ačkoli automatizované zpracování takových časoprostorových dat lidského pohybu nabízí velké aplikační příležitosti v mnoha oblastech, efektivní přístup k těmto datům na základě obsahu zůstává stále nevyřešeným problémem. V daném článku jsme představili nový koncept vyhledávání, jehož cílem je v neanotované databázi lidských pohybů nalézt ty, které jsou relevantní textovému dotazu specifikovanému v přirozeném jazyce. Jako příklad by uživatel mohl zadat dotaz: „osoba klečící na zemi pomalu upadá na záda“, jehož výsledkem pak bude 10 nejrelevantnějších databázových pohybů. Kromě definice vyhledávacího konceptu jsme představili i implementaci založenou na propojení textové a pohybové modality, konkrétně jazykového modelu BERT/CLIP (pro kódování textové modality) a neuronové sítě typu Transformer (pro kódování modality pohybových reprezentací). Dále jsme představili kvalitativní metriky a vyhodnotili první experimenty na nedávno představených datových množinách HumanML3D a KIT Motion-Language. Doufáme, že tento článek bude prvním krokem k prohledávání videí podle způsobu provedení lidských pohybů.
Url článku: https://dl.acm.org/doi/abs/10.1145/3539618.3592069
GitHub repozitář: https://github.com/mesnico/text-to-motion-retrieval
Na článku se společně podíleli: Nicola Messina, Jan Sedmidubský, Fabrizio Falchi, Tomáš Rebok ve spolupráci se zahraniční institucí ISTI-CNR. Všem autorům gratulujeme a věříme, že se bude dařit naplňovat nový koncept vyhledávání v praxi.
