Automatické provazování videozáznamu přednášek se studijními materiály

Anotace

Od jara 2014 probíhá na FI MU automatický záznam přednášek, které se konají v učebnách D1, D2 a D3. Díky chybějícím informacím o struktuře videí však nelze (a) provádět nad videi fulltextové vyhledávání, (b) zobrazit uživateli pouze části videa, o které projevil zájem ani (c) transformovat video do podoby vhodné pro zrakově postižené. Cílem projektu je vyvinout algoritmy, které umožní provázat videa s přednáškovými slajdy na základě vizuální shody.

Současný stav projektu

Během podzimního semestru 2017 došlo v rámci předmětu PV162 Projekt z digitálního zpracování obrazů laboratoře CBIA ke vzniku datové sady obsahující snímky videa z náhodně vybraných videozáznamů přednášek z let 2010-2017. Zároveň byly ustanoveny jednotlivé podúlohy, které je třeba algoritmicky řešit, forma evaluace a naivní algoritmy, vůči kterým se lze poměřovat.

Cíle projektu

Cílem projektu je vyvinout s pomocí zmíněné datové sady algoritmy, které bude možné využít k (polo)automatickému provázání videozáznamů přednášek s PDF dokumenty přednáškových slajdů se snímky vidozáznamu. Diky tomu bude možné nad videi provádět textové vyhledávání, generovat vrstvená videa zobrazující promítané stránky PDF dokumentů ve vysokém rozlišení a titulkovat video pro zrakově postižené.

Časový harmonogram projektu

V úvodních třech měsících dojde k implementaci a evaluaci algoritmů řešících jednotlivé stanovené podúlohy. Řešitel bude čerpat 2 nejnovějších poznatků v oblasti zpracování digitálního obrazu (digital image processing), hledání informací (information retrieval), a přidružených oblastí (mathematical morphology, data mining, pattern recognition, statistical computing). V závěrečných třech měsících vznikne ukázková end-to-end implementace popsaných algoritmů, která bude pro soubor videa a množinu PDF dokumentů s přednáškovými slajdy na vstupu generovat výstupní vrstvené video a strukturovaný soubor mapující snímky videa na stránky PDF dokumentů. Aplikace bude živě demonstrována v rámci závěrečné prezentace projektu. Vyvinuté algoritmy, kód idatové sady budou zveřejněné pod svobodnou licencí.