32k
Polacy przygotowali algorytm, który przetwarza dowolne wideo w komiks
Studenci Maciej Pęśko, Adam Svystun oraz Paweł Andruszkiewicz, a także opiekunowie naukowi Przemysław Rokita i Tomasz Trzciński – to właśnie tej piątce zawdzięczamy jedno z najciekawszych pod względem konceptu narzędzi, na jakie można natknąć się w sieci. I nie ma w tym cienia przesady. Comixify, bo o nim mowa, to zaprojektowany przez Polaków algorytm, który dowolne wideo przekształca w komiks w sposób tak imponujący i kreatywny, że rysownikom czy twórcom zajmującym się digital artem mogą zadrżeć serca.
Wszystko opiera się na selekcji najciekawszych wizualnie klatek z filmów, a następnie dopasowywaniu ich do ramek i nadawaniu im charakterystycznego komiksowego stylu.
Za wspomnianą ekstrakcję najważniejszych klatek odpowiada metoda uczenia ze wzmocnieniem (reinforcement learning). Drugi krok, czyli tzw. transfer stylu, to zaś zasługa uczenia maszynowego, a konkretniej generatywnego modelu sieci neuronowych typu GAN – ciekawy artykuł o specyfice jego działania znajdziecie tutaj.
Przepuszczanie przez Comixify różnych materiałów wideo szybko wciąga i uzależnia. Zobaczcie tylko, jak efektownie wypadł w komiksowym anturażu Adam Andruszkiewicz (pretekstem jest niedawna nominacja na wiceministra cyfryzacji):
A tu wizualny wyciąg z losowego filmiku ze „śmiesznymi zwierzętami”.
Prawda, że ładnie?
Perspektywy dla Comixify wydają się być znakomite. Na stronie Politechniki Warszawskiej czytamy, że:
„Nasi badacze chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, szukają również możliwości finansowania dalszych prac”/
A także:
„Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych”.
Z dowolnymi plikami wideo z dysku bądź YouTube’a (które nie przekraczają 50 MB) za darmo i bez ograniczeń możecie eksperymentować tutaj.
Życzymy miłej zabawy!
Tekst: Wojciech Michalski
