Naukowcy z Uniwersytetu w Cambridge opracowali osiem prostych przepisów na sałatki i sfilmowali siebie podczas ich przygotowywania. W ten sposób stworzyli bazę, na której uczyli robota-kucharza.
Ci sami naukowcy z Cambridge zaprogramowali robota-kucharza tak, by nauczył się ośmiu przepisów na sałatki
Korzystając z widzenia komputerowego, robot przeanalizował każdą klatkę wideo i był w stanie zidentyfikować różne obiekty, takie jak nóż i składniki dania, a także ramiona, dłonie i twarz prawdziwego kucharza. Ci sami naukowcy z Cambridge zaprogramowali robota-kucharza tak, by nauczył się ośmiu przepisów na sałatki. Po obejrzeniu filmu, na którym człowiek demonstruje jeden z przepisów, robot był w stanie zidentyfikować, który przepis jest przygotowywany, i go odtworzyć. Dziewiąty przepis był w stanie już wymyślić sam. Jak przekonują twórcy, choć urządzenie na razie nie poradzi sobie z analizą filmów zamieszczanych przez influencerów, to w przyszłości najprawdopodobniej zyska takie kompetencje. Rozwiązaniem zainteresowani mogą być restauratorzy zmagający się z niedoborami kadrowymi po pandemii.
Robot może wywnioskować, że gdy człowiek trzyma w jednej ręce nóż, a w drugiej marchewkę, to prawdopodobnie zostanie ona posiekana
– Maszyna jest w stanie określić, gdzie znajdują się wszystkie przedmioty i co to jest za przedmiot. Jeżeli na takim filmie zaznaczymy trajektorię ruchu nadgarstka, to, jak się poruszają wszystkie obiekty, możemy wtedy policzyć korelację pomiędzy takimi trajektoriami. Jeżeli mamy korelację pomiędzy jakimś obiektem a prawym lub lewym nadgarstkiem, lub oboma, wtedy robot jest w stanie zrozumieć, że prawdopodobnie człowiek używa właśnie tego przedmiotu w tym momencie – wyjaśnia w rozmowie z agencją Newseria Innowacje Grzegorz Sochacki, doktorant Wydziału Inżynierii na Uniwersytecie w Cambridge. Robot może na tej podstawie wywnioskować, że gdy człowiek trzyma w jednej ręce nóż, a w drugiej marchewkę, to prawdopodobnie zostanie ona posiekana. Okazało się, że odtworzył przepis w 93 proc. przypadków, i to pomimo tego, że zidentyfikował zaledwie 83 proc. działań podejmowanych przez kucharza. W ten sposób robot odtworzył i przekonwertował na możliwy do odtworzenia przepis w ramach bazowego doświadczenia osiem przepisów, ale poradził sobie również z opisaniem i skatalogowaniem dziewiątego.
Robot został stworzony na bazie kuchni podobnej do takich, które są w zwykłych gospodarstwach domowych
– Zaletami tego robota jest to, że możemy go zaprogramować, po prostu wykonując daną czynność, oraz to, że działa on bardzo dobrze, nawet gdy filmiki nie są najlepsze. Więc nawet gdy widzenie komputerowe zawiedzie na chwilę, mamy kolejną warstwę sztucznej inteligencji, która bierze pod uwagę całość filmiku i jest w stanie określić, czy to jest błąd widzenia komputerowego, czy też może człowiek zrobił przerwę i dodał jeden składnik, miał przerwę i dodał drugi – mówi Sochacki. Robot został stworzony na bazie kuchni podobnej do takich, które są w zwykłych gospodarstwach domowych. Urządzenie może działać poprzez robotyczne ramię zamontowane na wózku. Druga opcja to metalowa rama podwieszana u sufitu, do której przymocowane ramię lub ramiona mogą pracować od góry, mając dostęp do całej kuchni. Ułatwia to eksploatację, ale i programowanie.
Urządzenie nie jest jednak w stanie bazować na danych pochodzących z popularnych filmów udostępnianych w mediach społecznościowych
– W tym konkretnym projekcie chcieliśmy sprawić, aby robot uczył się od człowieka przez obserwację. Ten specyficzny projekt wziął się ze współpracy z Google’em. Oni tam mają mnóstwo danych, mnóstwo filmików na YouTubie i nie są w stanie nic sensownego z tym zrobić, dlatego chcieli sprawdzić, czy robot może się z takich filmików uczyć – wskazuje naukowiec z Cambridge. Urządzenie nie jest jednak w stanie bazować na danych pochodzących z popularnych filmów udostępnianych w mediach społecznościowych. Charakteryzują się one bowiem zbyt dynamicznym montażem, co utrudnia analizę obrazu poprzez widzenie komputerowe. Robot miałby na przykład trudności ze zidentyfikowaniem warzywa, gdyby obserwowany na filmie kucharz owinął je ręką. Aby poprawnie zidentyfikować taki obiekt, robot musi dokładnie zobaczyć całe warzywo.