Robotic Perception and Machine Vision

1. Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie W oparciu o wykad Dr. Hadi Moradi University of Southern California Percepcja Robot w

2. Maszynowe Widzenie Maszynowe Widzenie Zadanie: zidentyfikowa obiekty w rodowisku (Zrozumie rodowisko). Przykad: druyna robotw (ang. RoboCup) Roboty humanoidalne (2 min) Maa liga (2 min)

3. Fizyka wzroku Fizyka wzroku wiato przechodzi przez tczwk Pada na siatkwk oka

4. Wczesne i pniejsze widzenie Wczesne i pniejsze widzenie Wczesn e widzenie: nerwy przetwarzaj informacj Pniejsz e widzenie (wyszy poziom ) przetwarzane w mzgu Bardzo duy procent mzgu jest odpowiedzialny za przetwarzanie wizualne

5. Przetwarzanie wiata w kamerze Przetwarzanie wiata w kamerze Bardzo proste przetwarzanie W aparatach Halogenki srebra na filmie fotograficznym, Pprzewodnikowy przetwornik obrazu (CCDs)

6. Skupienie obrazu Skupienie obrazu Obraz wynikowy nie jest cakowicie ostry Tylko przedmioty w wybrany m zakresie odlegoci od soczewki s ostre i wyrane Ten zakres w aparatach jest nazwany gbi pola.

7. Rekonstrukcja obrazu Rekonstrukcja obrazu Rekonstrukcja: jaki by wiat, ktry wytworzy ten obraz? Wymagane s obliczenia aby odtworzy rzut obiektw ze rodowiska na paszczyzn obrazu (zauwa, e bd one odwrcone).

8. Rozbicie obrazu na piksele Rozbicie obrazu na piksele piksele: komrki obrazu Kady obraz jest podzielony na mae komrki Typowy aparat: 1024 X 1024 pikseli Ludzkie oko: 120 x 10 6 rods (prcikw) 6 x 10 6 cones (czopkw na siatkwce)

9. Jasno obrazu Jasno obrazu Jasno: proporcjonalna do iloci wiata skierowanego na aparat Jasno zaley od: wspczynnika odbicia powierzchni pozycj i i rozproszeni a rde wiata w rodowisku ilo ci wiata odbit ego od innych przedmiotw w otoczeniu na obserwowana powierzchni

10. Elementy wczesnego widzenia Elementy wczesnego widzenia Przykad: Czarno-biay aparat Paszczyzna obrazu 1024 x 1024 pikseli. Poziom intensywnoci midzy biaym a czarnym Pytanie: Czy wiemy czy jest przedmiot? Jak znale przedmiot w paszczynie obrazu? Charakterystyczny pierwszy krok: wykrycie krawdzi: znajd wszystkie krawdzie na obrazie. Jak ?

11. Przykad Przykad

12. Wykrywanie krawdzi Wykrywanie krawdzi Krawdzie: krzywe na paszczynie obrazu ze znaczc zmian poziomu jasnoci Proste podejcie: szuka ostrych zmian jasnoci: przez rniczkowanie obrazu szukaj obszarw gdzie wielko pochodnej jest dua cienie Problem: cienie innych przedmiotw .

13. agodzenie szumu agodzenie szumu Szum: mae odchylenia w zrniczkowanym obrazie. Usuwanie szumu: Nazywane wygadzaniem Splot: znajd i usu odizolowane odchylenia Splot stosuje filtr obrazu. Aby znale wszystkie krawdzie o jakim nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

14. Przykad: Projekt ludzkiego ciaa Przykad: Projekt ludzkiego ciaa Wyszukiwanie krawdzi

15. Zoono oblicze Zoono oblicze Wykrywanie krawdzi zostao dobrze przestudiowane Wykrywanie krawdzi nie jest obliczeniowo proste. => Wizja wy maga zoonego przetwarzania.

16. Znajdywanie przedmiotw Znajdywanie przedmiotw Krok 2: Znajd przedmioty pord wszystkich tych krawdzi. Segmentacja: proces rozdzielania lub organizowania obrazu w czci, ktre odpowiadaj staym przedmiotom. Pytania: Skd wiemy ktre linie odpowiadaj ktrym przedmiotom? Co tworzy przedmiot/obiekt? Uyj wskazwek aby dostrzec przedmioty. Zoone obliczenia...

18. Wykryty obiekt

19. Wskazwki dla segmentacji (1) Wskazwki dla segmentacji (1) Uycie nagromadzonych modeli (wizja bazujca na modelach) porwnaj wszystkie krawdzie w obrazie ze wszystkimi modelami, szukajc dopasowa we pod uwag rotacj, przesunicie, i skalowanie p rzykad: MARKO, robot do kanaw ciekowych

20. Wskazwki dla segmentacji(2) Wskazwki dla segmentacji(2) Wykorzystanie ruchu (wizja bazujca na ruchu) porwnaj dwa kroki czasowe, odejmij obrazy przedmioty poruszaj si jak konkretne elementy, wszystkie razem jasno, kolor, tekstura, ksztat, itp., pozostaj takie same nic innego nie powinno si porusza

23. Wskazwki dla segmentacji (3) Wskazwki dla segmentacji (3) Uycie zdolnoci widzenia binokularnego (wizja stereo) Dwie kamery obserwuj teren Dwa obrazy bez koniecznoci poruszania Ponownie odejmij, uyj znanych rnic

24. Wskazwki dla segmentacji (4) Wskazwki dla segmentacji (4) lewy obraz prawy obraz Obraz po rozpoznaniu rnic

25. Wskazwki dla segmentacji(5) Wskazwki dla segmentacji(5) Uycie tekstur jednolita tekstura prawdopodobnie pochodzi od jednego obiektu porwnaj dwa kroki czasowe, odejmij obrazy cieniowania Uyj cieniowania , konturowania, odzyskaj ksztat w podobny sposb jak z tekstury

26. Przykady segmentacji Robot ukladajacy kostke Rubika

27. Strategie biologiczne Strategie biologiczne Wiele strategii jest wykorzystywanych w systemach biologicznych Wizja stereo z dwoma oczyma jest wszechobecna u zwierzt misoernych (np. psy, koty) Jeli obrazy midzy dwoma oczyma nie s poczone (jak u zwierzt rolinoernych np. krowy) wwczas informacje stereo mog by poczone w mzgu. Dostrzeganie nowoci, niespodziewanego przedmiotu Trudne w kadym systemie

28. Zoono wyczuwania wizji Zoono wyczuwania wizji Rekonstrukcja: opisane metody s konieczne S one obliczeniowo bardzo zoone i przez to powolne Jeli nie ma potrzeby rekonstrukcji: Uproci przetwarzanie wizji Q: Jak mona tego dokona?

29. Uproszczenie wizji Uproszczenie wizji Uycie koloru Druyny sportowe Uycie mniejszego planu obrazu (np. linii) Czytanie jednej linii naraz Puzzles Uycie innych czujnikw aby uzupeni wiedz podczerwie, sonar, zaciski , itp. Uycie informacji przydatnej dla okrelonego zadania d o kierowania, szukaj biaych linii na drodze z awsze szukaj waciwego sensora dla okrelonego zadania!

30. Czujniki ultradwikowe Czujniki ultradwikowe pomiar czasu i odlegoci nadajniki i odbiorniki sonary w biologii

31. Czas Przelotu Nadajnik: wysyla impuls Odbiornik: otrzymuje odbity sygnal Roznica czasu 342 m/ s ek Technika echolokacja

32. Pytanie? Czy jest to odczucie pasywne czy aktywne

33. Sonary w Technice Mapy oceanw

34. Problemy: Odbicia Otrzymanie sygna w od innych sonar w

35. Inne zastosowania: NavBelt http://www.engin.umich.edu/research/mrl/00MoRob_19.html

36. Navchair http://www.engin.umich.edu/research/mrl/00MoRob_19.html

37. Laska Nawigacyjna

38. Laska Nawigacyjna

39. Nietoperze 7: odbiornikw sonarnych Wiele czstotliwoci do wykrywania rnych objektow Uyte do komunikacji Lot nietoperza (1 min 45 sec)