Wstęp
Wizja komputerowa (Computer Vision) jest ważnym podobszarem sztucznej inteligencji. Jej stosowanie w różnych gałęziach przemysłu, takich jak przemysł spożywczy, farmaceutyczny, motoryzacyjny, lotniczy czy kolejowy sięga wczesnych lat 70-tych. Do lat 90-tych, tylko kilka metod wizji komputerowej było stosowanych w przemyśle produkcyjnym z powodu ograniczonych możliwości obliczeniowych. W ostatnich latach rozwój tej dyscypliny przyspieszył dzięki gwałtownemu rozwojowi głębokiego uczenia.
Dane z 2021 opracowane przez IBM pokazują, że aż 51% procent globalnego rynku wizji komputerowej ulokowany jest w przemyśle. Nie jest dlatego zaskoczeniem, że technologia ta znajduje się wśród 10 najistotniejszych technologii w branży wytwórczej.
Rys. 1. 10 kluczowych technologii pomagających producentom osiągać cele biznesowe (aitransition.com)
Zadania wizji komputerowej
Celem wizji komputerowej jest generowanie symbolicznego opisu tego, co znajduje się na obrazie. Wyodrębnione informacje mogą być następnie wykorzystane do sterowania różnymi operacjami w procesie. Istnieje wiele zadań i algorytmów w dziedzinie wizji komputerowej, takich jak detekcja, rozpoznawanie, czy segmentacja. Poniżej przedstawiam kilka wybranych zagadnień, które mają szerokie zastosowanie w wielu dziedzinach.
Klasyfikacja obrazów
Klasyfikacja obrazów to zadanie, w którym program komputerowy może rozróżnić „klasę”, do której obraz należy (np. klasyfikacja zdjęcia produktu jako prawidłowy lub uszkodzony). Wczesne klasyfikacje obrazów opierały się na surowych danych pikselowych. Oznaczało to, że program dzielił obrazy na pojedyncze piksele. Problem polega na tym, że dwa obrazy tego samego przedmiotu mogą wyglądać zupełnie inaczej. Mogą mieć różne tła, kąty, pozy, itp. To stanowiło wyjątkowe wyzwanie dla dokładnego analizowania i klasyfikowania obrazów (Kaur et al., 2021). Obecnie do klasyfikacji obrazów stosuje się między innymi konwolucyjne sieci neuronowe.
Segmentacja obiektów
Segmentacja obrazu to metoda wizji komputerowej, która dzieli cyfrowy obraz na odrębne grupy pikseli, nazywane segmentami obrazu. Poprzez rozłożenie złożonych informacji wizualnych na unikalnie segmenty, technika ta umożliwia szybsze i bardziej zaawansowane przetwarzanie obrazu.
Przykładem segmentacji obiektów przy użyciu wizji komputerowej jest zastosowanie algorytmu Mask R-CNN (Regional Convolutional Neural Network) do identyfikacji i segmentacji wielu instancji różnych obiektów w obrębie obrazu. Sieć neuronowa jest trenowana na zbiorze danych z obrazami zawierającymi odpowiednie maski obiektów i może być następnie używana do przewidywania masek dla obiektów na nowych obrazach.
Wykrywanie i rozpoznawanie obiektów
Celem detekcji obiektów jest wykrywanie na obrazie wielu instancji obiektów z jednej lub kilku znanych klas, takich jak ludzie czy samochody (Amit et al., 2021). Jest to jedno z fundamentalnych zagadnień w aplikacjach wizji komputerowej. Może wspierać proces kontroli jakości w produkcji poprzez wykrywanie danego obiektu na obrazie i decydowanie, czy inspekcja została wykonana prawidłowo czy nie. Może również dostarczać cennych informacji na temat zachowań ludzkich, na przykład poprzez wykrywanie aktywności pracowników w środowiskach przemysłowych. Ze względu na warunki oświetleniowe, znaczące różnice w punktach widzenia i postawach, tradycyjne metody mają pewne ograniczenia. Dlatego też dużo uwagi poświęca się stosowaniu metod uczenia głębokiego w celu opracowania stabilnego podejścia do detekcji obiektów (Wang et al., 2021).
Śledzenie obiektów
Śledzenie konkretnego obiektu lub wielu obiektów jest stosowane w nagraniach wideo i rzeczywistych interakcjach, na przykład w analizie zachowań ludzi. Jest to zadanie trudne ze względu na przesłonięcia, szybko poruszające się obiekty, czy interakcje między obiektami (Schulter et al., 2017).
Dotychczas opracowano szereg algorytmów różniących się między innymi stopniem zaawansowania, wydajnością, czy skutecznością. Jednym z popularnych algorytmów jest filtr Kalmana, który jest stosowany do przewidywania położenia obiektów na podstawie ich poprzednich ruchów, uwzględniając prędkość i przyspieszenie, co czyni go skutecznym w prostych scenariuszach. Warto też wymienić algorytm DeepSORT, który łączy filtr Kalmana z głęboką siecią neuronową do dokładniejszego śledzenia obiektów w czasie rzeczywistym, szczególnie w przypadku złożonych scenariuszy z przesłonami. Poszczególne algorytmy mają zastosowanie w różnych scenariuszach śledzenia obiektów, od prostych po bardziej zaawansowane aplikacje wymagające dokładności i efektywności.
Dodatkowe zagadnienia
Wykonanie powyższych zadań wiąże się z szeregiem procesów pośrednich, dzięki którym wydobywane są informacje, na podstawie których dokonujemy bardziej szczegółowej interpretacji obrazu. Do takich procesów możemy zaliczyć między innymi detekcję krawędzi czy ekstrakcję cech.
Detekcja krawędzi
Detekcja krawędzi polega na wyodrębnieniu konturu obiektów na tle obrazu. Znacząco redukuje ilość danych i filtruje niepożądane lub nieistotne informacje. Wyselekcjonowane dane są następnie wykorzystywane w przetwarzaniu obrazu np. do detekcji obiektów (Bhardwaj and Mittal, 2012). Technologia detekcji krawędzi zaczęła być badana w XX wieku, a do lat 60. ubiegłego wieku szybko się rozwijała. Od tego czasu znalazła szerokie zastosowanie w medycynie, przemyśle czy rolnictwie (Shou-Ming Hou et al., 2021).
Klasyczna technologia detekcji krawędzi dzieli się na technologię detekcji krawędzi na poziomie piksela oraz technologię detekcji krawędzi na poziomie podpikselowym. W technologii detekcji krawędzi na poziomie piksela główne techniki obejmują operatory różniczkowe, teorię genetyczną, morfologię, teorię rozmytą, itp. Z kolei w technologiach detekcji krawędzi na poziomie podpikselowym wykorzystuje się głównie rachunek macierzowy i interpolację. Technologia detekcji krawędzi na poziomie podpikselowym umożliwia precyzyjne określenie współrzędnych punktów krawędzi, dlatego przyciągnęła uwagę wielu badaczy i inżynierów w ostatnich latach (Shou-Ming Hou et al., 2021).
Ekstrakcja cech
Ekstrakcja cech to proces wyodrębniania istotnych cech lub wzorców z obrazu. Algorytmy wizji komputerowej mogą wykorzystać wyselekcjonowane informacje do określania obecności obiektów na obrazie. Na przykład, podczas identyfikacji zwierząt na obrazie, ekstrakcja cech pozwoli algorytmowi poszukiwać określonych cech takich jak kolor, kształt, rozmiar itp., co pomoże mu rozróżniać różne gatunki zwierząt. Innym zastosowaniem jest sterowanie autonomicznymi pojazdami. Ekstrakcja cech wykorzystywana jest do identyfikacji istotnych elementów na obrazie, takich jak piesi, znaki drogowe czy pojazdy.
Zastosowania wizji komputerowej w przemyśle produkcyjnym
Do kluczowych zagadnień przemysłowego zastosowania technologii wizji komputerowej możemy zaliczyć kontrolę jakości, monitorowanie procesu oraz naprowadzanie i sterowanie robotów. Potwierdzają to statystyki dotyczące występowania słów określających różne etapy produkcji w publikacjach badawczych z dziedziny wizji komputerowej (rys. 2). Wskazują one, że metody te są najczęściej stosowane są w inspekcji, produkcji oraz montażu. Warto również zwrócić uwagę na inne zastosowania, takie jak kontrola bezpieczeństwa czy zarządzanie magazynem.
Rys. 2. Statystyki dotyczące słów kluczowych różnych etapów produkcji w publikacjach badawczych z dziedziny wizji komputerowej (Zhou et al., 2023)
Bezpieczeństwo
Pracownicy w przedsiębiorstwach produkcyjnych są narażeni na doznanie obrażeń podczas wykonywania pracy. Monitorowanie przestrzegania zasad bezpieczeństwa przez pracowników jest często niewystarczające, ponieważ osoba odpowiedzialna może nie być w stanie skutecznie obserwować wielu ekranów jednocześnie. Wykorzystanie technologii widzenia komputerowego może skutecznie wykrywać problemy związane z zabezpieczeniami, tworzyć raporty na tablicach rozdzielczych oraz wysyłać powiadomienia. Istnieje również możliwość automatycznego generowania alertów w przypadku wypadku, dzięki czemu można natychmiast podejmować niezbędne działania. Na rys. 3 przedstawiono przykładowe zastosowanie wizji komputerowej do wykrywania środków ochrony osobistej.
Rys. 3. Detekcja środków ochrony osobistej (labelyourdata.com)
Wizja komputerowa w kontroli jakości
Kontrola jakości jest ważnym elementem produkcji, ponieważ wysokiej jakości produkty pozwalają minimalizować koszty i poprawiają reputację marki. Usterki powstałe w produkcie mogą wiązać się z koniecznością zatrzymania produkcji, którego koszty są bardzo wysokie, sięgające około 22 000 dolarów na minutę (encord.com). Do wad produkcyjnych możemy zaliczyć takie cechy jak niepożądane otwory, wklęsłości i zadrapania, korozję czy uszkodzenia wynikające z zmęczenia materiału. Obecne możliwości systemów wizyjnych pozwalają na detekcję usterek nawet bardzo drobnych elementów w czasie rzeczywistym (Yang et al., 2019). Dzięki tej technologii, możliwe jest uzyskanie skuteczności oceny jakości na poziomie powyżej 95%.
Podczas produkcji przemysłowej powstają również takie defekty jak pęknięcia. Znajdują tu zastosowanie algorytmy detekcji krawędzi, które są pomocne w identyfikacji typu tych defektów i precyzyjnym określeniu lokalizacji, co jest istotne dla operatorów przy ocenie jakości części (Shou-Ming Hou et al., 2021).
Rys. 4. Wykrywanie usterek w produkcji przy użyciu rzeczywistego uczenia głębokiego (Yang et al., 2019)
Zarządzanie magazynem
Tradycyjne zarządzenie magazynem opiera się na pracy manualnej, skanerach ręcznych i nawet systemach opartych na dokumentach papierowych, co związane jest z niską efektywnością, podatnością na błędy oraz wysokimi kosztami operacyjnymi. Systemy wizyjne pozwalają na pokonanie tych trudności. Wyposażając magazyn w kamery, sensory i zaawansowane algorytmy, przedsiębiorstwa uzyskują większą kontrolę nad ich stanem. Dzięki wizji komputerowej zakłady redukują czas poświęcony na poszukiwanie przedmiotów, ręczne skanowanie, minimalizują braki w zapasach i optymalizują przestrzeń magazynową (vimaan.ai).
Rys. 5. Zastosowanie wizji komputerowej w zarządzaniu magazynem (vimaan.ai)
Korzyści wynikające z zastosowania wizji komputerowej
Wizja komputerowa przynosi przemysłowi szereg korzyści. Jest wykorzystywana w automatyzacji procesów produkcyjnych i logistycznych poprzez rozpoznawanie i wykrywanie obiektów, co skraca czas wykonania zadań i redukuje koszty. Przyczynia się do poprawy jakości wyrobów dzięki dokładniejszej kontroli i szybszemu wykrywaniu defektów. Kolejną korzyścią jest optymalizacja zarządzania zapasami poprzez precyzyjne śledzenie stanu magazynów i minimalizację ryzyka braków oraz nadmiernych zapasów. Zwiększa bezpieczeństwo poprzez monitorowanie środowiska pracy i szybkie rozpoznawanie zagrożeń. Wreszcie, stosowanie wizji komputerowej zwiększa konkurencyjność poprzez zwiększenie wydajności, redukcję kosztów i poprawę jakości, umożliwiając firmom osiągnięcie przewagi na rynku.
Podsumowanie
Wizja komputerowa stanowi jedną z kluczowych technologii wspierających rozwój przemysłu na całym świecie. Technologia ta nie tylko zwiększają efektywność produkcji, ale także poprawiają jakość, bezpieczeństwo oraz zarządzanie produkcją i logistyką. Dzięki postępowi w głębokim uczeniu i nowoczesnym algorytmom, systemy wizyjne stają się nieodzownym narzędziem w procesach automatyzacji i optymalizacji w przemyśle. Jej rosnące znaczenie potwierdzają liczne badania i zastosowania praktyczne, czyniąc ją kluczowym elementem przyszłości produkcji przemysłowej.
Dr hab. inż. Szymon Skoneczny ma kilkunastoletnie doświadczenie w tworzeniu oprogramowania do celów naukowych i przemysłowych. Pracował dla renomowanych firm, w tym Siemens, Electricite de France oraz ArcelorMittal. Jego obszar działalności obejmuje również nauczanie i udział w projektach naukowych w instytucjach takich jak Akademia Górniczo-Hutnicza w Krakowie oraz Politechnika Krakowska. Jest autorem ponad 40 publikacji naukowych dotyczących symulacji komputerowych bioreaktorów, które ukazały się w cenionych czasopismach o międzynarodowym zasięgu. Ponadto współpracował przy projektach naukowych finansowanych ze środków Unii Europejskiej, koncentrujących się na wykorzystaniu komputerów dużej mocy.
Znajdź mnie na Linkedin.
Literatura
Amit, Y., Felzenszwalb, P., Girshick, R., 2021. Object Detection BT – Computer Vision: A Reference Guide, in: Ikeuchi, K. (Ed.), . Springer International Publishing, Cham, pp. 875–883. https://doi.org/10.1007/978-3-030-63416-2_660
Bhardwaj, S., Mittal, A., 2012. A Survey on Various Edge Detector Techniques. Procedia Technol. 4, 220–226. https://doi.org/https://doi.org/10.1016/j.protcy.2012.05.033
Kaur, P., Singh, S.K., Singh, I., Kumar, S., 2021. Exploring convolutional neural network in computer vision-based image classification, in: International Conference on Smart Systems and Advanced Computing (Syscom-2021).
Schulter, S., Vernaza, P., Choi, W., Chandraker, M., 2017. Deep network flow for multi-object tracking, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 6951–6960.
Shou-Ming Hou, Chao-Lan Jia, Ya-Bing Wanga, Mackenzie Brown, 2021. A Review of the Edge Detection Technology. Sparklinglight Trans. Artif. Intell. Quantum Comput. 1, 26–37. https://doi.org/10.55011/staiqc.2021.1203
Wang, D., Wang, J.-G., Xu, K., 2021. Deep Learning for Object Detection, Classification and Tracking in Industry Applications. Sensors. https://doi.org/10.3390/s21217349
Yang, J., Li, S., Wang, Z., Yang, G., 2019. Real-Time Tiny Part Defect Detection System in Manufacturing Using Deep Learning. IEEE Access 7, 89278–89291. https://doi.org/10.1109/ACCESS.2019.2925561
Zhou, L., Zhang, L., Konz, N., 2023. Computer Vision Techniques in Manufacturing. IEEE Trans. Syst. Man, Cybern. Syst. 53, 105–117. https://doi.org/10.1109/TSMC.2022.3166397
Strony internetowe
https://encord.com/blog/computer-vision-manufacturing
https://itransition.com/computer-vision/manufacturing
https://labelyourdata.com/articles/computer-vision-in-manufacturing