User Tools

Site Tools


No ACL setup yet! Denying access to everyone.
en:edu:zmitac:ai:projects:idrecognition

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
en:edu:zmitac:ai:projects:idrecognition [2018/04/13 22:50] – [2. Realizacja, opis program] maribaj746en:edu:zmitac:ai:projects:idrecognition [2018/04/13 23:20] (current) – [2.3 Video MRZ Recognition] maribaj746
Line 13: Line 13:
  
 ====2.1 Start Training ==== ====2.1 Start Training ====
-Uczenie Nadzorowane - jest to funkcja, której zadaniem jest wygenerowanie niezbędnych  plików dla klasyfikatora **KNN** (pliki z tablicą binarną znaku //„generalresponses.data”//, tablica znaków: //„generalsamples.data”//.)+Supervised learning- it is a function, that generate neccessary data for KNN classifier.
  
-**Algorytm działania:** +**Working algorithm:** 
 ^Step ^Description ^ ^Step ^Description ^
-| 1 | Wyświetl przygotowany przez użytkownika plik z danymi wzorcowymi (w naszym przypadku będzie to zbiór znaków zapisanych przy użyciu trzcionki ** OCR-B**. W pliku każdy znak jest zapisany kilka razy w rożnych rozmiarach.{{:en:edu:zmitac:ai:projects:train_1.png?nolink|}}| +| 1 | Shows file prepared by user which contains pattern data (characters are written using OCR-B font). In this file every character is prepared several time in a different size.{{:en:edu:zmitac:ai:projects:train_1.png?nolink|}}| 
-|2|Funkcja nakłada niezbędne filtry na plik z danymi:<code python> +|2|Function put some neccessary filters on file with data:<code python> 
 gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)  gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY) 
 blur = cv2.GaussianBlur(gray, (5, 5), 0)  blur = cv2.GaussianBlur(gray, (5, 5), 0) 
 thresh = cv2.adaptiveThreshold(blur, 255, 1, 1, 11, 2) thresh = cv2.adaptiveThreshold(blur, 255, 1, 1, 11, 2)
-</code>W wyniku czego uzyskujemy:{{:en:edu:zmitac:ai:projects:train_2.png?nolink|}}| +</code>In result we get:{{:en:edu:zmitac:ai:projects:train_2.png?nolink|}}| 
-|3 |Następnie funkcja wyszukuje znaki, wycina oraz skaluje do rozmiaru 20x20:<code python>+|3 |In the next step function find characters, crop and scale it to size 20x20 pixels:<code python>
 image, contours, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) image, contours, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
 for cnt in contours: for cnt in contours:
Line 33: Line 33:
             roi = thresh[y:y + h, x:x + w]             roi = thresh[y:y + h, x:x + w]
             roismall = cv2.resize(roi, (20, 20))             roismall = cv2.resize(roi, (20, 20))
-</code>W wyniku czego otrzymujemy obraz znaku 20x20:{{ :en:edu:zmitac:ai:projects:train_char_1.png?nolink |}}{{ :en:edu:zmitac:ai:projects:train_char_2.png?nolink |}}| +</code>In result we get 20x20 picture:{{ :en:edu:zmitac:ai:projects:train_char_1.png?nolink |}}{{ :en:edu:zmitac:ai:projects:train_char_2.png?nolink |}}| 
-|4 |Następnie Użytkownik jest proszony o wpisanie na klawiaturze jaki to znak. Po tej operacji obraz oraz numer znaku jest zapisywany w tablicy pamięci programu. | +|4 |In the last step user is obligate to show computer what this letter is, writing it on keyboard. After this operation picture and the letter number is push to array in application memory. | 
-|5 |Po klasyfikacji wszystkich znaków tablice danych są zapisane na dysku <code python>+|5 |When all characters are classified the arrays were save in drive <code python>
 np.savetxt('generalsamples.data', samples) np.savetxt('generalsamples.data', samples)
 np.savetxt('generalresponses.data', responses) np.savetxt('generalresponses.data', responses)
 </code>| </code>|
 ====2.2 Verify Engine ==== ====2.2 Verify Engine ====
-Testowanie i weryfikacja „nauczenia Sieci+Testing and verification "knowledge level" of our neural network
 ^Step ^Description ^ ^Step ^Description ^
-| 1 |Inicjujemy Silnik sieci oraz ładujemy dane uczące: <code python>+| 1 |We initialize engine and load data to learning: <code python>
 self.samples = np.loadtxt("generalsamples.data", np.float32) self.samples = np.loadtxt("generalsamples.data", np.float32)
 self.responses = np.loadtxt("generalresponses.data", np.float32) self.responses = np.loadtxt("generalresponses.data", np.float32)
Line 48: Line 48:
 self.model.train(self.samples, cv2.ml.ROW_SAMPLE, self.responses) self.model.train(self.samples, cv2.ml.ROW_SAMPLE, self.responses)
 </code>| </code>|
-| 2 |Funkcja lądujemy obrazek z danymi testowymi. {{ :en:edu:zmitac:ai:projects:verify_1.png?nolink |}}w/w obrazek  został przygotowany do testu pozytywnego (zakładamy że wszystkie znaki powinny być odczytane prawidłowo. Można w pliku do testu zapisać dane inna czcionka tak aby zweryfikować czy silnik „nie rozpoznaje” lecz w wielu Trzcionkach pewne znaki mogą zostać zinterpretowane prawidłowo. Nasz zespół skupił się na „porawidłowym” odczycie tylko i wyłącznie trzcionki OCR-B (tylko ta trzcionak występuje w dowodach osobistych MRZ)| +| 2 |Function load picture with test data. {{ :en:edu:zmitac:ai:projects:verify_1.png?nolink |}}Picture above was prepared to pass the test with 100% accuracy. It is possibility to use in test data wrote in different font and verify how engine deal with this kind of data. It is possibility to positive interprate some characters in most of available font. Our team focus only on OCR-B font because it is used in ID card| 
-| 3 |Nakładamy niezbędne filtry | +| 3 |We put necessary filters | 
-| 4 |Na podstawie konturów extraktujemy pojedyncze linie (uwaga sprawdzamy czy są rozpoznane 3 linie (obligatoryjnie dowód posiada 3) i listę z parametrami położenia linii, w innym przypadku zwracamy None.<code python>+| 4 |Based on contours we extract single lines. We have to check that our application recognize 3 lines and if not we return "false".<code python>
 ef extract_lines(self, image): ef extract_lines(self, image):
     line_list = {}     line_list = {}
Line 73: Line 73:
         return None         return None
 </code>| </code>|
-| 5 |Wycinamy obrazki  każdej Lini na podstawie otrzymanych parametrów z extract_lines i przekazujemy je do funkcji OCR.<code python>+| 5 |We cut and extract pictures of each lines based on parameters from extract_lines function and we pass it to OCR function.<code python>
 def decode(self, image): def decode(self, image):
     if len(image) > 0 and image is not None:     if len(image) > 0 and image is not None:
Line 88: Line 88:
     return None     return None
 </code>| </code>|
-| 6 |Funkcja OCR extraktuje z każdej linii znak przy użyciu funkcji extract_chars_from_line: <code python>+| 6 |OCR function extract character from lines using extract_chars_from_line function: <code python>
 def extract_chars_from_line(self, image): def extract_chars_from_line(self, image):
     image, contours, _ = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)     image, contours, _ = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
Line 100: Line 100:
             lista_rect[x] = [x, y, w, h]             lista_rect[x] = [x, y, w, h]
     return sorted(lista_rect.items())     return sorted(lista_rect.items())
-</code> Następnie na podstawie zwróconych parametrów znaku funkcja OCR wycina obrazek, skaluje do rozmiaru 20x20 i przekazuje do Sieci KNN jako dane wejściowe. Jako informacje zwrotną sieć KNN zwraca kod rozpoznanego znaku. <code python>+</code> Next based on returned character parameters OCR function cut picture, scale it to 20x20 pixels and pass it to neural network as output data. As returned infromation network give as a code of recognized character. <code python>
 def validate(self, read_data): def validate(self, read_data):
     print "Read Data: %s" % read_data     print "Read Data: %s" % read_data
Line 126: Line 126:
     return Accuracy     return Accuracy
 </code>| </code>|
-| 7 |Zwrócony String w postaci tablicy 3 linii porównujemy z wzorce. Zliczamy znaki dobrze rozpoznane i znaki zle rozpoznane na tej podstawie wyliczamy Accuracy naszego silnika.<code python>+| 7 |Returned string in form of 3 lines array we compare with our prepared pattern. Counting all positive and negaive recognition we calculate accuracy of our engine.<code python>
 def validate(self, read_data): def validate(self, read_data):
     print "Read Data: %s" % read_data     print "Read Data: %s" % read_data
Line 153: Line 153:
 </code>| </code>|
 ====2.3 Photo MRZ Recognition ==== ====2.3 Photo MRZ Recognition ====
-Zadaniem tego Modul jest zdekodowanie strefy MRZ ze zrobionego zdjęcia. +This module is responsible for decoding MRZ zone from static picture. Algorithm works like this:
-Algorytm działania:+
 ^Step ^Description ^ ^Step ^Description ^
-| 1 | Program Włącza kamerę i wyświetla obraz, użytkownik robi zdjęcie naciskając klawisz „SPACE” , klawisz „q” zamyka program i wraca do głównego Menu:<code python>+| 1 | Application turn on camera and shows image, user are taking picture using 'space' on keyboard. The 'q' key turn off program and goes to main menu:<code python>
 def capture_process(self, cam): def capture_process(self, cam):
     cap = cv2.VideoCapture(cam)     cap = cv2.VideoCapture(cam)
Line 172: Line 171:
             break             break
 </code>| </code>|
-| 2 |Po zrobieniu zdjecia na obraz nakładane są niezbędne filtry a następnie obraz jest przekazany do funkcji oryginalny obraz oraz obraz z nałożonymi filtrami jest przekazany do funkcji locate_MRZ która to zlokalizuje i wekstraktuje strefę MRZ z dostarczonego zdjęcia. Funkcja filtr() - która lokalizuje strefe MRZ na dowodzie:<code python>+| 2 |When picture are taken necessary filters are put and picture is passing to function. Original picture and picture with filters is passed to locate_MRZ function which localize and extract MRZ from picture.Filtr() function which localize MRZ zone on ID:<code python>
 def filtr(self, image): def filtr(self, image):
     rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (13, 5))     rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (13, 5))
Line 203: Line 202:
     thresh[:, image.shape[1] - p:] = 0     thresh[:, image.shape[1] - p:] = 0
     return thresh         return thresh    
-</code> Wynik działania funkc: Na miało zaznaczone są zlokalizowane obszary tekstu: {{ :en:edu:zmitac:ai:projects:id_recognition_1.png?nolink |}} następnie ten obraz przekazujemy do funkcji locate_MRZ, która rzyjmuje że największy „bialy” obszar jest obszarem MRZ i na tej podstawie wycina dane ze zdjęcia oryginalnego (celowo zamaskowano nr dowodu) :<code python>+</code> Result of function: white places are the localized text area: {{ :en:edu:zmitac:ai:projects:id_recognition_1.png?nolink |}} Next step is to pass this picture to locate_MRZ function which assumes that the largest white place of them are the MRZ and based on that cut data from original picture:<code python>
 def locate_MRZ(self, _thresh, _oryginal): def locate_MRZ(self, _thresh, _oryginal):
     _oryginal = cv2.adaptiveThreshold(_oryginal, 255, 1, 1, 11, 2)     _oryginal = cv2.adaptiveThreshold(_oryginal, 255, 1, 1, 11, 2)
Line 218: Line 217:
         result = _oryginal[y:y + h, x:x + w].copy()         result = _oryginal[y:y + h, x:x + w].copy()
         return self.decode(result)          return self.decode(result) 
-</code>Wynik dziłania funkcji locate_MRZ:{{ :en:edu:zmitac:ai:projects:id_recognition_2.png?nolink |}}| +</code>Result of locate_MRZ function:{{ :en:edu:zmitac:ai:projects:id_recognition_2.png?nolink |}}| 
-| 3 | Takie zdjęcie przekazane jest do funkcji Decode() która wycina obrazki  każdej Lini na podstawie otrzymanych parametrów z extract_lines i przekazujemy je do funkcji OCR.<code python>+| 3 | This picture are passing to Decode function which cuts picture of every line based on returned parameters of extract_lines function and pass it to OCR function.<code python>
 def decode(self, image): def decode(self, image):
     if len(image) > 0 and image is not None:     if len(image) > 0 and image is not None:
Line 234: Line 233:
     return None     return None
 </code>| </code>|
-| 4 |Funkcja OCR extraktuje z każdej linii znak przy użyciu funkcji extract_chars_from_line: <code python>+| 4 |OCR function extract characters of every line using extract_chars_from_line function: <code python>
 def extract_chars_from_line(self, image): def extract_chars_from_line(self, image):
     image, contours, _ = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)     image, contours, _ = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
Line 246: Line 245:
             lista_rect[x] = [x, y, w, h]             lista_rect[x] = [x, y, w, h]
     return sorted(lista_rect.items())     return sorted(lista_rect.items())
-</code> Następnie na podstawie zwróconych parametrów znaku funkcja OCR wycina obrazek, skaluje do rozmiaru 20x20 i przekazuje do Sieci KNN jako dane wejściowe. Jako informacje zwrotną sieć KNN zwraca kod rozpoznanego znaku. <code python> def ocr(self, image):+</code> Next, based on returned character parameters, OCR function cuts picture, scale it to 20x20 pixels and pass it to KNN network as an input data. As an output information  network returns code of recognized character. <code python> def ocr(self, image):
     self.clear_folder('./log/ocr_img/')     self.clear_folder('./log/ocr_img/')
     result = ""     result = ""
Line 267: Line 266:
     return result     return result
 </code>| </code>|
-| 5 | Wynik jest zwracany na konsolę w formie tekstowej.|+| 5 | Result are printed to console.|
  
  
 ====2.3 Video MRZ Recognition ==== ====2.3 Video MRZ Recognition ====
-Zadaniem tego Modul jest zdekodowanie strefy MRZ „live” na podstawie strumienia danych z kamery dostarczanym w czasie rzeczywistym. Funkcja ta nie wymaga naciskania SPACE, wszystko dzieje się automatycznie i po wykryciu 3 linie w strefie MRZ dane zostają zdekodowane a wynik zostaje naniesiony na strumien danych wejsciowych.  Dekodowanie odbywa się dokładnie tak samo jak w 2.3 „Photo MRZ Recognition ” pkt 2-4+The task of this module is decoding  MRZ zone in 'live' mode based on data stream from camera in real time. This function doesn't require using a space bar on keyboard becuse everything are automatically decoded. When application found 3 lines on MRZ zone, data are decoded and result are passed to output data stream. Decoding are made in the same way as Photo MRZ Recogition option described above. Decoded information are shown in the left upper corner
  
 {{ :en:edu:zmitac:ai:projects:video_result.png?nolink&600 |}} {{ :en:edu:zmitac:ai:projects:video_result.png?nolink&600 |}}
en/edu/zmitac/ai/projects/idrecognition.1523652631.txt.gz · Last modified: by maribaj746