Cum se folosește modulul de cameră esp32 pentru streaming video și recunoaștere facială

Există multe sisteme de identificare umană care utilizează semnături, amprente digitale, voce, geometrie a mâinilor, recunoașterea feței etc. pentru a identifica persoane, dar niciunul dintre ele nu poate detecta și recunoaște persoanele din zonele publice, cum ar fi aeroporturile, magazinele cu amănuntul și gările, cu excepția Sistem de recunoaștere a feței.

Sistemele de recunoaștere a feței pot fi utilizate nu numai în scopuri de securitate pentru a recunoaște persoanele din locuri publice, ci și pot fi utilizate în scopuri de prezență în birouri și școli.

În acest proiect, vom construi un sistem de recunoaștere a feței care utilizează ESP32-CAM, care va funcționa și ca sistem de securitate ESP32-CAM prin recunoașterea feței persoanelor neautorizate. ESP32-CAM este un modul de cameră foarte mic cu cipul ESP32-S. Folosind modulul ESP32-CAM putem construi un sistem de recunoaștere a feței fără a utiliza programări complexe și componente suplimentare. Recunoașterea feței se poate face și folosind camera Raspberry Pi și Pi folosind OpenCV.

Introducere în ESP32-CAM

Modulul AI-Thinker ESP32-CAM vine cu un cip ESP32-S, o cameră OV2640 de dimensiuni foarte mici și un slot pentru card micro SD. Slotul pentru card Micro SD poate fi utilizat pentru a stoca imagini preluate de pe cameră sau pentru a stoca fișiere. Acest modul ESP32-CAM poate fi utilizat pe scară largă în diverse aplicații IoT. Poate fi folosit ca sistem de detectare a feței în birouri, școli și alte zone private și poate fi folosit și ca monitorizare fără fir, identificare fără fir QR și multe alte aplicații IoT.

Modulul ESP32-CAM poate fi programat cu ESP-IDF sau cu Arduino IDE. Modulul ESP32-CAM are, de asemenea, mai mulți pini GPIO pentru conectarea hardware-ului extern. ESP32-CAM nu are un conector USB, deci pentru a programa modulul aveți nevoie de o placă FTDI.

Caracteristici:

• Cel mai mic modul 802.11b / g / n Wi-Fi BT SoC
• CPU de 32 biți cu putere redusă, poate servi și procesorului de aplicații
• Viteză de ceas de până la 160 MHz, putere de calcul sumară de până la 600 DMIPS
• SRAM încorporat de 520 KB, 4MPSRAM extern
• Suportă UART / SPI / I2C / PWM / ADC / DAC
• Suport camere OV2640 și OV7670, lampă flash integrată
• Suportă încărcare imagine Wi-Fi
• Suport card TF
• Suportă mai multe moduri de somn
• Embedded Lwip și FreeRTOS
• Suportă modul de operare STA / AP / STA + AP
• Suportă tehnologia Smart Config / AirKiss
• Suport pentru actualizări de firmware locale și la distanță de port serial (FOTA)

Specificații:

• SPI Flash: implicit 32Mbit
• RAM: 520KB SRAM + 4M PSRAM
• Suport TF Card: Max. 4G
• Interfață de asistență: UART, SPI, I2C, PWM
• Format de ieșire a imaginii: JPEG, BMP, GRAYSCALE
• Port IO: 9
• Gama de alimentare: 5V

Componente necesare

• ESP32-CAM
• Programator FTDI

Diagrama circuitului

Pentru a construi camera de securitate ESP32 CAM, avem nevoie doar de modulul camerei ESP32 și de programatorul FTDI pentru ao programa.

ESP32-CAM nu are un conector USB, deci aveți nevoie de un programator FTDI pentru a încărca codul în ESP32-CAM așa cum se arată în figura de mai sus. Pinul Vcc și GND al ESP32 este conectat cu pinul Vcc și GND al plăcii FTDI. Tx și Rx ale ESP32 sunt conectate cu Rx și Tx ale plăcii FTDI.

Notă: Înainte de a încărca codul, conectați IO0 la masă. IO0 determină dacă ESP32 este în modul intermitent sau nu. Când GPIO 0 este conectat la GND, ESP32 este în modul intermitent.

ESP32-CAM	Consiliul FTDI
3,3V	VCC
GND	GND
UOR	TX
UOT	RX

După programarea ESP32, am scos placa FTDI și am conectat modulul la sursa de alimentare de 3,3V folosind un regulator de tensiune 7805. Așa arată configurarea pentru streamingul video ESP32 cam:

Instalați placa ESP32 pe Arduino IDE

Aici ESP32-CAM este programat folosind Arduino IDE. Pentru asta, trebuie să instalăm suplimentul ESP32 pe Arduino IDE.

Pentru a instala placa ESP32 în IDE-ul dvs. Arduino, accesați Fișier> Preferințe

Acum copiați linkul de mai jos și lipiți-l în câmpul „ Adrese URL suplimentare ale administratorului de bord ” așa cum se arată în figura de mai jos. Apoi, faceți clic pe butonul „OK”:

https://dl.espressif.com/dl/package_esp32_index.json

Acum accesați Instrumente> Placă> Manager placi

În Board Manager căutați ESP32 și instalați „ESP32 by Espressif Systems“.

Codul serverului de cameră ESP32

Avem deja un exemplu de cod de streaming video ESP32 cam și recunoaștere facială. Deschideți exemplul ESP32 utilizând Fișier> Exemple> ESP32> Cameră și deschideți exemplul CameraWebServer.

Înainte de a încărca codul, trebuie să introduceți numele și parola Wi-Fi.

const char * ssid = "Nume WiFi"; const char * password = "Parola";

După aceea, definiți modulul camerei ESP. În cod, au definit 5 module de cameră, deci descomentați „CAMERA_MODEL_AI_THINKER” și comentați restul modulelor.

Pentru a încărca codul, conectați placa FDTI la laptop și selectați „ ESP32 Wrover Module ” ca placa dvs. De asemenea, modificați celelalte setări conform acestei imagini:

Înainte de a încărca codul, apăsați butonul de resetare ESP32 și apoi faceți clic pe butonul de încărcare.

Notă: Dacă primiți erori în timp ce încărcați codul, verificați dacă IO0 este conectat la GND și că ați selectat setările corecte în meniul Instrumente.

După încărcarea codului, deconectați pinul IO0 și GND. Apoi deschideți monitorul serial și schimbați viteza de transmisie la 115200. După aceea, apăsați butonul de resetare ESP32, acesta va imprima adresa IP ESP și numărul de port pe un monitor serial așa cum se arată mai jos.

Acum, pentru a accesa fluxul camerei, navigați la browserul dvs. și introduceți adresa IP ESP. Vă va duce la pagina de streaming. Pentru a porni videoclipul ESP32, faceți clic pe butonul „Start Stream” din partea de jos a paginii

Puteți schimba calitatea streamingului schimbând „ Rezoluția ” de pe pagina de streaming. De asemenea, puteți face clic pe imagini făcând clic pe butonul „ Rămâneți încă”, dar acest cod nu are opțiunea de a salva imaginile.

După testarea fluxului video acum, vom testa caracteristicile de detectare și recunoaștere a feței camului ESP32. Pentru aceasta, activați funcțiile de recunoaștere și detectare a feței din setări:

În primul rând pentru recunoașterea feței, trebuie să înregistrați o față. Vă puteți înscrie într-o față nouă făcând clic pe opțiunea „ Înscrieți fața”. Este nevoie de mai multe încercări pentru a salva fața. După salvarea feței, detectează fața ca subiect 0 și acum poate fi utilizată ca sistem de securitate prin recunoașterea feței.

Așa că așa se poate configura cu ușurință un modul de cameră ESP pentru streaming video și recunoaștere facială. Verificați imagini video mici de mai jos filmate de camera ESP32.

Codul complet este dat mai jos și poate fi descărcat și de aici.