Come utilizzare il modulo fotocamera esp32 per lo streaming video e il riconoscimento facciale

Esistono molti sistemi di identificazione umana che utilizzano firme, impronte digitali, voce, geometria della mano, riconoscimento facciale, ecc. Per identificare le persone, ma nessuno di loro è in grado di rilevare e riconoscere le persone in aree pubbliche come aeroporti, negozi al dettaglio e stazioni ferroviarie ad eccezione del Sistema di riconoscimento facciale.

I sistemi di riconoscimento facciale possono essere utilizzati non solo per scopi di sicurezza per riconoscere le persone in luoghi pubblici, ma possono anche essere utilizzati per scopi di presenza in uffici e scuole.

In questo progetto, costruiremo un sistema di riconoscimento facciale utilizzando ESP32-CAM che funzionerà anche come sistema di sicurezza ESP32-CAM riconoscendo il volto di persone non autorizzate. ESP32-CAM è un modulo telecamera molto piccolo con il chip ESP32-S. Utilizzando il modulo ESP32-CAM possiamo costruire un sistema di riconoscimento facciale senza utilizzare alcuna programmazione complessa e componenti extra. Il riconoscimento facciale può essere eseguito anche utilizzando la fotocamera Raspberry Pi e Pi utilizzando OpenCV.

Introduzione a ESP32-CAM

Il modulo AI-Thinker ESP32-CAM viene fornito con un chip ESP32-S, una fotocamera OV2640 di dimensioni molto ridotte e uno slot per scheda micro SD. Lo slot per scheda Micro SD può essere utilizzato per memorizzare le immagini scattate dalla fotocamera o per memorizzare i file. Questo modulo ESP32-CAM può essere ampiamente utilizzato in varie applicazioni IoT. Può essere utilizzato come sistema di rilevamento dei volti in uffici, scuole e altre aree private e può anche essere utilizzato come monitoraggio wireless, identificazione wireless QR e molte altre applicazioni IoT.

Il modulo ESP32-CAM può essere programmato con ESP-IDF o con Arduino IDE. Il modulo ESP32-CAM ha anche diversi pin GPIO per collegare l'hardware esterno. L'ESP32-CAM non ha un connettore USB, quindi per programmare il modulo è necessaria una scheda FTDI.

Caratteristiche:

• Il più piccolo modulo SoC Wi-Fi BT 802.11b / g / n
• CPU a 32 bit a bassa potenza, può anche servire il processore dell'applicazione
• Velocità di clock fino a 160 MHz, potenza di calcolo riepilogativa fino a 600 DMIPS
• SRAM da 520 KB incorporata, 4MPSRAM esterna
• Supporta UART / SPI / I2C / PWM / ADC / DAC
• Supporta fotocamere OV2640 e OV7670, lampada flash incorporata
• Supporta il caricamento di immagini tramite Wi-Fi
• Supporta la carta TF
• Supporta più modalità di sospensione
• Lwip e FreeRTOS incorporati
• Supporta la modalità operativa STA / AP / STA + AP
• Supporta la tecnologia Smart Config / AirKiss
• Supporto per aggiornamenti firmware locali e remoti della porta seriale (FOTA)

Specifiche:

• Flash SPI: 32 Mbit predefinito
• RAM: SRAM 520KB + PSRAM 4M
• Supporto TF Card: max. 4G
• Interfaccia di supporto: UART, SPI, I2C, PWM
• Formato di output dell'immagine: JPEG, BMP, GRAYSCALE
• Porta IO: 9
• Gamma di alimentazione: 5V

Componenti richiesti

• ESP32-CAM
• Programmatore FTDI

Schema elettrico

Per costruire ESP32 CAM Security Camera, abbiamo solo bisogno del modulo ESP32 Camera e del programmatore FTDI per programmarlo.

ESP32-CAM non ha un connettore USB, quindi è necessario un programmatore FTDI per caricare il codice in ESP32-CAM come mostrato nella figura sopra. I pin Vcc e GND di ESP32 sono collegati con i pin Vcc e GND della scheda FTDI. Tx di e Rx di ESP32 è connesso con Rx e Tx della scheda FTDI.

Nota: prima di caricare il codice, collegare l'IO0 a terra. IO0 determina se ESP32 è in modalità lampeggiante o meno. Quando GPIO 0 è collegato a GND, ESP32 è in modalità lampeggiante.

ESP32-CAM	Consiglio FTDI
3,3V	VCC
GND	GND
UOR	TX
UOT	RX

Dopo aver programmato l'ESP32, ho rimosso la scheda FTDI e ho collegato il modulo all'alimentazione a 3,3 V utilizzando un regolatore di tensione 7805. Ecco come appare la configurazione per lo streaming video della cam ESP32:

Installa la scheda ESP32 su Arduino IDE

Qui ESP32-CAM è programmato utilizzando Arduino IDE. Per questo, dobbiamo installare l'add-on ESP32 su Arduino IDE.

Per installare la scheda ESP32 nel tuo IDE Arduino, vai su File> Preferenze

Ora copia il link sottostante e incollalo nel campo " URL Board Manager aggiuntivi " come mostrato nella figura sotto. Quindi, fai clic sul pulsante "OK":

https://dl.espressif.com/dl/package_esp32_index.json

Ora vai su Strumenti> Board> Boards Manager

In Board Manager cercare ESP32 e installare "ESP32 di Espressif Systems".

Codice del server web della telecamera ESP32

Abbiamo già un codice di esempio dallo streaming video della cam ESP32 e dal riconoscimento facciale. Aprire l'esempio ESP32 utilizzando File> Esempi> ESP32> Camera e aprire l'esempio CameraWebServer.

Prima di caricare il codice, è necessario inserire il nome e la password Wi-Fi.

const char * ssid = "WiFi Name"; const char * password = "Password";

Dopodiché, definisci il modulo telecamera ESP. Nel codice, hanno definito 5 moduli telecamera, quindi rimuovi il commento da "CAMERA_MODEL_AI_THINKER" e commenta il resto dei moduli.

Per caricare il codice, collega la scheda FDTI al tuo laptop e seleziona il " Modulo Wrover ESP32 " come scheda. Inoltre, modificare le altre impostazioni in base a questa immagine:

Prima di caricare il codice, premere il pulsante di ripristino ESP32 e quindi fare clic sul pulsante di caricamento.

Nota: se si verificano errori durante il caricamento del codice, verificare che IO0 sia connesso a GND e di aver selezionato le impostazioni corrette nel menu Strumenti.

Dopo aver caricato il codice scollegare il pin IO0 e GND. Quindi aprire il monitor seriale e modificare la velocità di trasmissione in 115200. Dopo di che, premere il pulsante di ripristino ESP32, stamperà l'indirizzo IP ESP e il numero di porta su un monitor seriale come mostrato di seguito.

Ora per accedere allo streaming della telecamera, vai al tuo browser e inserisci il tuo indirizzo IP ESP. Ti porterà alla pagina di streaming. Per avviare lo streaming video della cam ESP32, fare clic sul pulsante "Avvia streaming" nella parte inferiore della pagina

È possibile modificare la qualità dello streaming modificando la " Risoluzione " nella pagina dello streaming. Puoi anche fare clic sulle immagini facendo clic sul pulsante " Get Still" ma questo codice non ha l'opzione per salvare le immagini.

Dopo aver testato lo streaming video ora testeremo le funzionalità di rilevamento e riconoscimento dei volti della cam ESP32. Per questo, attiva le funzioni di riconoscimento e rilevamento dei volti dalle impostazioni:

Per prima cosa, è necessario registrare un volto. Puoi iscriverti a un nuovo volto facendo clic sull'opzione " Iscrivi volto". Ci vogliono diversi tentativi per salvare la faccia. Dopo aver salvato il viso rileva il viso come soggetto 0 e ora può essere utilizzato come sistema di sicurezza riconoscendo il viso.

Ecco come un modulo telecamera ESP può essere facilmente configurato per lo streaming video e il riconoscimento facciale. Controlla le piccole riprese video sotto scattate dalla fotocamera ESP32.

Il codice completo è fornito di seguito e può anche essere scaricato da qui.