Calcolo che porta 3

La fotografia era limitata a immagini piatte e bidimensionali. Oggi, l’arte e la scienza dell’acquisizione delle immagini sono stimolate dall’ottica, dall’informatica e dall’elettronica, e gli ingegneri della Cornell stanno lavorando all’avanguardia dell’imaging 3D.

Suren Jayasuriya, uno studente laureato nel laboratorio di Alyosha Molnar, professore associato di ingegneria elettrica e informatica, sta sviluppando una fotocamera 3-D con sensori di immagine appositamente progettati che potrebbero portare ad applicazioni precedentemente inimmaginabili, dalle auto intelligenti all'imaging medico fino a immagini di grande impatto visivo. grafica computerizzata.

I sensori, costituiti da pixel in grado di rilevare sia l'intensità che l'angolo incidente della luce, possono rimettere a fuoco digitalmente una fotografia dopo aver scattato un'immagine, ottenere diverse viste prospettiche di una scena da un singolo scatto e calcolare una mappa di profondità dell'immagine.

A sostegno del lavoro, Jayasuriya ha recentemente ricevuto una borsa di studio Qualcomm Innovation Fellowship da 100.000 dollari per la sua proposta congiunta con Achuta Kadambi, uno studente di dottorato nel gruppo MIT Media Lab Camera Culture di Ramesh Raskar. La loro proposta si chiama "Nanofotografia: progettazione computazionale di sensori CMOS per immagini 3-D".

"La cosa interessante dei pixel sensibili all'angolo è che stanno innovando dal lato del rilevatore, per aiutare a motivare nuove applicazioni nella computer grafica e nella visione, dove diamo più dimensionalità ai nostri dati, a scapito del calcolo", ha detto Jayasuriya. "Ma con il modo in cui le cose stanno crescendo, con la Legge di Moore e [le unità di elaborazione grafica] e il calcolo parallelo, il calcolo sta diventando sempre meno un problema. L'era dei big data è arrivata. Ora, la questione è più come, quali dati presentiamo? a questi algoritmi per renderli più intelligenti?"

In altre parole, catturare un’immagine non significa più semplicemente scattare una foto. Si tratta di catturare un'immagine e utilizzare l'apprendimento automatico e il calcolo per postelaborare l'immagine, in un batter d'occhio.

Per il progetto Qualcomm, stanno lavorando su un sensore di profondità basato su una tecnica di imaging chiamata "tempo di volo", che è sempre più popolare e utilizzata, in particolare, nelle fotocamere Microsoft Kinect. L'imaging del tempo di volo misura il tempo impiegato dai fotoni per riflettere gli oggetti in una scena. I ricercatori stanno aggiungendo la codifica del tempo di volo per consentire al loro sistema di imaging di visualizzare la luce mentre viaggia attraverso una scena e di vedere dietro gli angoli. Catturando la luce in volo, i ricercatori possono realizzare una fotocamera che funziona – in modo efficace – a 1 miliardo di fotogrammi al secondo, attraverso calcoli di post-elaborazione.

I sensori di immagine pixel sensibili all'angolo sono realizzati con il cosiddetto processo CMOS (semiconduttore a ossido di metallo complementare), una tecnica di produzione di chip ben consolidata. Questo è uno dei vantaggi che Jayasuriya apporta al progetto; il suo consulente, Molnar, ha molti anni di esperienza nella progettazione di chip basati su CMOS per applicazioni di imaging, biomediche e radiofrequenza.

Il progetto di Jayasuriya e Kadambi è stato uno degli otto vincitori della Qualcomm Fellowship, su 146 candidati. Si divideranno il premio di $ 100.000.

Ricevi le notizie sulla Cornell direttamente nella tua casella di posta.