Nowa era nocnych zdjęć dzięki… Apple? Sprawdźmy, czym jest DarkDiff

Apple szykuje rewolucję w zdjęciach nocnych? Nowy model AI o nazwie DarkDiff ma sprawić, że fotki w ciemności będą wyglądać jak z profesjonalnego aparatu — a przynajmniej taki jest zamysł. Co udało się zrobić Amerykanom, że może to odmienić mobilną fotografię?

Robienie zdjęć w nocy smartfonem to nierzadko loteria, która często kończy się na tym, że zamiast wyraźnych detali, dostajemy papkę przypominającą obraz olejny. Apple wraz z badaczami z Purdue University chce to zmienić. Opracowali oni model DarkDiff, który wykorzystuje sztuczną inteligencję w zupełnie nowy sposób. O co dokładnie chodzi i czy zobaczymy to w naszych iPhone’ach?

Apple i DarkDiff AI, czyli koniec z szumem cyfrowym?

Do tej pory algorytmy po prostu wygładzały szum, co niszczyło detale, ale Apple podchodzi do tego inaczej. Mowa tutaj o wykorzystaniu modelu dyfuzyjnego, podobnego do popularnego Stable Diffusion, wytrenowanego na ogromnych zbiorach danych. Co ciekawe, AI nie działa na gotowym zdjęciu, ale wkracza do akcji znacznie wcześniej, bo już na etapie przetwarzania surowych danych RGB, współpracując z tradycyjnym procesorem obrazu. System analizuje kontekst całego ujęcia i domyśla się, co powinno znajdować się w ciemnych plamach, zamiast tylko rozmywać piksele.

Efekty w testach są imponujące, gdyż zdjęcia zrobione przy ekstremalnie krótkim czasie naświetlania (m.in. aparatem Sony A7SII) porównywano z referencyjnymi ujęciami ze statywu i DarkDiff radził sobie świetnie z odzyskiwaniem kolorów. Zastosowano tu mechanizm uwagi, który ma zapobiegać halucynacjom AI, czyli wymyślaniu obiektów, których tam nie ma. To brzmi jak prawdziwy przełom w fotografii mobilnej, na który czekaliśmy.

Jest jednak pewien haczyk. Kiedy trafi do iPhone’a?

Niestety nie ma róży bez kolców, bo ta technologia jest niezwykle wymagająca obliczeniowo. Przetwarzanie trwa długo i pożera mnóstwo energii, co w przypadku smartfona jest kluczowe, a badacze wskazują też na problemy z rozpoznawaniem tekstu w innych językach. Wymagałoby to zapewne wsparcia chmury, co rodzi kolejne problemy z opóźnieniami.

Na ten moment nie ma oficjalnych informacji, że DarkDiff trafi do najbliższej generacji iPhone’ów. To raczej pokaz możliwości i kierunku, w którym zmierza Apple. Wygląda na to, że w czasach, gdy fizyka ogranicza miniaturowe obiektywy, to właśnie zaawansowane algorytmy będą grały pierwsze skrzypce w walce o klienta.

Źródło: 9To5Mac, opracowanie własne