Grupowanie pikseli odnosi się do procesu łączenia wartości odczytanych z sąsiednich pikseli na obrazie po jego przechwyceniu. Kategoryzacja polega na dodaniu ładunków elektrycznych zebranych przez sąsiednie piksele tego samego koloru i odczytaniu ich jako pojedynczego symulowanego piksela. W warunkach słabego-oświetlenia poprawia to czułość aparatu i jasność obrazu. Jednak wady są równie oczywiste: po połączeniu pikseli rozdzielczość obrazu ulega znacznemu zmniejszeniu, a tego-kompromisu w dużej mierze nie da się uniknąć.
Opcja „Utrata szczegółów”-wyłączona
Dzisiejsze główne technologie łączenia pikseli obejmują łączenie pikseli 4 w 1, 9 w 1, a nawet 16 w 1. Wśród nich najpowszechniej stosowanym rozwiązaniem jest łączenie pikseli w grupy 4 w 1.
Zasadniczo łączenie pikseli w grupy nadal w dużym stopniu opiera się na przetwarzaniu obliczeniowym. Łączy cztery lub więcej sąsiednich pikseli w większy „wirtualny piksel” poprzez rekonstrukcję algorytmiczną. Teoretycznie ten większy piksel zachowuje się jak piksel-o normalnej wielkości ze standardowymi odstępami, co poprawia czułość na światło i redukuje szumy obrazu.
Na przykładzie stosunkowo prostego rozwiązania 4 w 1 technologia ta jest również znana jakoQuad Bayera.
Technologia Quad Bayera
W pojedynczym cyklu ekspozycji technologia Quad Bayer kontroluje czas ekspozycji każdej światłoczułej jednostki w tym samym obszarze, umożliwiając dwie ekspozycje w nawiasie w konfiguracji L+L+S+S. W praktyce oznacza to, że funkcjonalność-podobną do HDR można uzyskać już na poziomie czujnika CMOS.
Zestaw filtrów kolorów Quad Bayer firmy Sony po raz pierwszy pojawił się na rynku wHuawei P20 Pro, wydany 27 marca 2018 r.
W porównaniu z tradycyjnym układem Bayer struktura układu Quad Bayer jest zupełnie inna. Kiedy cztery piksele zostaną połączone w jeden większy „wirtualny piksel”, te większe piksele skutecznie odtwarzają wzór konwencjonalnej matrycy firmy Bayer. Po połączeniu pikseli rozdzielczość obrazu zmniejsza się o około 75%. Na przykład czujnik 48 MP skutecznie generuje obraz o rozdzielczości 12 MP po podzieleniu na grupy 4 w 1.
Innym sposobem zrozumienia Quad Bayer jest to, że zasadniczo dzieli on każdy tradycyjny piksel Bayera na cztery mniejsze jednostki, co pozwala na bardziej wyrafinowane przechwytywanie i przetwarzanie światła.
Tradycyjny Bayer kontra Quad Bayer
Konwencjonalna macierz Bayera składa się z:
- 50% zielonych pikseli
- 25% Czerwonych pikseli
- 25% Niebieskie piksele
Gdy Quad Bayer działa bez łączenia pikseli w grupy w normalnych warunkach oświetleniowych, zaawansowane algorytmy rekonstrukcji mogą w dalszym ciągu uzyskać próbkowanie pełnego-koloru, równoważnego tradycyjnej matrycy Bayer w tym samym obszarze czujnika:
- 50% zielonych
- 25% koloru czerwonego
- 25% Niebieski
Dlaczego segregowanie pikseli stało się popularne w smartfonach
Binning pikseli to przede wszystkim technologia obrazowania smartfonów. Funkcje takie jak bezpośrednie przesyłanie obrazu, przetwarzanie HDR i fotografia obliczeniowa to główne zalety smartfonów w porównaniu z tradycyjnymi aparatami.
W odpowiednich warunkach oświetleniowych tryby Quad Bayer rzeczywiście mogą w pewnym stopniu poprawić efektywną rozdzielczość. Jednak w porównaniu z konwencjonalnymi matrycami firmy Bayer poprawa zakresu dynamiki jest często bardziej zauważalna.
W rzeczywistości łączenie pikseli w grupy przenosi tradycyjne techniki-przetwarzania końcowego, takie jak układanie ekspozycji, do samego etapu przechwytywania obrazu. W warunkach słabego-oświetlenia rezygnuje z rozdzielczości, aby zrekompensować niewystarczające spożycie światła.
Chociaż nie można jednocześnie maksymalizować ultra-wysokiej rozdzielczości i ultra-zakresu dynamicznego, łączenie pikseli w grupy stanowi praktyczny kompromis dokonany przez producentów czujników smartfonów w ramach stałych ograniczeń rozmiaru fizycznego czujników CMOS.
Binning pikseli a przesunięcie pikseli
Zanim wiele osób dowiedziało się o łączeniu pikseli w grupy, mogło słyszeć o innej technologii obrazowania zwanejPrzesunięcie pikseli.
Funkcja Pixel Shift działa poprzez przesuwanie czujnika obrazu z sub-pikselową precyzją pomiędzy ekspozycjami. Dzięki temu każda pozycja piksela może przechwycić pełną informację o kolorach RGB, przezwyciężając ograniczenia spowodowane układem filtrów kolorów Bayer.
Łączenie pikseli w grupy i przesunięcie pikseli to zasadniczo różne pojęcia.
Funkcja Pixel Shift poprawia ogólną szczegółowość obrazu i stosunek sygnału-do-szumu poprzez nadpróbkowanie, dzięki czemu każdy piksel zawiera pełną informację RGB.
Z drugiej strony łączenie pikseli w grupy polega na łączeniu wielu pikseli w celu poprawy czułości na światło i-działania przy słabym oświetleniu, zwykle kosztem rozdzielczości obrazu.
Różne podejścia do obrazowania mobilnego
Niektórzy producenci wybrali inny kierunek, utrzymując rozdzielczość czujników w przedziale od 10 do 20 MP, zamiast agresywnie dążyć do ultra-wysokiej liczby megapikseli.
Na przykład zarówno Google, jak i Apple przez wiele lat korzystały z czujników CMOS o rozdzielczości 12 MP. Firma Apple używała czujnika 12 MP od iPhone'a 6s do iPhone'a z serii 13, a fotografia obliczeniowa Google i technologie podobne do Pixel Shift-pomogły stworzyć jedne z najsilniejszych w branży systemów smartfonów z jednym-aparatem, takie jak Google Pixel 3.
Jak na ironię, producenci, którzy nie promowali zbyt-bardzo dużej liczby megapikseli ani wyjątkowo dużych czujników, często byli tymi, którzy wynieśli fotografię smartfonów na nowy poziom.
