HDR 기능은 2~3가지의 노출 상태로 연속 촬영 후 사진을 합성하여 넓은 대역폭의 이미지를 만들어 내는 소프트웨어 기술로 스마트폰에서는 아이폰 OS 인 iOS4.1에 HDR 기능이 추가되어 화제가 되기도 했습니다.
HDR 기능은 최근의 디지털카메라에도 많이 채용되는 기능으로 정지된 피사체를 과다노출상태에서, 노출부족상태에서, 노출적정상태를 짧은 시간 연속 촬영한 뒤 소프트웨어적으로 합성처리하여 마치 사람의 눈으로 보듯 넓은 빛의 영역의 표현이 가능해집니다.
하지만 이것은 어디까지나 시간차 촬영을 하더라도 괜찮은 정지피사체에 가능한 처리 방식으로 동영상 HDR를 하기위해서는 기존에는 두개 카메라로 찍어 후처리를 하거나 해야 합니다. 만일 기존과 같은 크기의 단일 센서에서 이러한 것이 가능하려면, 센서기술은 물론 이를 실시간 처리해내기 위한 회로도 복잡하지게 되며 특히나 스마트폰같은 작은 이미지 센서가 요구되는 상황에서는 거의 불가능한 일입니다. 하지만 2012년 1월 23일 소니는 이러한 한계를 넘는 기술을 발표했습니다.(http://www.sony.co.jp/SonyInfo/News/Press/201201/12-010/index.html)
방법은 바로 화소센서를 2줄 마다 다른 노출로 촬영하여 실시간 합성해내는것입니다.
아래 설명 이미지를 참고하세요
그림에서 보듯 맨앞에 화소센서에서 각각 두줄 마다 L,S 로 노출반응한 화소들의 신호를 CMOS 센서 회로부에서 합성해내 기존의 영상처리 결과와 같은 방식으로 외부로 결과를 내보내는 흐름입니다.
이것이 어떻게 가능해진것인가?
이러한 것이 가능하게 된것은 적층형 구조로 획기적으로 향상된 회로 집적도에 있습니다. 소형화된 디지털카메라나 특히나 스마트폰같이 작은 크기를 가져야 하는 센서의 한계로 위와 같은 실시간 복잡한 처리를 하려면 많은 DSP 처리회로가 필요하지만 기존 센서는 화소센서와 처리회로를 단일 판에 넓게 만들어야 하다보니 센서크기의 제약이 많이 따랐으나 최근 소니는 화소센서와 센서회로를 겹쳐서 면적을 적게 만드는 적층형 센서를 (Stacked CMOS Sensor) 개발하게 되면서 부가적으로 이러한 기능들을 추가할 수 있게 되었다고 합니다.
위 그림에서 처럼 기존에는 단일 실리콘판위에 화소센서와 회로를 구성하다 보니 넓어지고 밑에 받쳐줄 지지 기반으로 구성하는 형태였는데 적층형 센서에서는 화소센서 밑에 회로기판을 겹쳐 만들어 낸다는 것이라고 합니다. 따라서 면적은 작게 유지 하면서도 많은 회로를 구성할 수 있게 된것입니다.
위 표를 보면 1/2.3 CMOS 센서크기에 45nm 공정 기술을 적용하게 되면 1600만 DSP Gate를 넣을 수 있데 된다는 것입니다. 이러한 이점은 큰 센서보다 작은 센서일때 의미가 있고 특히나 스마트폰에서 크기대비 많은 기능을 탑재한 CMOS 센서 구현이 가능해진다고 합니다.
그래서 소니는 이러한 기술을 먼저 스마트폰용으로 적용하고 차츰 일반 디지털카메라나 산업용으로 점차 넓혀 적용할 계획이라고 하는 군요.
동영상 HDR 외에도 적층형 센서로 높은 집적율로 인해 흰색 화소필터추가및 이를 위한 신호처리 회로(RGBW 코딩)를 추가함으로써 기존보다 어운둔곳에서도 노이즈가 적고 밝은 이미지 처리가 가능하다고 합니다.
이러한 개선된 적층형방식을 추가하면서도 생산비용은 더줄일 수 있다고 하고 기존 응용 제품을 만드는 메이커들에게는 변화없이 그대로 적용가능하여 확산에 별 어려움을 없을 것으로 보입니다.
이러한 동영상 HDR및 RGBW 기술을 적용한 센서의 실제 출시는 2012년 6월경 1/3.06 크기의 1300만 화소 적층형 센서에서 동영상HDR 기능 (RGBW 코딩포함)이 적용될 예정이라고 합니다.
소니의 HDR 동영상 적용 데모 영상입니다. 역광 상황이지만 실내와 밖의 어두운 부분도 선명해 집니다.
추가로 참고할 만한 HDR 동영상 입니다.
위 영상은 2대의 Canon 5D Mark II 가 2대 사용되었다고 합니다.
소니가 에릭슨으로 부터 소니에릭슨 지분 전체를 인수하면서부터 소니의 엑스페리아 스마트폰에 대한 기대가 컸었는데 이러한 획기적 카메라 기술을 통해 스마트폰에 카메라기술 차별화로 소니가 새로운 도약을 하게 되지않을까 하는 기대를 해봅니다.
HDR 비적용/적용 동영상 비교
출처) sony.co.jp
HDR 기능은 최근의 디지털카메라에도 많이 채용되는 기능으로 정지된 피사체를 과다노출상태에서, 노출부족상태에서, 노출적정상태를 짧은 시간 연속 촬영한 뒤 소프트웨어적으로 합성처리하여 마치 사람의 눈으로 보듯 넓은 빛의 영역의 표현이 가능해집니다.
하지만 이것은 어디까지나 시간차 촬영을 하더라도 괜찮은 정지피사체에 가능한 처리 방식으로 동영상 HDR를 하기위해서는 기존에는 두개 카메라로 찍어 후처리를 하거나 해야 합니다. 만일 기존과 같은 크기의 단일 센서에서 이러한 것이 가능하려면, 센서기술은 물론 이를 실시간 처리해내기 위한 회로도 복잡하지게 되며 특히나 스마트폰같은 작은 이미지 센서가 요구되는 상황에서는 거의 불가능한 일입니다. 하지만 2012년 1월 23일 소니는 이러한 한계를 넘는 기술을 발표했습니다.(http://www.sony.co.jp/SonyInfo/News/Press/201201/12-010/index.html)
방법은 바로 화소센서를 2줄 마다 다른 노출로 촬영하여 실시간 합성해내는것입니다.
아래 설명 이미지를 참고하세요
그림에서 보듯 맨앞에 화소센서에서 각각 두줄 마다 L,S 로 노출반응한 화소들의 신호를 CMOS 센서 회로부에서 합성해내 기존의 영상처리 결과와 같은 방식으로 외부로 결과를 내보내는 흐름입니다.
이것이 어떻게 가능해진것인가?
이러한 것이 가능하게 된것은 적층형 구조로 획기적으로 향상된 회로 집적도에 있습니다. 소형화된 디지털카메라나 특히나 스마트폰같이 작은 크기를 가져야 하는 센서의 한계로 위와 같은 실시간 복잡한 처리를 하려면 많은 DSP 처리회로가 필요하지만 기존 센서는 화소센서와 처리회로를 단일 판에 넓게 만들어야 하다보니 센서크기의 제약이 많이 따랐으나 최근 소니는 화소센서와 센서회로를 겹쳐서 면적을 적게 만드는 적층형 센서를 (Stacked CMOS Sensor) 개발하게 되면서 부가적으로 이러한 기능들을 추가할 수 있게 되었다고 합니다.
기존CMOS 센서에서 적층형 센서로 회로 영역이 커짐. sony 제공 이미지를 재구성하였습니다.
위 그림에서 처럼 기존에는 단일 실리콘판위에 화소센서와 회로를 구성하다 보니 넓어지고 밑에 받쳐줄 지지 기반으로 구성하는 형태였는데 적층형 센서에서는 화소센서 밑에 회로기판을 겹쳐 만들어 낸다는 것이라고 합니다. 따라서 면적은 작게 유지 하면서도 많은 회로를 구성할 수 있게 된것입니다.
출처) sony.co.jp 
위 표를 보면 1/2.3 CMOS 센서크기에 45nm 공정 기술을 적용하게 되면 1600만 DSP Gate를 넣을 수 있데 된다는 것입니다. 이러한 이점은 큰 센서보다 작은 센서일때 의미가 있고 특히나 스마트폰에서 크기대비 많은 기능을 탑재한 CMOS 센서 구현이 가능해진다고 합니다.
그래서 소니는 이러한 기술을 먼저 스마트폰용으로 적용하고 차츰 일반 디지털카메라나 산업용으로 점차 넓혀 적용할 계획이라고 하는 군요.
동영상 HDR 외에도 적층형 센서로 높은 집적율로 인해 흰색 화소필터추가및 이를 위한 신호처리 회로(RGBW 코딩)를 추가함으로써 기존보다 어운둔곳에서도 노이즈가 적고 밝은 이미지 처리가 가능하다고 합니다.
RGBW coding 기술 적용 비교 출처) sony.co.jp
이러한 개선된 적층형방식을 추가하면서도 생산비용은 더줄일 수 있다고 하고 기존 응용 제품을 만드는 메이커들에게는 변화없이 그대로 적용가능하여 확산에 별 어려움을 없을 것으로 보입니다.
이러한 동영상 HDR및 RGBW 기술을 적용한 센서의 실제 출시는 2012년 6월경 1/3.06 크기의 1300만 화소 적층형 센서에서 동영상HDR 기능 (RGBW 코딩포함)이 적용될 예정이라고 합니다.
소니의 HDR 동영상 적용 데모 영상입니다. 역광 상황이지만 실내와 밖의 어두운 부분도 선명해 집니다.
추가로 참고할 만한 HDR 동영상 입니다.
위 영상은 2대의 Canon 5D Mark II 가 2대 사용되었다고 합니다.
소니가 에릭슨으로 부터 소니에릭슨 지분 전체를 인수하면서부터 소니의 엑스페리아 스마트폰에 대한 기대가 컸었는데 이러한 획기적 카메라 기술을 통해 스마트폰에 카메라기술 차별화로 소니가 새로운 도약을 하게 되지않을까 하는 기대를 해봅니다.