360 파노라마 카메라의 시차(Parallax)

파노라마 사진을 촬영할 때 반드시 고려해야 하는 것이 시차(Parallax) 문제입니다. 360*180 파노라마를 촬영하는 분들이 사용하는 Cubicpan과 같은 파노라마 헤드(Panorama head)는 이 시차를 없애기 위한 목적의 장비입니다.

이 글에는 시차를 없앨 수 있는 무시차점(NPP : Non Parallax Point)를 찾기위한 방법이 기술되어 있는데, 어렵지는 않아도 꽤나 귀찮은 작업입니다. 그럼에도 불구하고, 이와 같은 방법이 필요한 것은 파노라마 사진을 정확히 촬영하려면 아래 사진들과 같이 무시차점을 중심으로 사진을 촬영해야 하기 때문입니다. (참고 : 파노라마사진의 원리와 촬영방법) 

하지만, 요즘 나오는 Gear360과 같은 일체형 360 카메라의 경우, 이것이 불가능합니다. 어안렌즈가 달린 두개의 카메라로 동시에 촬영하기 때문에 무시차점을 일치시킬 수 없기 때문입니다. 로드뷰나 구글 스트릿뷰에서 가끔 머리와 몸통이 따로 놀거나 아래와 같이 겹쳐져 보이는 것도, 모두 동일한 문제 때문에 발생하는 것입니다. 

이러한 시차 오류는 거리에 따라 달라집니다. 거리가 멀다면 거의 눈에 띄지 않지만, 거리가 가까울수록 오류가 크게 나타납니다. 

그런데... 이런 시차 오류가 얼마나 크게 발생할까요? 사실 예전부터 궁금했는데, 이번에 기어360을 사용해서 Cupix.com의 자동360VR을 만드는 서비스를 테스트해보다 보니 좀더 정확히 파악하고 싶어졌습니다.

기어360 등의 360 액션캠은 모두 화각이 180도 이상되는 어안렌즈(fish-eye)를 사용하고 있습니다. 이 어안렌즈의 기하학적인 원리는 영문 위키백과 Fish-eye 문서중 Mapping Function을 보시면 되는데, 저는 그냥 이해하기 쉽도록 equidistant 모델을 사용하는 걸로 가정하겠습니다. equidistant 모델은 카메라 렌즈에서 물체를 바라볼 때의 각도 차이와 사진상에 촬영되는 이미지의 거리와 비례하는 것을 말합니다.

즉, 카메라 정면에서 1도 차이가 사진상에 10pixel 차이가 난다고 가정하면, 45도 위치에 있는 물체든, 90도 위치에 있는 물체든 모두 1도 차이는 사진상에 10pixel 차이가 난다고 가정한다는 것입니다. (물론 이런 Mapping Function을 사용하는 어안렌즈가 오히려 드물고, 대부분 equisolidangle 방식을 사용한다고 합니다만...)  

그리고, 어안렌즈의 화각은 정확히 180도 이고, 위의 오른쪽과 같이 CMOS에 꽉차도록 촬영한다고 가정하겠습니다. 물론 어안렌즈의 화각은 모두 180도보다 크고, 꽉 차게 촬영할 지 좀 벗어나게 촬영할지는 카메라 메이커에 따라 달라지지만, 그냥 계산이 편하도록 이렇게 가정합니다. 

CMOS는 SONY IMX 377의 스펙을 참조하여, 4000x3000 픽셀짜리를 사용한다고 가정하겠습니다. 따라서 180도가 3000픽셀이므로 1도 차이가 약 16.7 pixel을 차지하는 셈이네요. 센서의 크기는 1/2.3" 입니다. 6.16x4.62mm 라니, 4.62mm에 3000 픽셀이 들어 있습니다.

다음으로 어안렌즈가 아래와 같이 배치되어 있다고 가정하겠습니다. 아래쪽에 있는 위치는 무시차점의 위치입니다. 원래 여기에 배치해야 하지만, 카메라의 구조상 d 만큼 벗어나게(앞으로 튀어나오게) 배치했다고 생각하겠습니다. 여기에서 계산하고자 하는 것은 이 거리 d와 중심에서 벗어난 각도 θ에 따라, 촬영된 각도의 차이 δ가 얼마나 발생하느냐 하는 것입니다. (두 카메라에서 벗어난 각도는 약간씩 다르고, 카메라 중심에서 물체까지의 거리도 조금 다르지만, d 가 S에 비해 상당히 작다고 가정하고 무시합니다.)

여기에서 d 는 대략 2cm 에서 4cm 정도로 두면 될 것 같습니다. 제가 이번에 여러 기기들을 가져와서 대충 재어본 결과입니다. (정확하지는 않습니다.)

이제 계산을 해보겠습니다. 다음은 d=20mm  일때, 즉 렌즈간 간격이 20mm 일 때의 각도오류입니다. 예를 들어, 아래 주황색 0.88 이란, 정면에서 50도 벗어난 곳에 1미터 지점에 있는 물체는 원래 촬영되어야 할 위치에서 0.88 도 벗어난 곳에 촬영된다는 의미입니다.

d	20
theta	100	200	500	1000	2000	5000	10000	50000
0	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
10	1.99	0.99	0.40	0.20	0.10	0.04	0.02	0.00
20	3.92	1.96	0.78	0.39	0.20	0.08	0.04	0.01
30	5.73	2.86	1.15	0.57	0.29	0.11	0.06	0.01
40	7.37	3.68	1.47	0.74	0.37	0.15	0.07	0.01
50	8.78	4.39	1.76	0.88	0.44	0.18	0.09	0.02
60	9.92	4.96	1.98	0.99	0.50	0.20	0.10	0.02
70	10.77	5.38	2.15	1.08	0.54	0.22	0.11	0.02
80	11.29	5.64	2.26	1.13	0.56	0.23	0.11	0.02
90	11.46	5.73	2.29	1.15	0.57	0.23	0.11	0.02

이것을 pixel 수로 환산하면 아래와 같습니다. 예를 들어, 정면에서 90도 방향으로 1 미터 떨어져 있는 물체는 양쪽 센서에 약 20 픽셀정도 차이난 위치에 촬영된다는 뜻입니다. 더 가까운 곳에 있는 물체들은 당연히 볼 필요도 없고, 적어도 5미터는 떨어져 있어야만 스티칭하는데 별 문제가 발생하지 않는다고 보아야겠네요.

픽셀수	3000		각도	180		1도당픽셀		16.67
theta	100	200	500	1000	2000	5000	10000	50000
0	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
10	33.16	16.58	6.63	3.32	1.66	0.66	0.33	0.07
20	65.32	32.66	13.06	6.53	3.27	1.31	0.65	0.13
30	95.49	47.75	19.10	9.55	4.77	1.91	0.95	0.19
40	122.76	61.38	24.55	12.28	6.14	2.46	1.23	0.25
50	146.30	73.15	29.26	14.63	7.32	2.93	1.46	0.29
60	165.40	82.70	33.08	16.54	8.27	3.31	1.65	0.33
70	179.47	89.73	35.89	17.95	8.97	3.59	1.79	0.36
80	188.08	94.04	37.62	18.81	9.40	3.76	1.88	0.38
90	190.99	95.49	38.20	19.10	9.55	3.82	1.91	0.38

d=40일 경우는 아래와 같습니다. 그냥 위의 표에 2배이니 구지 필요하지는 않겠지만요. ㅎㅎ

픽셀수	3000		각도	180		1도당픽셀		16.67
theta	100	200	500	1000	2000	5000	10000	50000
0	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
10	66.33	33.16	13.27	6.63	3.32	1.33	0.66	0.13
20	130.64	65.32	26.13	13.06	6.53	2.61	1.31	0.26
30	190.99	95.49	38.20	19.10	9.55	3.82	1.91	0.38
40	245.53	122.76	49.11	24.55	12.28	4.91	2.46	0.49
50	292.61	146.30	58.52	29.26	14.63	5.85	2.93	0.59
60	330.80	165.40	66.16	33.08	16.54	6.62	3.31	0.66
70	358.94	179.47	71.79	35.89	17.95	7.18	3.59	0.72
80	376.17	188.08	75.23	37.62	18.81	7.52	3.76	0.75
90	381.97	190.99	76.39	38.20	19.10	7.64	3.82	0.76

===

이상입니다. 흠... 계산은 계산이니까... 하긴 했습니다만, 이것말고도 고려할 요소가 많을 것 같은데... 싶네요~~ ㅠㅠ

민, 푸른하늘