6.1 Feature Method

Feature의 구성

1. key point
   1. 이미지에서 feature 위치
2. descriptor
   1. feature 주위의 픽셀에 대한 정보를 설명하는 벡터
   2. 두 feature의 descriptor가 벡터공간에서 거리가 가깝다면 동일한 특징점

Feature 검출 기법

1. SIFT (Scale-Invariant Feature Transform)
   1. 가장 고전적인 방법
   2. 이미지 변환 중에 발생하는 조명, 스케일, 회전 등의 변화를 완전히 고려하지만 연산량이 매우 많음
   3. 일반 PC의 CPU는 SIFT 피쳐를 실시간으로 계산할 수 없어서 Localization 및 Mapping을 수행 할 수 없음 (GPU 가속을 사용하기도 함)
2. FAST keypoint
   1. 빠르게 계산할 수 있는 keypoint (= no descriptor)
   2. 방향성 X
3. ORB (Oriened FAST and Rotated BRIEF)
   1. FAST 검출기가 방향성을 갖지 않는 문제를 개선
   2. 매우 빠른 바이너리 descriptor BRIEF를 사용하여 전체 이미지 피쳐 추출을 크게 가속화

6.1.1 ORB Feature

• ORB Feature = ORB key point + ORB descriptor

  • 1단계 - ORB key point: FAST corner point extraction
    • 이미지에서 corner를 찾음
    • feature point들의 주요 방향은 ORB에 의해 계산
    • 회전 불변 속성은 BRIEF descriptor에 의해 계산
  • 2단계 - ORB descriptor: BRIEF descriptor
    • 1단계에서 추출한 특징점 위치의 주변 영역을 잘 표현하는 descriptor를 생성
    • ORB는 계산된 이전 방향 값을 활용하여 BRIEF를 개선

• FAST Key Point

  • gray 스케일의 명백한 변화를 감지하며 속도가 빠름
  • 어떤 위치에서의 픽셀 값이 이웃의 픽셀과 너무 다른 경우 (너무 밝거나 너무 어두우면) 모서리가 될 가능성이 크다고 인식
  • 다른 코너 감지 알고리즘에 비해 FAST는 픽셀의 밝기만 비교하면 되므로 매우 빠름
  • 프로세스

    1. 이미지 중심점 $p$에서의 밝기를 $I_p$로 가정

    2. threshold $T$를 설정 (예: $I_p$의 20%)

    3. 픽셀 $p$를 중심으로 반지름 3인 원주에서 16개의 픽셀 선택

       

    4. 선택된 원의 연속적인 $N$지점의 밝기가 $I_p+T$보다 크거나 $I_p-T$보다 작은 경우, 픽셀 $p$는 특징점 ($N$은 보통 12로 셋팅하며 FAST-12라고 함)

    5. 위의 네 단계를 반복하여 각 픽셀에 대해 동일한 작업을 수행

  • FAST-12 알고리즘에서는 효율성을 높이기 위해, 사전 테스트 작업을 추가하여 모서리가 아닌 대부분의 픽셀을 빠르게 제거 가능
    • 각 픽셀에 대해 인접 원 위의 1번째, 5번째, 9번째 및 13번째 픽셀의 밝기를 검사
    • 이 4 개의 픽셀 중 3개가 $I_p+T$보다 크거나 $I_p-T$보다 작은 경우에만 현재 픽셀이 꼭지점이 될 수 있음
    • 그렇지 않으면 후보군에서 제외
  • 기존 FAST corner는 같은 영역에 군집돼 있는 경우가 있는데, 초기 감지 후 특정 영역에서 maximum response만 보존하므로, corner 점 군집 문제를 피할 수 있음
  • 기존 FAST의 문제점 및 개선 (ORB 버전의 FAST의 탄생 배경)
    1. feature의 수가 많고 불확실
       • ORB에서는 추출할 모서리 점의 수 N을 지정하고 원래의 FAST 모서리 점에 대한 해리스 응답 값을 계산 한 다음, 가장 큰 응답 값을 가진 상위 N 모서리 점을 모서리 점의 최종 집합으로 선택
    2. 방향 정보가 없음
       • 반지름이 3인 원을 고정하기 때문에, 거리에 있어서 모서리 점처럼 보이고 뒤쪽에 가까울수록 모서리 점이 아닐 수 있음
       • ORB는 스케일(Scale)과 회전(Rotation)에 대한 descriptor를 추가함

         • Scale → image pyramid와 각 레이어의 corner point들을 활용

           

           • 각각의 레이어 업에 대해 이미지는 고정된 비율로 스케일링 됨
           • feature matching을 통해 서로 다른 레이어의 이미지를 일치시켜 scale invariance을 달성
           • 예를 들어 카메라가 뒤로 움직이면 이전 이미지 피라미드의 위층과 다음 이미지의 아래층에서 일치하는 것을 찾아야 함

         • Rotation →intensity centroid method 활용

           • 무게 중심 (centroid)은 이미지 블록의 무게 중심을 무게로 지칭

             1. 작은 이미지 블록 B에서 이미지 블록의 moment 정의

                

             2. moment에 의해 이미지 블록의 무게 중심(centroid) 계산

                

             3. 이미지 블록의 기하학정 중심 $O$를 중심 $C$와 연결하여 $\vec{OC}$를 얻고, 특징점의 방향을 다음과 같이 정의

                

           • 위의 방법을 통해 FAST 코너에는 scale 및 rotation에 대한 descriptor가 포함되어 있으므로, 서로 다른 이미지간 robustness를 크게 향상 → ORB에서는 이 향상된 FAST를 Oriented FAST라고 함