사다리꼴 안감이 있는 서랍함의 자동 이미지 복구 기술 및 그 응용

Mar 31, 2023

메시지를 남겨주세요

이미지는 인간이 외부 세계에서 얻는 주요 정보원입니다. 이미지가 있기 때문에 깨진 이미지를 복구하는 기술도 있습니다. 인페인팅 이미지 복원 기술은 고대 예술입니다. 유럽 르네상스 시대에는 예술 작품의 전체적인 효과를 유지하면서 유실되거나 훼손된 부분을 복원하기 위해 사람들은 예술 작품을 수리하기 시작했는데 주로 작품의 갈라진 틈이나 베인 부분을 메우기 위한 것이었고, 이러한 작업을 인페인팅이라고 합니다.

오늘날 이미지 인페인팅 복구 기술은 이미지 엔지니어링 분야에서 새로운 활성 연구 방향이 되었습니다. 그 목적은 이미지의 손상된 부분의 감지를 더 잘 구현하는 방법을 연구하고 해결하고 손상된 이미지 주변의 효과적인 정보에 따라 이미지 복구 알고리즘으로 손상된 부분을 자동으로 복원하는 것입니다. Photoshop과 같은 일부 강력한 디지털 이미지 처리 소프트웨어는 전문적인 특수 효과 처리 및 손상된 이미지의 복구 처리를 수행할 수 있지만 숙련된 기술자가 복잡한 수동 처리를 수행해야 하므로 "컴퓨터 지능" 자동의 목적을 달성할 수 없습니다. 처리.

먼저 이미지 복구의 예를 살펴보겠습니다. 그림 1(b)는 "@"와 같은 문자 기호의 일부가 장애물에 의해 가려진 것을 보여줍니다. 사람들의 시각적 경험에 따라 가려진 물체의 모양과 주변 이미지 정보를 참조하여 장애물을 제거한 후 그림 1(a)와 같은 문자 또는 그림 1(c)와 같은 문자로 추측 판단합니다. 나타날 수 있으며 그림 1(a) 및 그림 1(c)의 복구 결과가 정확할 수 있습니다. 컴퓨터 이미지 인페인팅 기술은 인간의 시각적 심리의 관점에서 이 효과를 시뮬레이션합니다. 가리고자 하는 물체의 모서리 정보에 따라 확장과 확산을 통해 일정한 방향으로 경계를 연결하고 가려진 부분을 채우며 시각적 연결성을 이룬다. 물론 이미지의 손상 정보의 크기(장애물의 크기)도 사람의 시각적 연결성 판단에 직접적인 영향을 미친다는 것을 그림에서도 알 수 있다. 수학적 관점에서 손상된 이미지에 대한 정보가 부족한 경우 이미지 복구 결과가 고유하지 않은 현상은 병리학적 문제이므로 이미지 인페인팅 기법도 컴퓨터 비전 이론에 기반을 둘 필요가 있습니다. 이 문제는 특정 가정을 가진 제한된 설계 수리 알고리즘으로 해결됩니다.

베이지안 구조 시스템에 따르면 불완전하고 변형된 데이터에서 얻은 완벽한 이상 이미지는 모의 인간 눈 복원 이미지에 의해 만들어진 "최선의 가설" 또는 "최상의 추측"을 기반으로 합니다. 이 "최선의 가설"은 다음 두 가지 중요한 요소를 기반으로 합니다.

1. 이미지 데이터 모델: 원본 이미지의 기존 이미지 데이터에서 더 많은 정보를 얻는 방법.

2. 이미지 프리모델: 온전한 원본 이미지는 어떤 이미지 모델이어야 하는가. 예를 들어 과일 그릇에 담긴 바나나나 사과 사진을 복원하는 경우 노란색과 빨간색이 가득한 부드러운 모양이어야 한다는 선입견을 갖게 됩니다.

따라서 "최적의 추측"은 베이지안 확률 모델에서 후자의 확률을 최대화하고 특정 알고리즘 규칙에 따라 이미지의 누락되거나 손상된 부분을 채워서 복구된 이미지가 시각적 효과에 가깝거나 도달하도록 하는 것입니다. 원본 이미지.

나뭇결, 암석 패턴 등과 같은 텍스처 구조의 이미지 인페인팅 복원 기법의 경우 핵심 아이디어는 채우기를 위한 로컬 텍스처를 시뮬레이션하고 생성하는 것입니다. 텍스처는 재료 구성 요소의 분포 또는 특성을 반영하기 때문에 로컬 모양 정보는 동일한 텍스처의 공통성을 표현할 수 있습니다. 텍스처 맵의 경우 두 개의 작은 텍스처 조각이 유사하므로 텍스처 합성 방법을 사용하여 다음과 같이 이미지를 복구할 수 있습니다. (1) 설정 범위 내 각 픽셀의 색상 정보에 대한 히스토그램 통계 (2) 관련 픽셀 색상 정보의 결정 정도를 계산하기 위한 가중치 테이블을 생성합니다. (3) 이미지 복원을 위해 가장 일치하는 픽셀을 평가하고 선택합니다. (4) 손상된 이미지가 채워질 때까지 순환합니다. 텍스처 합성을 위한 다양한 알고리즘에서 일반 텍스처에서 방향성 텍스처로 연구 범위를 확장하고, 더 나아가 표면 텍스처 합성, 비디오 텍스처 합성 등으로 확장해야 합니다.

텍스처가 없는 이미지의 인페인팅 기법은 현재 연구자들이 고차 편미분방정식(PDE) 모델 기반의 복구 알고리즘을 주로 사용하고 있다. 주요 아이디어는 지역 경계의 이방성에서 경계 확산까지의 확산 정보 및 확산 방향을 결정하기 위해 수리할 영역의 에지 정보를 사용하는 것입니다. 이 알고리즘은 서로 다른 구조와 배경을 가진 여러 영역을 동시에 채울 수 있으며 패치된 영역의 위상 관계에 대한 제한이 없습니다. 또한, Manou et al. 위의 아이디어를 기반으로 빠른 이미지 인페인팅 기법을 제안했습니다. 수리영역의 경계에서 등강도선의 방향을 결정하고 해당 등강도선을 직선으로 연결하여 등강도선의 범위 내에서 수리영역의 이웃 정보를 확산시켜 경계를 수리영역을 채운다. . 이 방법은 단순한 구조 이미지 복구에 좋은 효과가 있으며 복구 시간이 크게 단축됩니다.

Image Inpainting 복구 기술은 광범위한 응용 분야를 가지고 있으며 첫 번째는 정적 이미지 균열 복구 및 장애물 제거입니다. 인쇄 업계에서는 손상된 오래된 사진, 긁힌 전송 네거티브 또는 이미지 내용과 관련되지 않은 이미지에서 장애물 제거와 같이 인쇄하기 전에 처리해야 하는 다양한 유형의 디지털 이미지를 다음을 통해 쉽게 복구할 수 있습니다. 인페인팅 기술. 사용자는 단순히 수리 범위를 선택하기만 하면 됩니다. 컴퓨터는 자동으로 스크래치, 빈 영역 채우기를 완료하거나 배경 패턴을 채운 후 장애물을 제거하여 프리프레스 이미지 처리의 시간과 수동 작업량을 크게 줄일 수 있습니다. 추가 이미지 처리를 위한 복구 결과.

두 번째는 동영상 이미지 복구입니다. 인페인팅 복원 기술은 영화 및 TV 산업에 적용될 수 있습니다. 예를 들어, 영화 및 TV 복사의 경우 연속 프레임 중 하나에 스크래치, 얼룩 및 수리가 필요한 기타 조건이 있는 경우 필름의 연속 프레임을 디지털 이미지 시퀀스로 변환한 다음 인접한 프레임에서 유용한 정보를 추출합니다. 전후 프레임의 정보 비교에 따라 복사 및 복구합니다. 또한 인페인팅 복원 기술로 영화 속 다른 언어로 된 자막도 제거할 수 있다.

셋째, 일부 사진 분야에서는 인페인팅 기술로 디지털 사진의 적목 현상을 제거하거나 여러 번 촬영한 디지털 사진을 파노라마 이미지로 스티칭하면 인접한 사진의 겹친 부분을 인페인팅 기술로 복구할 수 있다.

인페인팅 기술은 중국의 많은 학자들의 관심을 끌었고 해외에서 활발한 연구 분야가 되었습니다. 대체로 인페인팅의 기술적 이점은 확실히 생체 의학, 원격 감지와 같은 더 많은 이미지 응용 분야에 관여하고 다양한 분야에서 이 기술의 개발을 촉진할 것입니다.