Đề xuất giải pháp tạo nhanh bản đồ ảnh từ dải ảnh hàng không phục vụ công tác cứu hộ, cứu nạn

Nghiên cứu khoa học công nghệ 
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016 89
ĐỀ XUẤT GIẢI PHÁP TẠO NHANH BẢN ĐỒ ẢNH 
TỪ DẢI ẢNH HÀNG KHÔNG PHỤC VỤ CÔNG TÁC 
CỨU HỘ, CỨU NẠN 
Phạm Văn Quân1*, Lê Vũ Hồng Hải2, Đào Khánh Hoài
2 
Tóm tắt: Bài báo đề xuất giải pháp khớp nhanh dải ảnh hàng không để tạo bản 
đồ ảnh phục vụ công tác cứu hộ, cứu nạn trong những tình huống đặc biệt như thiên 
tai, lũ lụt, thảm họa dựa trên việc cải tiến một thuật toán khớp dải ảnh hàng 
không theo hướng nâng cao tốc độ cũng như độ ổn định của bài toán khớp ảnh 
hàng không. Cách tiếp cận trong bài báo dựa trên những đặc tính kỹ thuật trong 
lĩnh vực bay chụp ảnh hàng không cùng với nền tảng tính toán GPU để đưa ra giải 
pháp tạo nhanh bản đồ ảnh đảm bảo độ chính xác và ổn định phục vụ kịp thời công 
tác cứu hộ cứu nạn tại những khu vực xảy ra thiên tai, sự cố. 
Từ khóa: Khớp ảnh tự động, Ảnh hàng không, Ghép ảnh. 
1. MỞ ĐẦU 
Sau mỗi đợt thiên tai hay những tình huống khẩn cấp tại những khu vực nhất 
định, sự cần thiết phải có bản đồ ảnh khu vực đó để phục vụ công tác đánh giá hiện 
trạng cũng như đưa ra những giải pháp xử lý là một vấn đề có tính cấp thiết cao. Giải 
pháp được sử dụng phổ biến hiện nay là tiến hành khớp nhiều tấm ảnh lại để tạo một 
bản đồ ảnh giúp người chỉ huy và các chuyên gia có thể nhanh chóng đưa ra các 
quyết định trong điều kiện khẩn cấp. 
Đã có nhiều nghiên cứu liên quan đến bài toán khớp tự động dải ảnh hàng 
không [1-3] [9-10]. Đặc điểm chung của các nghiên cứu này là đều xử lý bài toán 
theo 4 bước cơ bản: 1) Trích chọn đặc trưng trên từng ảnh; 2) Khớp đặc trưng từng 
cặp ảnh liền kề; 3) Xác định phép chuyển đổi giữa các cặp ảnh liền kề; 4) Đăng ký 
ảnh. Trong đó bước thứ 2 có vai trò quan trọng nhất, ảnh hướng rất lớn tới độ 
chính xác cũng như chiếm nhiều thời gian nhất trong quy trình trên. Đặc biệt với 
ảnh hàng không thường có độ phân giải cao và kích thước ảnh lớn do đó phải có 
những kỹ thuật chuyên biệt để đảm bảo tốc độ xử lý gần với thời gian thực. 
Trong nghiên cứu này nhóm tác giả khai thác các đặc tính đặc tính kỹ thuật trong 
lĩnh vực bay chụp ảnh hàng không như độ trùm phủ giữa các ảnh liền kề, độ chênh 
cao địa hìnhđể tạo một phương pháp khớp tích hợp giữa vùng giá trị mức xám và 
khớp theo đặc trưng để giảm không gian cũng như thời gian xử lý. Đồng thời đưa 
tính toán GPU vào từng bước trong quy trình khớp dải ảnh để tăng tốc độ tính toán 
với số lượng ảnh có kích thước lớn. 
2. LÝ THUYẾT NỀN TẢNG 
2.1. Các kỹ thuật khớp ảnh 
Hiện nay, các thuật toán khớp tự động cặp ảnh đều dựa trên một trong hai cách 
tiếp cận cơ bản: Khớp ảnh theo vùng giá trị mức xám (Area based matching) [6] 
hoặc khớp ảnh theo đặc trưng (Feature based matching) [5]. 
Phương pháp khớp theo vùng giá trị mức xám thường chỉ phát huy hiệu quả khi 
được sử dụng riêng trong trường hợp ít thay đổi về độ sáng và độ biến dạng hình học 
Công nghệ thông tin & Khoa học máy tính 
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp cứu hộ, cứu nạn.” 90 
học giữa hai ảnh nhỏ. 
Phương pháp khớp theo đặc trưng xác định mối tương quan giữa các đặc trưng 
trên các ảnh. Các đặc trưng trên ảnh có thể là điểm, đường, vùng. Trong đó, đặc 
trưngđiểm thường được lựa chọn do các đặc trưng này có khả năng bất biến với 
các phép biến đổi trên ảnh như phép quay, phép dịch chuyển 
2.2. Kỹ thuật tháp ảnh 
Hình 1. Mô hình tháp ảnh. 
Kỹ thuật tháp ảnh (hình 1) được sử dụng khá phổ biến trong lĩnh vực xử lý ảnh và 
thị giác máy tính. Kết quả của tháp ảnh là tạo ra một loạt các ảnh nhỏ hơn với độ 
phân giải bằng một nửa ảnh trước. Theo lý thuyết đa tỷ lệ của Tony Lindeberg [8] thì 
các đặc trưng ảnh sẽ thể hiện rõ nhất ở một tỷ lệ nào đó trong không gian tỷ lệ 
Gauss. Vì vậy, đối với bài toán khớp ảnh hàng không kích thước lớn ta có thể áp 
dụng kỹ thuật tháp ảnh đến kích thước hợp lý, trích chọn đặc trưng trên ảnh tháp sau 
đó quay hồi lên ảnh gốc. Như vậy, khối lượng tính toán sẽ giảm thiểu đáng kể mà 
vẫn thỏa mãn bài toán khớp ảnh. Thông thường có hai phương thức tạo ảnh tháp [7]. 
Trong nghiên cứu này nhóm tác giả sử dụng phép lọc Gauss để tính toán ảnh tháp. 
2.3. Nền tảng tính toán GPU 
Hình 2. Kiến trúc luồng trong GPU. 
Bộ xử lý đồ họa (Graphic Proccessing Unit) gọi tắt là GPU đã trở thành một phần 
không thể tách rời của hệ thống máy tính ngày nay. GPU hiện đại không chỉ là một 
công cụ xử lý đồ họa mạnh mà còn là một bộ xử lý hỗ trợ lập trình song song ở mức 
Nghiên cứu khoa học công nghệ 
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016 91
cao, giúp giải các bài toán số học cần khả năng xử lý số học phức tạp và băng thông 
bộ nhớ tăng hơn đáng kể so với CPU cùng loại. Hình 2 mô tả kiến trúc đa luồng 
trong mô hình lập trình song song CUDA. 
CUDA cho phép đa nhân chạy đồng thời trên một GPU đơn. CUDA coi mỗi 
nhân như một lưới (grid). Một lưới là một tập các khối (block). Mỗi khối chạy 
cùng nhân nhưng độc lập với nhau. Trong mỗi khối lại chứa nhiều luồng (thread). 
Luồng là đơn vị nhỏ nhất trên GPU. Các ứng dụng CUDA được tạo sử dụng ngôn 
ngữ lập trình C/C++. 
3. XÂY DỰNG GIẢI PHÁP KHỚP NHANH DẢI ẢNH HÀNG KHÔNG 
Mô hình của giải pháp đề xuất (hình 3) bao gồm 3 bước chính: Trích chọn đặc 
trưng, khớp đặc trưng và đăng ký ảnh. 
Thuật toán: 
• Đầu vào: Dải ảnh hàng không 
• Đầu ra: Bản đồ ảnh (Ảnh toàn cảnh) 
Hình 3. Mô hình thuật toán khớp dải ảnh hàng không. 
 Bản đồ ảnh 
Công nghệ thông tin & Khoa học máy tính 
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp cứu hộ, cứu nạn.” 92 
3.1. Trích chọn đặc trưng 
Trong bước này chúng tôi sẽ lựa chọn một thuật toán dò tìm góc, sử dụng kỹ 
thuật tháp ảnh để giảm không gian tìm kiếm đặc trưng.Trong nghiên cứu của Fabio 
Remondino - 2006, đã chỉ ra thuật toán Harris phù hợp cho các bài toán tạo ảnh toàn 
cảnh ở bước trích chọn đặc trưng. 
Không gian tính toán của ảnh gốc được co nhỏ lại bằng cách tạo ra các ảnh tháp 
có cấu trúc tương tự ảnh gốc nhưng kích thước đã bị co nhỏ 4 lần giữa các bậc tháp 
liền kề nhau. Do ảnh tháp đã bị co nhỏ và mất đi một số thông tin trong quá trình 
nhân chập với mặt nạ Gauss nên sau khi tìm được các đặc trưng trên ảnh tháp, tiến 
hành quay hồi ngược lại trên ảnh gốc để xác định vùng ROS là vùng sẽ chứa đặc 
trưng tương ứng với đặc trưng trên ảnh tháp. Do đó thay vì duyệt toàn bộ ảnh gốc để 
tìm đặc trưng thì chỉ cần tìm đặc trưng trên một vùng cửa sổ ROS có kích thước nhỏ 
hơn rất nhiều. 
Từ công thức tính toán thuận chúng tôi đã đưa ra công thức nghịch cho việc xác 
định kích thước cửa sổ tìm kiếm đặc trưng trên ảnh gốc như sau: 
 (1) 
Trong đó: W là kích thước cửa sổ, level là mức ảnh tháp, i = 1,...m (m là số cặp 
điểm cùng tên).. 
3.2. Khớp đặc trưng 
Khớp thô:Sử dụng phương pháp khớp tích hợp giữa khớp theo vùng giá trị mức 
xám và khớp theo đặc trưng điểm để tìm các cặp điểm cùng tên trên hai ảnh. Phương 
pháp này dựa trên độ phủ giữa hai ảnh: với mỗi điểm đặc trưng (i, j) trên ảnh trái ta 
có thể xác định được vùng cửa sổ trên ảnh phải chứa điểm đặc trưng cùng tên tương 
ứng. Khi đó sẽ xác định một điểm đặc trưng trong cửa sổ có giá trị độ tương quan 
chéo chuẩn hóa lớn nhất (Normalized Cross Correlation) với điểm đặc trưng (i,j). 
Khớp chính xác: Sử dụng thuật toán RANSAC để loại bỏ các cặp điểm khớp sai 
từ bước khớp thô,tìm một phép xạ ảnh(với 8 tham số chưa biết) để thể hiện mối quan 
hệ giữa các ảnh với nhau. Đầu tiên sẽ lựa chọn ngẫu nhiên 4 cặp điểm bất kỳ để tính 
ra giá trị của 8 tham số chuyển đổi sau đó dựa vàophép chuyển đổi này để chia tập 
dữ liệu thành 2 loại là chính xác và ngoại lai (inlier và outlier); nếu số lượng điểm 
inliner đảm bảo đủ lớn sẽ tiến hành tính toán, ước lượng lại 8 tham số bằng cách sử 
dụng phương pháp số bình phương nhỏ nhất. Cuối cùng, sử dụng bộ tham số này để 
loại bỏ lần cuối những điểm ngoại lai. 
Trong phiên bản RANSAC rút gọn đã sử dụng việc lựa chọn ngẫu nhiên các cặp 
điểm đặc trưng, do đó nếu các cặp điểm đặc trưng nhận được từ bước trích chọn đặc 
trưng không được xử lý qua bước khớp thô sẽ dẫn đến tồn tại rất nhiều cặp điểm 
ngoại lai và xác suất dẫn để lựa chọn ngẫu nhiên được 4 cặp điểm chính xác để có 
thể tìm ra đủ số lượng cặp điểm chính xác theo yêu cầu chiếm rất nhiều thời gian. 
Đây là lí do trong nghiên cứu này chúng tôi lại chia ra làm 2 bước riêng biệt: khớp 
thô và khớp chính xác. 
3.3. Đăng ký ảnh 
Sau khi đã xác định được tất cả các điểm đặc trưng cùng tên trên các cặp ảnh liên 
Nghiên cứu khoa học công nghệ 
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016 93
tiếp nhau, tất cả các ảnh trong dải ảnh sẽ được tính toán để chuyển đổi về một hệ tham 
chiếu chung ghép thành một bản đồ ảnh. Các bước bao gồm: 
Xác định ma trận chuyển đổi giữa các cặp ảnh (Homography Hi,i-1): Sau 
bước khớp ảnh chính xác ta xác định được các cặp điểm cùng tên giữa hai ảnh kế 
tiếp nhau. Ma trận chuyển đổi giữa các cặp ảnh được xác định theo công thức (2). 
 (2) 
(với i=1,m: m là số cặp điểm cùng tên; TH - Ma trận đồng ảnh; - vector điểm 
đặc trưng ảnh phải; - vector điểm đặc trưng ảnh trái; - ma trận cơ sở). 
Đăng ký dải ảnh: Nhiệm vụ chính trong bước này là lựa chọn hệ điểm tham 
chiếu sau đó chuyển đổi tất cả dải ảnh vào chung hệ tham chiếu này. Thông thường 
sẽ lựa chọn một ảnh trong dải ảnh làm ảnh tham chiếu. Có nhiều cách để lựa chọn 
ảnh này (hình 4). 
Đặc điểm chung của các mô hình chiếu này là có sai số tích lũy khi tính chuyển 
đổi ảnh. Để khắc phục hiện tượng này chúng tôi sử dụng phương pháp được đề xuất 
bởi Yuping Lin (2007) [4]. (hình 5) 
Điểm mấu chốt của phương pháp được thể hiện ở Bước 3 trong hình 5. Sau khi 
chuyển về hệ tham chiếu, các ảnh sẽ phải nhân với một ma trận để hiệu chỉnh lại 
sai sốtích lũy.Ma trận (hình 6) được xác định bằng cách xác định thông qua ma 
trận chuyển đổi giữa ảnh Ii và Ui (Mi là ảnh chuyển đổi của Ii sang khung tham 
chiếu; Ui là ảnh được chuyển đổi ngược lại từ ảnh chuyển đổi Mi). 
Hình 5. Mô hình xử lý sai số tích lũy. 
Hình 4. Các mô hình tham chiếu. 
Hình 6. Xác định ma trận Hԑ. 
Công nghệ thông tin & Khoa học máy tính 
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp cứu hộ, cứu nạn.” 94 
Hình 7. Trộn ảnh dựa trên khoảng cách. 
Trộn ảnh để loại bỏ sự khác biệt về màu sắc trong khu vực trùng phủ (hình 7). 
Với mỗi điểm ảnh P trong khu vực 
trùng phủ, giá trị cường độ điểm ảnh 
mới của P được xác định theo công 
thức (3): 
 (3) 
Trong đó, là giá trị điểm ảnh P 
trong ảnh A, là giá trị điểm ảnh tương ứng của điểm P trong ảnh B, dA và dB là 
khoảng cách ngắn nhất tới các cạnh của vùng A, B tương ứng. 
(*) Sử dụng nền tảng tính toán GPU tăng tốc độ tính toán. 
Trong quy trình thuật toán, chúng tôi sử dụng nền tảng tính toán GPU để tăng tốc 
độ thực thi. Cụ thể việc phân chia các bước tính toán trên CPU và GPU như [hình 8] 
trong đó những bước tính toán chính, chiếm nhiều thời gian bao gồm: Trích chọn đặc 
trưng, Khớp thô NCC, Khớp chính xác RANSAC và đăng ký dải ảnh được thực hiện 
trên GPU. 
Hình 8. Phân chia tính toán trên CPU và GPU. 
Việc tính toán trên GPU được thực hiện như sau: Với mỗi ảnh có kích thước 
Width*Hight sẽ được chia ra (width/16)*(height/16) khối. Với mỗi khối ảnh sẽ có 256 
luồng xử lý đồng thời. Việc phân chia này nhằm đảm bảo các tính toán độc lập trên 
mỗi điểm ảnh sẽ luôn có một luồng xử lý. Qua đó, toàn khối ảnh sẽ được tính toán 
đồng thời. 
Nghiên cứu khoa học công nghệ 
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016 95
Hình 9. Minh họa tính toán song song GPU. 
4. KẾT QUẢ THỬ NGHIỆM VÀ PHÂN TÍCH 
Dữ liệu thực nghiệm là ảnh hàng không được chụp từ máy bay không người lái 
UAV Trimble UX5 và máy Vecxel Ultracam XP. Kích thước ảnh 4912 × 3264 
điểm ảnh, độ phân giải điểm ảnh khoảng 0.2 mét. Độ chính xác yêu cầu trong bước 
khớp chính xác nhỏ hơn 3 điểm ảnh. 
Bảng 1 hiển thị các thông số thử nghiệm với 12 ảnh UAV. Trong đó totalRMS 
là sai số bình phương trung bình của các điểm inlier; Match time là tổng thời gian 
của bước khớp thô và khớp chính xác. Từ bảng 1 có thể thấy độ chính xác của 
phương pháp đề xuất có độ chính xác cao và thời gian tính toán đảm bảo. 
Bảng 1. Các thông số thực nghiệm. 
Cặp 
ảnh 
Số đặc 
trưng trái 
Số đặc 
trưng phải 
Số cặp khớp thô 
Số cặp khớp 
chính xác 
totalRMS 
(pixel) 
Match time/s 
1-2 118 116 81 68 0.769295 2.812 
2-3 116 113 68 26 0.561021 2.781 
3-4 113 112 67 45 0.622725 2.672 
4-5 112 103 69 50 0.660344 2.640 
5-6 103 108 55 46 0.699872 2.422 
6-7 108 121 59 47 0.824446 2.516 
7-8 121 126 76 45 0.819914 2.843 
8-9 126 123 71 62 0.733032 2.938 
9-10 123 120 75 62 0.626792 2.891 
10-11 120 123 72 55 0.596557 2.812 
11-12 123 120 71 46 0.598303 2.875 
Thời gian đăng ký ảnh: 4.558 (s) 
Công nghệ thông tin & Khoa học máy tính 
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp cứu hộ, cứu nạn.” 96 
Bảng 2. So sánh phương pháp khớp dải ảnh của Ming Lia 2012 
với phương pháp đề xuất. 
Trong nghiên cứu này chúng tôi cũng thử nghiệm và so sánh kết quả một cách 
tương đối với phương pháp khớp dải ảnh của nhóm nghiên cứu Ming Lia 2012. 
Với ảnh đầu vào cùng kích thước và cùng số ảnh. Kết quả và đồ thị tương quan 
được hiển thị trong bảng 2. Qua đó cho thấy phương pháp đề xuất tốt hơn cả về 
thời gian và độ chính xác. Điều này có nghĩa giải pháp đưa ra hoàn toàn có thể đáp 
ứng được các yêu cầu trong những trường hợp khẩn cấp. 
Một số hình ảnh kết quả thực nghiệm: 
Hình 10. Ảnh toàn cảnh của 12 ảnh UAV. 
Hình 11. Ảnh toàn cảnh của 15 ảnh 
UAV trước khi trộn ảnh. 
Nghiên cứu khoa học công nghệ 
Tạp chí Nghiên cứu KH&CN quân sự, Số 44, 08 - 2016 97
Hình 12. Kết quả khớp 28 ảnh không sử dụng Hε. 
Hình 13. Kết quả khớp 28 ảnh sử dụng Hε. 
Hình 14. Ảnh toàn cảnh với 50 ảnh hàng không. 
5. KẾT LUẬN 
"Xử lý tự động ảnh hàng không" là một bài toán lớn mà nhóm tác giả đang 
nghiên cứu. Bài báo này giải quyết một vấn đề trong bài toán trên. Giải pháp đề 
xuất có những điểm mới như sử dụng phương pháp khớp tích hợp, kỹ thuật tháp 
ảnh, nền tảng tính toán GPU và trong quá trình tính toán có tính đến các đặc tính 
kỹ thuật trong lĩnh vực bay chụp ảnh hàng không nhằm mục đích giảm thời gian 
tính toán và đưa ra nhanh bản đồ ảnh khu vực xảy ra thiên tai, lũ lụt, tai nạn nhằm 
phục vụ công tác cứu hộ, cứu nạn kịp thời, hiệu quả. 
TÀI LIỆU THAM KHẢO 
[1]. Dao Khanh Hoai, Vu Van Truong, 2014, “Building the automatically 
matching algorithm applicable for aerial image pairs”, Journal of Science 
and Technology: The Section on Information and Communication 
Technology (JICT), pp.21-33. 
Công nghệ thông tin & Khoa học máy tính 
P. V. Quân, L. V. H. Hải, Đ. K. Hoài, “Đề xuất giải pháp cứu hộ, cứu nạn.” 98 
[2]. Changming Sun, 1997, “A Fast Stereo Matching Method, Digital Image 
Computing: Techniques and Applications”, Massey University, Auckland, 
New Zealand, pp.95-100. 
[3]. Fabio Remondino, 2006, “Detectors and descriptors for photogrammetric 
applications”, Institute for Geodesy and Photogrammetry, ETH Zurich, 
Switzerland. 
[4]. Yuping Lin, Qian Yu, Gerard Medioni, 2007, “Map-Enhanced UAV Image 
Sequence Registration”, Computer Vision and Pattern Recognition, 2007. 
CVPR '07. IEEE Conference on, Minneapolis, MN, pp.1 - 7. 
[5]. Yue ZHAO, Xiaohong SHANG, Hongqiang DING, “Matching Approach 
Based on Cross-Correlation and Affine Transformation”, International 
Journal of Digital Content Technology and its Applications. Volume 5, 
Number 2, pp. 249-256, February 2011. 
[6]. Jyoti Joglekar, Shirish S. Gedam, “Area Based Image Matching Methods – A 
Survey”, International Journal of Emerging Technology and Advanced, 
Volume 2, Issue 1, pp. 130-136, January 2012. 
[7]. Fei Yan, Weian Wang, Shijie Liu, Wen Chen, “A Hierarchical image 
matching method for stereo satellite imagery”, International Archives of the 
Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol 
XL-7/W1, 3rd ISPRS IWIDF 2013, 20 – 22 August 2013. 
[8]. Tony Lindeberg, Scale-Space Theory in Computer Vision, The Springer 
International Series in Engineering and Computer Science, 1994, 423p. 
[9]. R. Szeliski, "Image alignment and stitching: A tutorial", Foundations and 
trends in computer graphics and computer vision, 2(1), December 2006. 
[10]. Barbara Zitova and Jan Flusser, "Image Registration Methods: A Survey", 
Image and Vision Computing, 21, 2003, pp. 977-1000. 
ABSTRACT 
PROPOSING A SOLUTION TO QUICKLY CREATE THE IMAGE MAP 
FROM AREALIMAGE SEQUENCE FOR RESCUE WORK 
The paper proposes a solution to quickly match joints aerial images to 
create the image map serving special situations such as natural disasters, 
floods... basing on improving of matching the areal image sequence towards 
enhancing speed as well as stability of the problem of areal image joint. The 
approach in the article is based on the characteristics of areal photography 
acquisitionand GPU computing in order to provide the solutions to quickly 
creating image map ensuring the accuracy and stability, allowing timely 
rescue in the areas of disaster. 
Keywords:Automaticimage matching, Areal images, Image mosaicing. 
Nhận bài ngày 06 tháng 07 năm 2016 
Hoàn thiện ngày 10 tháng 08 năm 2016 
Chấp nhận đăng ngày 17 tháng 08 năm 2016 
Địa chỉ: 1 Cục Khoa học quân sự/Bộ Quốc phòng; 
 2 Học viện Kĩ thuật quân sự. 
 * Email:quanbkqs@gmail.com