Đo Tốc độ Xe ô Tô Chuyển động Bằng Camera: Luận Văn Thạc Sĩ - 123doc

http:123link.proV8C5Nội dung của luận văn: Chương 1: Tổng quan về tình hình nghiên cứu trong và ngoài nước liên quan đến camera đo tốc độ, mục tiêu đề tài và giới hạn của đề tài; Chương 2: Trình bày một số kiến thức cơ bản về xử lý ảnh, theo vết đối tượng, phương pháp trừ nền, thư viện openCV; Chương 3: Phân tích thiết kế hệ thống, trình bày phương pháp đo tốc độ xe, xây dựng chương trình đo tốc độ xe chuyển động qua camera; Chương 4: Trình bày quá trình thử nghiệm, nhận xét đánh giá kết quả đạt được; Kết luận và hướng phát triển: Kết luận kết quả đạt được của luận văn và đề ra hướng phát triển trong tương lai.

BỘ GIÁO DỤC VÀ ĐÀO TẠO

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS VŨ ĐỨC LUNG

Kính mong nhận được những nhận xét và góp ý của quý thầy cô và các bạn để

em có thể hoàn chỉnh đề tài của mình tốt hơn

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu và phát triển từ những quan điểm của bản thân dưới sự hướng dẫn của PGS TS Vũ Đức Lung Các số liệu, kết quả nêu trong luận văn là trung thực Tôi xin chịu trách nhiệm về nghiên cứu của mình

Đồng Nai, tháng 7 năm 2017

Học viên

Đặng Minh Quang

TRƯỜNG ĐẠI HỌC LẠC HỒNG

KHOA SAU ĐẠI HỌC

¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯

TÓM TẮT LUẬN VĂN

(Dùng cho học viên và người hướng dẫn)

Đề tài: Đo tốc độ xe ô tô chuyển động bằng camera

Ngành: Công nghệ thông tin Mã số: 60.48.02.01

Học viên: Đặng Minh Quang

Người hướng dẫn: PGS TS Vũ Đức Lung

NỘI DUNG TÓM TẮT

1 Nội dung được giao và kết quả mong đợi của người hướng dẫn

a Nội dung được giao:

- Tìm hiểu các công trình khoa học có liên quan nhằm xác định xem bài toán này các tác giả trong và ngoài nước đã giải quyết như thế nào để áp dụng vào xây dựng luận văn

- Nghiên cứu các lý thuyết liên quan cơ bản về xử lý ảnh, nhận dạng và theo vết đối tượng, phương pháp trừ nền, phương pháp tính vận tốc dựa vào hình ảnh Tìm hiểu thư viện OpenCV làm nền tảng xây dựng chương trình thử nghiệm Tiến hành thử nghiệm, so sánh và đánh giá kết quả đạt được

- Viết bài báo khoa học

b Kết quả mong đợi của người hướng dẫn:

- Kết quả lý thuyết: Trình bày các phương pháp theo vết và phát hiện đối tượng, phương pháp tính vận tốc

- Kết quả thực nghiệm: Cài đặt và sử dụng OpenCV Xây dựng chương trình đo tốc độ xe ô tô chuyển động

2 Cách thức giải quyết vấn đề

Nghiên cứu các phương pháp theo vết

và phát hiện đối tượng, phương pháp

tính vận tốc

Tìm hiểu các tài liệu, các công trình khoa học có liên quan

Thư viện OpenCV

Tiến hành tìm hiểu về OpenCV: cấu trúc, ứng dụng, chức năng, cài đặt và cấu hình cho Windows và Visual Studio

Chương trình demo

Xây dựng chương trình demo dựa trên thư viện OpenCV Chương trình được xây dựng trên nền tảng C++ và lập trình giao diện đồ họa MFC

3 Đánh giá về mặt khoa học của kết quả

a Kết quả đạt được

Qua quá trình tìm hiểu, nghiên cứu xây dựng chương trình đo tốc độ xe ô tô chuyển động bằng camera, luận văn đã đạt được các vấn đề sau:

 Tìm hiểu cơ sở lý thuyết nền tảng

 Tìm hiểu được các phương pháp theo vết và phát hiện đối tượng, phương pháp tính vận tốc

 Tìm hiểu thư viện OpenCV, cài đặt và cấu hình cho Windows và Visual Studio

 So sánh và đánh giá được kết quả đo tốc độ

b Đóng góp của luận văn

 Hệ thống hoá các lý thuyết về kỹ thuật trừ nền, phương pháp phát hiện và theo

vết đối tượng, phương pháp tính vận tốc

 Xây dựng chương trình thực nghiệm đo tốc độ xe ô tô chuyển động bằng camera dựa trên thị giác máy tính, xử lý ảnh và máy học

4 Những vấn đề còn tồn tại so với nội dung được giao (nếu có)

- Chưa có bài báo khoa học

Ngày 02 tháng 7 năm 2017

MỤC LỤC

Trang Trang phụ bìa

Lời cảm ơn

Lời cam đoan

Tóm tắt luận văn

Mục lục

Danh mục các ký hiệu, các chữ viết tắt

Danh mục bảng

Danh mục hình vẽ, sơ đồ

CHƯƠNG 1: TỔNG QUAN 1

1.1 Lý do chọn đề tài 1

1.2 Tổng quan về tình hình trong và ngoài nước 1

1.3 Mục đích đề tài 3

1.4 Giới hạn đề tài 3

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 4

2.1 Giới thiệu về xử lý ảnh 4

2.1.1 Tổng quan về một hệ thống xử lý ảnh 4

2.1.2 Một số khái niệm 5

2.2 Phương pháp phát hiện đối tượng chuyển động (Các kĩ thuật trừ nền trong camera giám sát) 7

2.2.1 Phát hiện đối tượng chuyển động là gì ? 7

2.2.2 Phát hiện các vùng ảnh nổi 8

2.2.3 Xử lý các vùng ảnh nổi 9

2.2.4 Các kỹ thuật trừ ảnh 9

2.2.5 Một số kỹ thuật trừ nền cơ bản 13

2.2.6 Kỹ thuật trừ nền nâng cao 14

2.3 Phương pháp theo vết đối tượng 16

2.3.1 Theo vết đối tượng 16

2.3.2 Quy trình theo vết đối tượng 17

2.4 Giới thiệu về OpenCV 19

2.4.1 Tổng quan về OpenCV 19

2.4.2 Cấu trúc OpenCV 19

2.4.3 Các ứng dụng OpenCV 20

2.4.4 Chức năng OpenCV 20

CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ HỆ THỐNG 21

3.1 Phát biểu bài toán 21

3.2 Phương pháp tính vận tốc 21

3.2.1 Xác định vận tốc dựa vào phương pháp luồng quang (optical flow) 21

3.2.2 Xác định vận tốc dựa vào phương pháp khung đo 21

3.3 Xây dựng chương trình 24

3.3.1 Sơ đồ khối 24

3.3.2 Công cụ thực hiện 26

CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 28

4.1 Thử nghiệm 28

4.1.1 Thiết lập cấu hình 28

4.1.2 Dữ liệu thực nghiệm 28

4.1.3 Quá trình và kết quả thực nghiệm 29

4.2 Đánh giá kết quả 36

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 38 TÀI LIỆU THAM KHẢO

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

CCIR Consultive Committee for International Radio

OpenCV Open Source Computer Vision Library

CUDA Compute Unified Device Architecture

Rađa Radio Detection and Ranging

LPR License Plate Recognition

SaaS Software-as-a-Service

MFC Microsoft Foundation Class

DANH MỤC BẢNG

Bảng 1 Kết quả vận tốc đo được từ chương trình demo 31Bảng 2 Vận tốc đo được tại cầu vượt metro đường Nguyễn Ái Quốc xuất ra từ hệ thống giám sát giao thông bằng hình ảnh 33Bảng 3 Vận tốc đo được tại D2D đường Võ Thị Sáu xuất ra từ hệ thống giám sát giao thông bằng hình ảnh 35Bảng 4 So sánh vận tốc từ camera bắn tốc độ thật và vận tốc đo được 35

DANH MỤC HÌNH VẼ, SƠ ĐỒ

Hình 2 1 Quá trình xử lý ảnh 4

Hình 2 2 Các giai đoạn chính trong xử lý ảnh 5

Hình 2 3 Tổng quan các khối xử lý trong bài toán phát hiện đối tượng 7

Hình 2 4 Phát hiện vùng ảnh nổi 8

Hình 2 5 Quy trình theo vết đối tượng 17

Hình 3 1 Mô hình khung đo 22

Hình 3 2 Tỷ lệ chiều dài thực và chiều dài khung đo 22

Hình 3 3 Tính vận tốc trung bình của các giai đoạn 23

Hình 3 4 Minh họa xác định đối tượng 25

Hình 3 5 Giao diện chương trình khi mở 26

Hình 3 6 Giao diện chương trình chạy video 27

Hình 4 1 Camera quay quét 28

Hình 4 2 Hình ảnh và thông số file video vothisau.mp4 28

Hình 4 3 Hình ảnh và thông số file video vothisau.mp4 29

Hình 4 4 Phát hiện và theo vết đối tượng chuyển động 30

Hình 4 5 Kết quả thử nghiệm đo tốc độ 30

Hình 4 6 Giao diện chương trình thực tế của hệ thống 32

Hình 4 7 Danh sách xe vi phạm tốc độ được trích xuất 32

Sơ đồ 3 1 Lưu đồ hoạt động 24

Sơ đồ 3 2 Lưu đồ thuật toán tính khoảng cách di chuyển của 2 đối tượng 25

CHƯƠNG 1: TỔNG QUAN

1.1 Lý do chọn đề tài

Hiện nay, với sự phát triển nhanh chóng của công nghệ thông tin đã giúp cho con người rất nhiều trong nhiều lĩnh vực như kinh tế, giáo dục, dịch vụ… Nhiều hệ thống camera để theo dõi tình hình giao thông kết hợp với giám sát an ninh đã được lắp đặt Ngày càng nhiều ứng dụng khai thác dữ liệu từ hệ thống giám sát này như tính toán mật

độ lưu thông, đếm lưu lượng xe, nhận dạng biển số, đo tốc độ xe

Việc đưa ứng dụng công nghệ thông tin vào việc kiểm soát, kiềm chế tai nạn giao thông cũng như bảo đảm trật tự an toàn giao thông nhằm điều chỉnh nhận thức cũng như hành vi của người tham gia giao thông là cần thiết

Từ thực tiễn cho thấy, tốc độ chuyển động của phương tiện giao thông không những ảnh hưởng rất lớn đến xác suất xảy ra tai nạn giao thông mà còn ảnh hưởng đến mức độ nghiêm trọng của mỗi vụ tai nạn Trong điều kiện hạ tầng và tổ chức giao thông ở nước

ta còn nhiều hạn chế cùng với việc người tham gia điều khiển phương tiện giao thông thường xuyên không làm chủ được tốc độ đã dẫn đến tình trạng tai nạn giao thông nghiêm trọng ngày càng gia tăng Do vậy, để giảm thiểu tai nạn giao thông ngoài việc quản lí, giám sát giao thông, xây dựng đường xá mới đạt chuẩn hiện đại thì cũng cần phải tăng cường các biện pháp tuyên truyền và chế tài góp phần nâng cao nhận thức của người dân trong việc nghiêm chỉnh chấp hành những quy định khi tham gia giao thông

Từ các lý do trên, tôi quyết định tìm hiểu, nghiên cứu và thực hiện đề tài: “Đo tốc

độ xe ô tô chuyển động bằng camera” với mong muốn nghiên cứu để nắm bắt các kỹ

thuật, công nghệ để có thể tiếp cận vào thực tế công việc tại cơ quan đang công tác

1.2 Tổng quan về tình hình trong và ngoài nước

Tại các nước phát triển, việc sử dụng camera bắn tốc độ (speeding camera) khá phổ biến với vô số camera bắn tốc độ và camera chụp vượt đèn đỏ được bố trí kín đáo và chằng chịt trên khắp mọi nẻo đường

Camera bắn tốc độ đầu tiên bắt đầu được giới thiệu từ thập niên 1960 Sử dụng film

để ghi lại hình ảnh, những chiếc camera thời kỳ đầu vẫn tiếp tục duy trì vị trí cho đến tận thập niên 1990 bắt đầu xuất hiện các camera kỹ thuật số

Gatsometer là nhà cung cấp các hệ thống camera bắn tốc độ lớn nhất thế giới Đồng thời, đây cũng là hãng sản xuất loại rađa đầu tiên ứng dụng cho hệ thống giám sát giao thông đường bộ

Camera bắn tốc độ có 02 loại: Camera bắn tốc độ truyền thống dùng tia laser và camera hình ảnh.Việc đầu tư một hệ thống bắn tốc độ rất tốn kém do đó việc không sử dụng súng radar mà chỉ dùng một camera bắn tốc độ sẽ làm cho chi phí giảm đáng kể Hiện nay, trên thế giới có rất nhiều nghiên cứu về kỹ thuật trừ nền và camera xử lý ảnh để đo tốc độ Tác giả Kenneth S Palacio-Baus [12] từ Đại học Illinois tại Chicago theo dõi tốc độ xe trên quốc lộ sử dụng trừ nền MOG2 từ thư viện OpenCV cho kết quả nhận diện đối tượng tốt Công ty Traffiko [13] với giải pháp vận chuyển thông minh sáng tạo cung cấp nhiều ứng dụng SaaS thông minh và các ứng dụng dựa trên web để quản lý bãi đỗ xe, phân tích thời gian hành trình, thực thi pháp luật liên quan đến giao thông đường phố và ngoài phố, kiểm soát truy cập, phân tích video dựa trên một nền tảng tích hợp Tại Thái Lan [14] công ty SmartVision Technology với công nghệ (Smart

- LPR) đây là sản phẩm thương mại, có khả năng đọc biển số xe tự động, với tốc độ đo tối đa 180 km/h có độ chính xác 85% trở lên…

Ở nước ta, các nghiên cứu về vấn đề đo tốc độ xe chuyển động qua camera còn rất hạn chế do tính phức tạp và ứng dụng vào thực tế Chủ yếu là các nghiên cứu liên quan về các phương pháp bám đối tượng trong video, dự đoán hướng di chuyển Do vậy, việc nghiên cứu vấn đề này là cấp thiết và có ý nghĩa khoa học cao Một số các bài báo khoa học có các thành viên tham gia nghiên cứu như: Năm 2015 các tác giả Nguyễn Văn Hùng, Nguyễn Văn Xuất, Lê Mạnh Cường [3] dùng phương pháp một mô hình xác suất có sử dụng hai đặc trưng đó là màu sắc và kết cấu bề mặt để đi tìm đối tượng trong các khung ảnh mới, phương pháp này có thể bám các đối tượng hiệu quả trong các cảnh khác nhau Hơn nữa, phương pháp này áp dụng các đặc tính chuyển động của đối tượng

để hạn chế không gian tìm kiếm đối tượng trong khung ảnh mới, làm tăng tốc độ tính toán Kết quả có độ chính xác trên 90% từ việc sử dụng 08 video mẫu để thử nghiệm so sánh với một vài phương pháp bám đối tượng khác Năm 2016 đã có nhiều tác giả đưa

ra nghiên cứu liên quan như Lâm Hữu Tuấn, Huỳnh Phụng Toàn, Trần Cao Đệ, Nguyễn Thị Hồng Nhung [4] sử dụng phương pháp xác định tốc độ chuyển động của xe từ hình ảnh video với một “khung đo” phương pháp trừ nền để phát hiện đối tượng chuyển động,

sử dụng phép toán trung bình có trọng số để dự đoán hướng di chuyển và vận tốc của đối tượng Kết quả có độ chính xác 90% từ việc thực hiện 12 lượt chạy bằng xe môtô ở các mức tốc độ khác nhau với mức dao động ±3km/h, mỗi tốc độ thực hiện 2 lần chạy thu được 12 video…

1.3 Mục đích đề tài

Luận văn tập trung nghiên cứu các lý thuyết liên quan cơ bản về xử lý ảnh, nhận dạng và theo vết đối tượng, phương pháp trừ nền để ứng dụng vào bài toán tính toán vận tốc của xe ô tô đang chuyển động Từ kết quả nghiên cứu lý thuyết, xây dựng một phần mềm thử nghiệm thực tế

Nội dung luận văn: gồm 04 chương

- Chương 1: Tổng quan về tình hình nghiên cứu trong và ngoài nước liên quan đến

camera đo tốc độ, mục tiêu đề tài và giới hạn của đề tài

- Chương 2: Trình bày một số kiến thức cơ bản về xử lý ảnh, theo vết đối tượng,

phương pháp trừ nền, thư viện openCV

- Chương 3: Phân tích thiết kế hệ thống, trình bày phương pháp đo tốc độ xe, xây

dựng chương trình đo tốc độ xe chuyển động qua camera

- Chương 4: Trình bày quá trình thử nghiệm, nhận xét đánh giá kết quả đạt được

- Kết luận và hướng phát triển: Kết luận kết quả đạt được của luận văn và đề ra

hướng phát triển trong tương lai

- Phụ lục: Nội dung các file trong chương trình và danh sách các file video

1.4 Giới hạn đề tài

Đối tượng nghiên cứu là các loại camera đo tốc độ các loại phương tiện trên đường phố Giới hạn của luận văn này chỉ tập trung vào đo tốc độ chuyển động của ô tô

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1 Giới thiệu về xử lý ảnh

2.1.1 Tổng quan về một hệ thống xử lý ảnh

Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ họa đó phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống

Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy

Quá trình xử lý ảnh theo [1] bao gồm các giai đoạn như trong hình 2.1: được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn Kết quả đầu ra

củ a một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận

(Nguồn: Giáo trình xử lý ảnh [1] )

Hình 2 1 Quá trình xử lý ảnh

Để có thể hình dung cấu hình một hệ thống xử lý ảnh chuyên dụng hay một hệ thống xử lý ảnh dùng trong nghiên cứu, đào tạo, trước hết chúng ta sẽ xem xét các bước cần thiết trong xử lý ảnh

Quá trình thu nhận ảnh theo [1] như trong hình 2.2 Ảnh có thể thu nhận qua camera Thường ảnh thu nhận qua camera là tín hiệu tương tự (loại camera ống kiểu CCIR), nhưng cũng có thể là tín hiệu số hoá (loại CCD - Charge Coupled Device)

(Nguồn: Giáo trình xử lý ảnh [1] )

Hình 2 2 Các giai đoạn chính trong xử lý ảnh Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm ứng (sensor), hay ảnh, tranh được quét trên scanner Tiếp theo là quá trình số hoá (Digitalizer) để biến đổi tín hiệu tương tự sang tín hiệu rời rạc (lấy mẫu) và số hoá bằng lượng hoá, trước khi chuyển sang giai đoạn xử lý, phân tích hay lưu trữ lại

Quá trình phân tích ảnh thực chất bao gồm nhiều công đoạn nhỏ Trước hết là công việc tăng cường ảnh để nâng cao chất lượng ảnh Do những nguyên nhân khác nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu, ảnh có thể bị suy biến Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi bật một số đặc tính chính của ảnh, hay làm cho ảnh gần giống nhất với trạng thái gốc - trạng thái trước khi ảnh bị biến dạng Giai đoạn tiếp theo là phát hiện các đặc tính như biên, phân vùng ảnh, trích chọn các đặc tính, v.v

Cuối cùng, tuỳ theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng, phân lớp hay các quyết định khác Các giai đoạn chính của quá trình xử lý ảnh có thể mô tả ở hình 2.1

Với các giai đoạn trên, một hệ thống xử lý ảnh (cấu trúc phần cứng theo chức năng) gồm các thành phần tối thiểu như hình 2.2

2.1.2 Một số khái niệm

• Pixel (Picture Element): phần tử ảnh

Ảnh trong thực tế là một ảnh liên tục về không gian và về giá trị độ sáng Để có thể xử lý ảnh bằng máy tính cần thiết phải tiến hành số hoá ảnh Trong quá trình số hoá, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời rạc hóa về không gian) và lượng hoá thành phần giá trị mà thể về nguyên tắc bằng mắt thường không phân biệt được hai điểm kề nhau Trong quá trình này, người ta sử dụng

khái niệm Picture element mà ta quen gọi hay viết là Pixel - phần tử ảnh Ở đây cũng

cần phân biệt khái niệm pixel hay đề cập đến trong các hệ thống đồ hoạ máy tính Để tránh nhầm lẫn ta tạm gọi khái niệm pixel này là pixel thiết bị Khái niệm pixel thiết bị

có thể xem xét như sau: khi ta quan sát màn hình (trong chế độ đồ hoạ), màn hình không liên tục mà gồm nhiều điểm nhỏ, gọi là pixel Mỗi pixel gồm một cặp tọa độ x, y và màu

Cặp tọa độ x, y tạo nên độ phân giải (resolution) Như màn hình máy tính có

nhiều loại với độ phân giải khác nhau: màn hình CGA có độ phân giải là 320 x 200; màn hình VGA là 640 x 350

Vậy, một ảnh là một tập hợp các điểm ảnh Khi được số hoá, nó thường được biểu diễn bởi bảng hai chiều I (n, p): n dòng và p cột Ta nói ảnh gồm n x p pixels Người

ta thường kí hiệu I (x, y) để chỉ một pixel Thường giá trị của n chọn bằng p và bằng

256

• Gray level: Mức xám

Mức xám là kết quả sự mã hoá tương ứng một cường độ sáng của mỗi điểm ảnh với một giá trị số - kết quả của quá trình lượng hoá Cách mã hoá kinh điển thường dùng

16, 32 hay 64 mức Mã hoá 256 mức là phổ dụng nhất do lý do kỹ thuật Vì 28 = 256 (0,

1, , 255), nên với 256 mức, mỗi pixel sẽ được mã hoá bởi 8 bit

• Biểu diễn ảnh xám:

Trên ảnh hai chiều, mỗi điểm (x, y) trên mặt phẳng ảnh ứng với một f (x, y) giá trị mô tả mức xám cho điểm ảnh Trong đó, x là số hiệu cột và y là số hiệu dòng trên ảnh

Nếu là ảnh màu, có bảng màu thì f (x, y) là số hiệu màu

Nếu là ảnh hơn 256 màu thì f (x, y) là 3 byte thể hiện các giá trị R, G và B của điểm ảnh

I [i, j] = I [i, j] > = θ? Max : Min;

* Ứng dụng: Nếu Min = 0, Max = 1 kỹ thuật chuyển ảnh thành ảnh đen trắng được ứng dụng khi quét và nhận dạng văn bản có thể xảy ra sai sót nền thành ảnh hoặc ảnh thành nền dẫn đến ảnh bị đứt nét hoặc dính

2.2 Phương pháp phát hiện đối tượng chuyển động (Các kĩ thuật trừ nền trong camera giám sát)

2.2.1 Phát hiện đối tượng chuyển động là gì ?

Phát hiện đối tượng chuyển động [5] thực ra là quá trình đưa ra các vết đối tượng chuyển động từ các khung hình video Quá trình này thực chất là quá trình xử lý chuỗi ảnh liên tiếp trong một đoạn video để phát hiện ra các đối tượng chuyển động trong một đoạn hình ảnh theo mô hình 2.3 dưới đây:

(Nguồn: Phát hiện, phân loại, theo dõi đối tượng chuyển động trong hệ thống giám sát

thông minh [5] )

Hình 2 3 Tổng quan các khối xử lý trong bài toán phát hiện đối tượng

2.2.2 Phát hiện các vùng ảnh nổi

Phát hiện các vùng ảnh nổi là một module thiết yếu trong bài toán phát hiện đối tượng chuyển động qua khung hình video Module này đóng vai trò xử lý các khung hình video để đưa ra các vùng ảnh nổi lên trên các khung hình nền

Hình 2 4 Phát hiện vùng ảnh nổi Khung hình thu được bên trái sẽ được xử lý để đưa ra các vùng ảnh nổi lên trên (vết đối tượng chuyển động trên một ảnh nền) được minh họa hình phía bên phải Vùng ảnh nổi thu được như ta quan sát, vẫn còn nhiễu nhiều, đối tượng chuyển động chưa có hình dạng rõ ràng do đó phải được xử lý ở module sau để có thể đưa ra các đối tượng chuyển động với các tính chất của chúng

Hình ảnh video là một chuỗi các khung hình liên tiếp được thể hiện trong một thời gian Phát hiện vùng ảnh nổi bản chất là việc so sánh các khung hình liên tiếp trong một đoạn video để từ đó có thể đưa ra các vùng ảnh khác nhau giữa các khung hình liên tiếp đó Đây chính là nguyên lý cơ bản để bắt được vết các đối tượng chuyển động, vì chỉ khi có đối tượng chuyển động trong khung hình thì mới có sự khác nhau giữa các khung hình liên tiếp từ đó sẽ thu được các vết chuyển động của vật thể Đã có nhiều phương pháp được đưa ra để giải quyết vấn đề này, các phương pháp giải quyết có những

ưu nhược điểm riêng phù hợp với các điều kiện và hoàn cảnh giám sát khác nhau Có thể khái quát thành các phương pháp sau:

✓ Phương pháp trừ ảnh nền (Background Subtraction)

Phương pháp này rất phổ biến và hiệu quả trong việc giải quyết phân đoạn với những đoạn hình ảnh có khung cảnh tĩnh Có nhiều kỹ thuật trừ ảnh [trình bày cụ thể trong 2.2.4] bằng việc sử dụng phép trừ ảnh ở mức điểm ảnh, một khung hình sẽ được

so sánh với một hình nền để từ đó đưa ra vùng các điểm ảnh khác nhau giữa khung hình

đó và ảnh nền Các điểm ảnh khác nhau sẽ được hiểu như là các điểm ảnh nổi lên trên ảnh nền Sau khi tìm ra các vùng ảnh nổi, các vùng này sẽ được xử lý để lọc đi các nhiễu, các vết không phù hợp bằng một số thuật toán lọc nhiễu khác

Nhìn chung, phương pháp này được sử dụng khá phổ biến song nó không là lựa chọn tốt đối với những đoạn video có khung cảnh không ổn định ví dụ như khung cảnh ánh sáng luôn bị thay đổi liên tục hay những khung cảnh có độ nhiễu lớn (ví dụ như những cây luôn dao động liên tục khi có gió)

✓ Phương pháp dựa trên thống kê (Statistical Methods)

Sử dụng việc thống kê các đặc điểm riêng của các điểm ảnh để phát triển một thuật toán có thể vượt qua được những khó khăn mà phương pháp trừ ảnh nền gặp phải

đó là những khó khăn gặp phải khi khung cảnh luôn thay đổi bởi nhiều yếu tố môi trường Phương pháp thống kê cơ bản vẫn dựa trên kỹ thuật trừ ảnh nền song thêm vào

đó nó được thực hiện ăn khớp, và cập nhật động thông tin các điểm ảnh thuộc ảnh nền đang được xử lý Các điểm ảnh nổi sẽ được xác định bởi việc so sánh các thông tin của điểm ảnh với các mô hình ảnh nền Phương pháp này được sử dụng khá phổ biến trong những khung cảnh có nhiều nhiễu, ánh sáng thay đổi liên tục

✓ Phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình

Phương pháp này phát hiện vùng chuyển động bằng cách sử dụng sự khác nhau

ở mức điểm ảnh giữa hai hoặc ba khung hình liên tiếp trong một chuỗi các khung hình video Phương pháp này khá tốt đối với khung cảnh động nhiều thay đổi song nó lại thất bại trong việc phát hiện ra các điểm ảnh có liên quan đến một số kiểu chuyển động

2.2.3 Xử lý các vùng ảnh nổi

Các vùng ảnh nổi thực tế vẫn còn nhiều nhiễu do đó để lọc nhiễu, xử lý ghép mảnh, loại bỏ các vết không liên quan thì cần phải sử dụng module xử lý các vùng ảnh nổi để đưa ra các đối tượng chuyển động rõ ràng để từ đó xác định được tính chất của chúng

2.2.4 Các kỹ thuật trừ ảnh

Gọi sự khác nhau giữa hai khung hình f1, f2 là D (f1, f2), sự sai khác được tính

đó ta có thể xác định được có đối tượng chuyển động giữa hai khung hình Một số đặc trưng thường hay được dùng là: màu sắc, biểu đồ (biểu đồ màu, biểu đồ mức xám), cạnh,

vector chuyển động, góc hay kết cấu (texture) Giá trị các ngưỡng này thường đã được

xác định trước, trong một số trường hợp có thể dùng ngưỡng thích ứng

Để phát hiện sự biến động, sai khác giữa các khung hình, trước hết ta phải so sánh các đặc trưng, xác định công thức trừ ảnh A và cuối cùng là quyết định ngưỡng sai khác Tb Chỉ xem xét và xử lý những giá trị sai khác lớn hơn ngưỡng Tb

Hiện nay, có nhiều kỹ thuật trừ ảnh [5] và có thể chia thành 5 loại như sau:

✓ Trừ ảnh dựa vào khối

✓ Trừ ảnh dựa vào biểu đồ

✓ Trừ ảnh dựa vào điểm ảnh

✓ Trừ ảnh dựa vào thống kê

✓ Trừ ảnh dựa vào đặc trưng

Để có sự so sánh chính xác và thống nhất ta giả sử xét hai ảnh I1 và I2 có cùng kích thước Thực hiện việc tính toán sự sai khác giữa hai ảnh thông gia trừ 2 ảnh I1 và

I2

2.3.4.1 Trừ ảnh dựa vào khối:

Sử dụng các đặc tính độc lập với các di chuyển của camera và đối tượng Mỗi khung hình được chia làm b khối Các khối trên khung hình f1 được so sánh với các khối tương ứng trên khung hình f2 Về cơ bản, độ chênh lệch giữa hai khung hình được tính như (1):

1 2 1 2

1

( , ) ( , , )

b k k

D f f C DP f f k



Trong đó Ck là hệ số cho trước, DP (f1, f2, k) là độ chênh lệch giữa hai khối thứ

k của hai khung hình f1 và f2

Kasturi đưa ra công thức (2):

2 2

Trong đó  ,1  là giá trị cường độ trung bình của khối thứ k 2  1k, 2k là độ chênh lệch tương ứng với hai khối đó

1( , , )

Ý tưởng của cách tiếp cận này là các ảnh có nền không đổi và đối tượng không đổi sẽ

có chênh lệch ít trong biểu đồ Hơn nữa biểu đồ bất biến với việc quay ảnh và thay đổi

ít khi góc nhìn thay đổi Có thể dùng biểu đồ màu hoặc biểu đồ mức xám để tính sự sai khác giữa hai khung hình Biểu đồ màu (mức xám) của khung hình I là một vector G chiều Hi = (Hi(l), Hi(2), , Hi(G)) Trong đó G là sổ màu (mức xám), Hi(j) là số điểm ảnh của khung hình i có màu (mức xám) j Phương pháp trừ ảnh dựa trên biểu đồ có thể

sử dụng biểu đồ toàn cục hoặc biểu đồ cục bộ Biểu đồ toàn cục là biểu đồ biểu diễn sự phân bố giá trị màu (mức xám) của toàn bộ khung hình Còn biểu đồ cục bộ chỉ mô tả

sự phân bố của một phần nào đó của khung hình mà thôi

2.3.4.3 Kỹ thuật trừ ảnh dựa vào điểm ảnh

Phương pháp đơn giản nhất để trừ hai khung hình là tính giá trị biểu diễn sự chênh lệch tổng cộng về cường độ của tất cả các điểm ảnh tương ứng trên hai khung hình theo (4):

điểm ảnh có thay đổi lớn hơn một ngưỡng nào đó và so sánh giá trị tính được với một ngưỡng khác để phát hiện chuyển cảnh theo (5), (6)

𝐷𝑃(𝑥, 𝑦) = {1 𝑘ℎ𝑖 |𝑓1(𝑥, 𝑦) − 𝑓2 (𝑥, 𝑦)| > 𝑇1

0 𝑘ℎ𝑖 |𝑓1(𝑥, 𝑦) − 𝑓2 (𝑥, 𝑦)| < 𝑇1 (5) 𝐷(𝑓1, 𝑓2) = 1

𝑥𝑦∑𝑥−1𝑥=0∑𝑦−1𝑦=0𝐷𝑃(𝑥, 𝑦) (6) Nếu tỷ lệ số điểm ảnh thay đổi D (f1, f2) lớn hơn ngưỡng T1 thì đã có sự chuyển cảnh do cắt Tuy các thay đổi không liên quan trong khung hình đã được loại bỏ bớt nhưng hướng tiếp cận này vẫn nhạy với các di chuyển camera và đối tượng Chẳng hạn, khi camera quay theo đối tượng, rất nhiều điểm ảnh được cho là thay đổi, dù cho có ít điểm ảnh dịch chuyển Có thể giảm tác động này bằng cách sử dụng một bộ lọc trơn: Trước khi so sánh, mỗi điểm ảnh được thay thế bằng giá trị trung bình của các điểm lân cận Một nhược điểm khác của kỹ thuật trừ điểm ảnh là độ nhạy của điểm ảnh với việc chiếu sáng Khi đó người ta điều chỉnh độ sai khác giá trị điểm ảnh bằng cách chia nó

cho cường độ của điểm ảnh trên khung hình thứ hai Hampapur [3] gọi ảnh thu được từ

độ chênh lệch hiệu chỉnh là ảnh chromatic theo (7):

1 1

1 2

( , ) ( , )1

( , )

y x

S {( , ) |x y f x y1( , ) f2( , ) |x y d} (9)

Độ sai khác giữa hai khung hình được tính bằng tỷ lệ các điểm ảnh có độ chênh lệch lớn hơn d

1 2

.( , )

Chúng ta cũng có thể sử dụng các đại lượng thống kê cho từng miền

- Trừ ảnh dựa vào đặc trưng: Để thực hiện được kỹ thuật này, thông thường ta xét với hai dạng đặc trưng là véc tơ chuyển động hoặc cạnh Trong đó:

Đặc trưng là vector chuyển động:

Trong các đoạn video, người ta thường thấy các hiệu ứng do chuyển động của đối tượng trong camera, như pan (quét), zoom (zoom in - phóng to, zoom out - thu nhỏ), italic (nghiêng)

Đặc trưng là cạnh:

Một hướng tiếp cận khác cho việc phân loại và phát hiện chuyển cảnh là sự phát hiện sự xuất hiện các cạnh (biên cường độ) trong một khung hình, chúng cách các cạnh trong khung hình trước một khoảng nhất định Kỹ thuật này không chỉ phát hiện mà còn phân loại các loại chuyển cảnh: Cắt cứng, chồng mờ, fade, wipe

2.2.5 Một số kỹ thuật trừ nền cơ bản

2.2.5.1 Sự khác biệt khung (Frame Differencing)

Trong tất cả các phương pháp trừ nền thì phương pháp khác biệt khung được xem

là phương pháp đơn giản nhất Chi phí tính toán thấp, tốc độ thực thi thuật toán nhanh Tuy nhiên kết quả đạt được khi ta áp dụng thuật toán này là tương đối thấp

Ý tưởng chính trong phương pháp khác biệt khung: Các đối tượng chuyển động

sẽ được phát hiện dựa trên sự khác biệt giữa hai khung ảnh liên tiếp nhau cùng với một ngưỡng được chọn trước Giải thuật trên được thực hiện bằng phương pháp trừ hai khung

liên tiếp, đối với mỗi giá trị pixel kết quả ta so sánh giá trị tại pixel đó với ngưỡng đã

được chọn Nếu giá trị này nằm trong ngưỡng cho phép thì tại đó ta xem như là nền Ngược lại không phải là nền

2.2.5.2 Lọc trung bình (Running Average)

Trong phương pháp sự khác biệt khung đã đề cập ở trên Do việc xác định các đối tượng chỉ dựa vào sự khác biệt ở hai khung liên tiếp nhau Do vậy độ chính xác của

đề ra hướng giải quyết là xây dựng mô hình nền Sau đó mô hình nền này được sử dụng

để tìm ra đối tượng không phải là nền Mô hình nền này được xây dựng bằng cách học

qua n khung liên tiếp Giá trị pixel tại vị trí (x,y) của mô hình nền này được tính bằng cách lấy trung bình cộng của tất cả các giá trị pixel tại vị trí (x,y) của n khung đã học

𝐵 (𝑥, 𝑦) = ∑ 𝐹𝑖=1 (𝑥, 𝑦)

𝑛 𝑖=1

Trong đó:

- B (x, y): Giá trị pixel tại vị trí (x, y) của mô hình nền

- Fi (x, y): Giá trị pixel tại vị trí (x, y) của khung thứ i

- n: Tổng số khung học

Sau khi đã xây dựng được mô hình nền, việc xác định ra được đâu là đối tượng không phải là nền được thực hiện bằng cách so sánh từng khung ảnh với mô hình nền Dựa vào giá trị của ngưỡng đã được chọn trước tương tự như phương pháp sự khác biệt khung

2.2.6 Kỹ thuật trừ nền nâng cao

Mô hình Gauss hỗn hợp (Mô hình GMM)

Stauffer and Grimson (1999) đã đưa ra phương pháp trộn các mô hình nền lai để giải quyết vấn đề ánh sáng thay đổi, các hành động lặp lại, sự lộn xộn từ khung cảnh thực tế Mục đích là chứng minh một mô hình nền đơn thì không thể xử lý được các khung hình liên tục trong một thời gian dài Sử dụng phương pháp pha trộn phân tán Gauss để biểu diễn mỗi điểm ảnh trên một mô hình Theo luận điểm đó, thực hiện và tích hợp phương pháp này vào trong hệ thống giám sát

Trong mô hình này, coi các giá trị của điểm ảnh theo thời gian như là mô ̣t tiến trình điểm Tiến trình điểm là mô ̣t chuỗi giá tri ̣ điểm theo thời gian, tức là giá tri ̣ cấp

xám hoă ̣c là véc tơ đối với ảnh màu Ta ̣i thời điểm t, ta ̣i điểm (x0,y0) thì {X1, ,Xt} = {I(x0,y0,i), 1≤i≤t} là một tiến trình điểm Đây là các yếu tố hướng dẫn cách lựa cho ̣n mô

hình và các thủ tu ̣c câ ̣p nhâ ̣t Dãy {X1, ,Xt} được mô hình hoá bởi K phân bố Gauss Xác suất quan sát của điểm ảnh hiện tại được tính bởi công thức:

(14)

Trong đó:

i, t là trọng số tương ứng với Gauss thứ i tại thời điểm t;

I, t là giá trị trung bình của các Gauss thứ i tại thời điểm t;

i, t là ma trận hiê ̣p phương sai của phân bố Gauss thứ i ta ̣i thời gian t;

 là hàm mật độ xác suất được xác định bởi công thức:

Với giả thiết các giá trị màu R, G, B của các điểm ảnh là các thành phần độc lập

và có cùng mô ̣t phương sai

Thủ tục phát hiện các điểm tiền cảnh:

Trước tiên các phân phối K-Gauss cho một điểm ảnh được khởi tạo với các giá trị trung bình, có trọng số thấp như các công thức ở trên

Khi có một điểm ảnh mới trong chuỗi khung hình được quan sát, để xác định kiểu của nó, vector RGB được kiểm tra lại với K-Gauss cho đến khi một truờng hợp đúng được tìm ra Sự phù hợp được xác định khi giá trị điểm ảnh trong vòng 2.5 độ lệch chuẩn của một phân phối

Tiếp theo, xét K phân phối tại thời điểm t: i,t được cập nhật theo công thức:

𝑃(𝑋𝑡) = ∑ 𝜔𝑖,𝑡𝜂(𝑋𝑡, 𝜇𝑖,𝑡, 𝛴𝑖,𝑡)

𝐾

𝑖=1