Câu hỏi về phương pháp thêm matrix ở giữa 2 matrix

concunat2 · June 30, 2020, 2:56pm

Chào mọi người, hiện tại em đang làm về Image Inpainting và em có chỗ thắc mắc nên mong mọi người chỉ bảo:

Bài toán của em là dạng image2image, input là ảnh RGB được scale giá trị thuộc [-1,1], kích thước 256*256*3 và 1 ảnh mask (giá trị thuộc 0 hoặc 1) kích thước 256*256*1. Luồng thuật toán là qua mô hình encoder decoder để tạo ra ảnh mới. Ở đây tác giả sử dụng thêm 1 matrix 256*256*1 với toàn bộ giá trị là 1. Rồi tác giả concat(ảnh RGB, matrix_one, matrix_one*mask) thành 1 bộ 256*256*5, rồi cho qua lớp tích chập để tạo thành features.

Câu hỏi:

Tại sao tác giả lại nhét thêm matrix_one ở giữa?
Tại sao lại phải ghép concat lại với nhau?

(tác giả có bảo là thêm cái matrix_one để thay thế cho minor padding và vì convlution tự động thêm padding => Iem không hiểu ở đây là ý gì)

Cảm ơn vì đã đọc.

(đây là issue của tác giả: [https://github.com/JiahuiYu/generative_inpainting/issues/40]