Dạy AI nhìn Chiều sâu trong Ảnh và Tranh

Các nhà nghiên cứu trong Phòng thí nghiệm Nhiếp ảnh Tính toán của SFU hy vọng mang lại cho máy tính một lợi thế thị giác mà con người chúng ta coi là điều hiển nhiên — khả năng nhìn thấy chiều sâu trong ảnh. Mặc dù con người tự nhiên có thể xác định khoảng cách các vật thể gần hay xa từ một góc nhìn, chẳng hạn như một bức ảnh hoặc một bức tranh, đó là một thách thức đối với máy tính - nhưng chúng có thể sớm vượt qua.

Các nhà nghiên cứu gần đây đã công bố công trình của họ nhằm cải thiện một quy trình được gọi là ước tính độ sâu một mắt, một kỹ thuật dạy máy tính cách nhìn thấy độ sâu bằng cách sử dụng máy học.

Mahdi Miangoleh, một sinh viên MSc làm việc trong phòng thí nghiệm cho biết: “Khi chúng ta nhìn vào một bức tranh, chúng ta có thể biết khoảng cách tương đối của các vật thể bằng cách xem kích thước, vị trí và mối quan hệ của chúng với nhau. “Điều này đòi hỏi phải nhận ra các đối tượng trong một cảnh và biết kích thước của các đối tượng trong cuộc sống thực. Chỉ riêng nhiệm vụ này đã là một chủ đề nghiên cứu tích cực cho mạng nơ-ron ”.

Bất chấp những tiến bộ trong những năm gần đây, những nỗ lực hiện tại nhằm cung cấp kết quả độ phân giải cao có thể biến hình ảnh thành không gian 3 chiều (3D) đã thất bại.

Để chống lại điều này, phòng thí nghiệm đã nhận ra tiềm năng chưa được khai thác của các mô hình mạng nơ-ron hiện có trong tài liệu. Nghiên cứu được đề xuất giải thích sự thiếu hụt các kết quả có độ phân giải cao trong các phương pháp hiện tại thông qua những hạn chế của mạng nơ-ron tích tụ. Bất chấp những tiến bộ lớn trong những năm gần đây, mạng nơ-ron vẫn có khả năng tương đối nhỏ để tạo ra nhiều chi tiết cùng một lúc.

Một hạn chế khác là lượng cảnh mà các mạng này có thể 'nhìn' cùng một lúc, điều này quyết định lượng thông tin mà mạng nơ-ron có thể sử dụng để hiểu các cảnh phức tạp. Đang nỗ lực để tăng độ phân giải của các ước tính trực quan của họ, các nhà nghiên cứu hiện đang làm cho nó có thể tạo ra các kết xuất 3D chi tiết trông giống như thật đối với mắt người. Những cái gọi là "bản đồ độ sâu" này được sử dụng để tạo kết xuất 3D các cảnh và mô phỏng chuyển động của máy ảnh trong đồ họa máy tính.

“Phương pháp của chúng tôi phân tích hình ảnh và tối ưu hóa quy trình bằng cách xem xét nội dung hình ảnh theo những hạn chế của các kiến ​​trúc hiện tại,” Ph.D. sinh viên Sebastian Dille. “Chúng tôi cung cấp hình ảnh đầu vào cho mạng nơ-ron của chúng tôi ở nhiều dạng khác nhau, để tạo ra nhiều chi tiết nhất mà mô hình cho phép trong khi vẫn giữ được hình dạng thực tế.”

Yağız Aksoy, giáo sư khoa học máy tính và giám đốc phòng thí nghiệm, cho biết: “Với các bản đồ độ sâu có độ phân giải cao mà nhóm có thể phát triển cho các bức ảnh trong thế giới thực, các nghệ sĩ và người sáng tạo nội dung có thể chuyển ngay ảnh hoặc tác phẩm nghệ thuật của họ sang một thế giới 3D phong phú. , nhóm của họ đã hợp tác với các nhà nghiên cứu Sylvain Paris và Long Mai, từ Adobe Research.

Các công cụ cho phép các nghệ sĩ biến nghệ thuật 2D thành thế giới 3D

Các nghệ sĩ toàn cầu đã sử dụng các ứng dụng được kích hoạt bởi nghiên cứu của phòng thí nghiệm của Aksoy. Akira Saito, một nghệ sĩ thị giác tại Nhật Bản, đang tạo ra các video đưa người xem vào thế giới 3D tuyệt vời được mơ ước trong các tác phẩm nghệ thuật 2D. Để làm được điều này, ông kết hợp các công cụ như Houdini, một phần mềm hoạt hình máy tính, với bản đồ độ sâu do Aksoy và nhóm của ông tạo ra.

“Thật vui khi thấy các nghệ sĩ độc lập tận dụng cơ hội của chúng tôi. công nghệ theo cách riêng của họ,” Aksoy cho biết. Phòng thí nghiệm của ông có kế hoạch mở rộng công việc này sang video và phát triển các công cụ mới giúp bản đồ độ sâu trở nên hữu ích hơn cho các nghệ sĩ.

“Chúng tôi đã đạt được những bước tiến lớn về thị giác máy tính và đồ họa máy tính trong những năm gần đây, nhưng việc áp dụng những AI công nghệ của cộng đồng nghệ sĩ cần phải là một quy trình hữu cơ và điều đó cần có thời gian. "