Các video deepfake thời gian thực, được báo trước là những người mang đến một thời đại mới của sự không chắc chắn về internet, dường như có một lỗ hổng cơ bản: Chúng không thể xử lý các cấu hình bên.

Đó là kết luận rút ra trong một báo cáo [PDF] từ Metaphysic.ai, chuyên về hình đại diện 3D, công nghệ deepfake và kết xuất hình ảnh 3D từ ảnh 2D. Trong các thử nghiệm, nó đã tiến hành bằng ứng dụng deepfake thời gian thực phổ biến DeepFaceSống, khó quay sang một bên khiến người ta dễ dàng nhận ra rằng người trên màn hình không phải là họ. 

Nhiều mô hình đã được sử dụng trong thử nghiệm - một số từ các cộng đồng deepfake và các mô hình có trong DeepFaceLive - nhưng chế độ xem 90 độ của khuôn mặt gây ra hiện tượng nhấp nháy và biến dạng do Mạng căn chỉnh khuôn mặt được sử dụng để ước tính các tư thế gặp khó khăn trong việc tìm ra những gì nó đang nhìn thấy. 

Martin Anderson, cộng tác viên của Metaphysic.ai, người viết nghiên cứu, cho biết: “Hầu hết các thuật toán căn chỉnh khuôn mặt dựa trên 2D chỉ gán 50-60 phần trăm số điểm mốc từ chế độ xem trực diện sang chế độ xem hồ sơ. blog đăng bài.

Nếu không có khả năng nhìn thấy đủ các điểm tham chiếu, phần mềm chỉ đơn giản là không biết cách chiếu mặt giả của nó.

Deepfakes trật bánh

Chỉ trong vài năm nữa, deepfakes đã tiến bộ từ khả năng chồng các khuôn mặt lên hình ảnh, thành thực hiện tương tự trong video được quay trước. Những tiến bộ mới nhất cho phép hoán đổi khuôn mặt theo thời gian thực, điều này đã dẫn đến việc sử dụng nhiều deepfakes hơn trong lừa đảo trực tuyến và tội phạm mạng.

A nghiên cứu từ VMware phát hiện ra rằng 13/125 số người được hỏi đã gặp phải deepfakes độc hại như một phần của cuộc tấn công, tăng XNUMX% so với năm trước. Lưu ý rằng nghiên cứu của VMware không chỉ rõ liệu các cuộc tấn công deepfake mà người trả lời gặp phải được ghi lại trước hay thời gian thực và chỉ có quy mô mẫu là XNUMX người.

FBI đã cảnh báo vào tháng XNUMX về những kẻ lừa đảo sử dụng công nghệ deepfake trong các cuộc phỏng vấn việc làm từ xa. Những người sử dụng kỹ thuật này đã được phát hiện phỏng vấn cho các công việc nhạy cảm sẽ cho phép họ truy cập vào dữ liệu khách hàng và thông tin độc quyền của doanh nghiệp, FBI cho biết. 

Video Deepfake cũng đã được sử dụng để đánh lừa phần mềm nhận dạng khuôn mặt trực tiếp, theo đến công ty khởi động chống gian lận trực tuyến Sensity AI. Các thử nghiệm của Sensity cho thấy chín trong số mười ứng dụng của các nhà cung cấp đã được mở khóa thành công bằng cách sử dụng một video đã thay đổi sâu được phát trực tuyến từ điện thoại di động.

Lo ngại về công nghệ này đã trở nên đủ nghiêm trọng để Liên minh Châu Âu thông qua luật thu tiền phạt đối với các công ty không đủ khả năng chống lại các hành vi xuyên tạc và các nguồn thông tin sai lệch khác. Trung Quốc cũng soạn thảo luật sâu sắc điều đó đe dọa sự trừng phạt pháp lý đối với việc sử dụng sai công nghệ, cũng như yêu cầu cấp phép cho bất kỳ hoạt động sử dụng deepfakes hợp pháp nào mà Trung Quốc gọi là “tổng hợp sâu”. 

Một cách giải quyết trong bao lâu?

Theo báo cáo của Metaphysic, ngay cả công nghệ như Nvidia's trường bức xạ thần kinh (NeRF), có thể tạo ra cảnh 3D chỉ từ một vài hình ảnh tĩnh, có những hạn chế khiến việc phát triển một chế độ xem mặt bên tốt là khó khăn. 

NeRF “về lý thuyết có thể ngoại suy bất kỳ số góc độ nào trên khuôn mặt chỉ từ một số ít các bức ảnh. [Tuy nhiên] các vấn đề xung quanh độ phân giải, tính di động trên khuôn mặt và sự ổn định theo thời gian đã cản trở NeRF tạo ra dữ liệu phong phú cần thiết để đào tạo một mô hình mã tự động có thể xử lý tốt các hình ảnh hồ sơ, ”Anderson viết. Chúng tôi đã liên hệ với Nvidia để tìm hiểu thêm nhưng vẫn chưa nhận được phản hồi. 

Độc giả sẽ lưu ý rằng các cuộc biểu tình của Metaphysic chỉ bao gồm những gương mặt nổi tiếng, trong đó rất nhiều lượt xem hồ sơ đã được chụp trên phim và ảnh. Mặt khác, những người không nổi tiếng trong chúng ta khó có thể có nhiều bức ảnh tiểu sử bên lề.

Anderson viết: “Trừ khi bạn bị bắt tại một thời điểm nào đó, có khả năng là bạn sẽ không có một hình ảnh nào như vậy, trên mạng xã hội hoặc trong một bộ sưu tập ngoại tuyến.

Gaurav Oberoi, một kỹ sư phần mềm và là người sáng lập công ty khởi nghiệp AI Lexion, đã nhận thấy điều tương tự khi nghiên cứu deepfakes vào năm 2018. Trong một đăng trên blog của anh ấy, Oberoi đã nêu chi tiết về cách mà các tác phẩm sâu sắc của diễn viên hài John Oliver chồng lên người dẫn chương trình đêm khuya Jimmy Fallon hoạt động tốt như thế nào, nhưng không có trong hồ sơ.

“Nói chung, hình ảnh đào tạo về mục tiêu của bạn cần phải gần đúng với hướng, nét mặt và ánh sáng trong video mà bạn muốn đưa chúng vào,” Oberoi nói. “Vì vậy, nếu bạn đang xây dựng một công cụ hoán đổi khuôn mặt cho một người bình thường, với điều kiện là hầu hết các bức ảnh trong số đó sẽ ở mặt trước, hãy hạn chế hoán đổi khuôn mặt ở những video chủ yếu quay về phía trước.”

Trên thực tế, điều đó có nghĩa là những kẻ lừa đảo sử dụng deepfakes thời gian thực khó có thể có dữ liệu cần thiết để tạo một chế độ xem tiểu sử phụ không thể nhận ra ngay là giả mạo (miễn là họ không sử dụng khuôn mặt người nổi tiếng được chụp ảnh kỹ lưỡng) . 

Cho đến khi chúng tôi biết các deepfakers đã tìm ra cách để khắc phục khuyết điểm này, bạn nên áp dụng chính sách yêu cầu người ở đầu bên kia của Zoom cho bạn thấy một góc nhìn về khuôn mặt của họ - nổi tiếng hay không. ®