Logo Zephyrnet

Độ phân giải siêu cao: Nâng cấp chất lượng hình ảnh với AI

Ngày:

Đây là bài viết của khách mời Robert Lara, Giám đốc Tiếp thị Cấp cao tại Mipsology

Siêu phân giải đề cập đến quá trình tái tạo lại hình ảnh hoặc chuỗi có độ phân giải cao hơn từ các hình ảnh có độ phân giải thấp hơn được quan sát. Một hình ảnh có thể có “độ phân giải thấp hơn” do độ phân giải không gian nhỏ hơn (tức là kích thước) hoặc do kết quả của sự xuống cấp (chẳng hạn như mờ). Nó có một loạt các ứng dụng bao gồm nhưng không giới hạn ở hình ảnh vệ tinh, hình ảnh y tế, video giám sát cũng như truyền phát video, đó là trọng tâm chính của bài viết này.

Các nhà cung cấp nội dung và truyền phát video đang gặp thách thức trong việc đáp ứng nhu cầu của người tiêu dùng về video và hình ảnh chất lượng cao trên tất cả các thiết bị. Khi các tiêu chuẩn về độ phân giải độ phân giải cao (720p và 1080p) được giới thiệu, HDTV bùng nổ và công nghệ tiếp tục đổi mới, nâng cao chất lượng hình ảnh lên cao hơn nữa. Tiêu chuẩn hiện tại, độ phân giải siêu cao 4K (4K UHD), mang đến cho người xem hình ảnh sắc nét hơn và chi tiết chính xác hơn nhờ 8 triệu điểm ảnh (so với 1 triệu điểm ảnh của HD) nhưng đó không phải là điều duy nhất thay đổi trò chơi để xem nội dung. Nhiều nhà cung cấp dịch vụ như Netflix, Amazon Video, thậm chí cả Facebook và TikTok đang ngày càng cung cấp nội dung 4K khi nhiều người mua TV 4K và 8K hơn. Nhưng làm thế nào các nhà cung cấp dịch vụ này có thể đảm bảo rằng cả video mới và cũ đều đáp ứng được kỳ vọng ngày càng tăng của khách hàng trên bất kỳ thiết bị nào?

Siêu phân giải có thể biến cái này…………………………… thành……

hình ảnh (10) .pnghình ảnh (11) .png

Tận dụng độ phân giải siêu cao để cải thiện chất lượng video và hình ảnh

Các dịch vụ nội dung mới thường đáp ứng tiêu chuẩn HD, nhưng điều này không phải lúc nào cũng áp dụng cho các chương trình truyền hình và phim cũ hơn cũng như các video do người dùng tạo được đăng trên mạng xã hội. Rất may, có một giải pháp. Các mô hình học sâu nâng cao hiện có thể thực hiện “siêu phân giải”, một phương pháp cải thiện hình ảnh video xác định các thuộc tính của video hoặc hình ảnh chất lượng thấp và 'điền vào' các phần còn thiếu để tạo đầu ra hình ảnh hoặc video chất lượng cao hơn . Nó không phải là hình ảnh gốc thực sự, nhưng nó trông tự nhiên hơn đối với mắt người. Với độ phân giải siêu cao, một dịch vụ phát trực tuyến có thể lấy nội dung cũ như “The Twilight Zone” và làm cho chất lượng video trông như được quay trong thế kỷ 21. Và những người không thích cảnh quay đen trắng cũng gặp may; máy học và mạng lưới thần kinh có thể sẽ sớm được sử dụng để thêm màu sắc cho các cảnh quay cũ. Thông tin thêm về điều đó trong một bài đăng trên blog trong tương lai

Sự căng thẳng về tài nguyên máy tính

Các dịch vụ phát trực tuyến và ứng dụng truyền thông xã hội lớn nhất sẽ lý tưởng cung cấp hàng triệu video ở độ phân giải chất lượng cao nhất để tối ưu hóa trải nghiệm xem, nhưng điều này không nhanh chóng và cũng không dễ dàng. Áp dụng độ phân giải siêu cao cho một giờ video có thể mất 10-15 giờ và yêu cầu tài nguyên máy tính đáng kể. Thêm vào đó là nhu cầu ngày càng tăng về nội dung phát trực tiếp chất lượng thông qua các dịch vụ như Twitch và Zoom, yêu cầu họ tạo hàng triệu luồng có độ phân giải cao mà không bị chậm trễ ở hiệu suất tối ưu, 24/7 và tương thích với mọi kích thước màn hình – điện thoại, máy tính bảng , hoặc Tivi.

Đây là lúc giải pháp phần mềm Zebra của Mipsology có thể đóng một vai trò quan trọng đối với các nhà cung cấp dịch vụ đang tìm cách tạo sự khác biệt bằng nội dung video chất lượng cao. Xem hình ảnh ngăn xếp phần mềm Zebra bên dưới.

IP 'Không nỗ lực' của Zebra mang lại hiệu quả tính toán hiệu suất cao nhất và không yêu cầu thay đổi mạng thần kinh của bạn, không thay đổi khung của bạn, không có công cụ mới để tìm hiểu. Bạn thậm chí có thể giữ GPU hiện có của mình để đào tạo. Chỉ cần gõ một lệnh Linux duy nhất và Zebra sẽ hoạt động, cung cấp khả năng tính toán suy luận hiệu quả nhất hiện có. Và Zebra hỗ trợ Xilinx Alveo và FPGA.IP 'Không nỗ lực' của Zebra mang lại hiệu quả tính toán hiệu suất cao nhất và không yêu cầu thay đổi mạng thần kinh của bạn, không thay đổi khung của bạn, không có công cụ mới để tìm hiểu. Bạn thậm chí có thể giữ GPU hiện có của mình để đào tạo. Chỉ cần gõ một lệnh Linux duy nhất và Zebra sẽ hoạt động, cung cấp khả năng tính toán suy luận hiệu quả nhất hiện có. Và Zebra hỗ trợ Xilinx Alveo và FPGA.

Độ phân giải siêu cao: Sự khác biệt của Zebra

Ngày nay, các kỹ thuật học sâu đã được áp dụng cho nhiều tác vụ liên quan đến hình ảnh hoặc video. Nó cũng đã được chứng minh là có hiệu quả đối với Độ phân giải siêu cao, cho thấy hiệu suất tối tân về chất lượng hình ảnh. Tuy nhiên, mạng thần kinh cho độ phân giải siêu cao khác với mạng phân loại hoặc phân đoạn tiêu chuẩn ở chỗ chúng có đầu vào và đầu ra lớn và yêu cầu một số lượng lớn phép tính. Zebra tận dụng mật độ bộ nhớ cao kết hợp với tài nguyên điện toán lớn trong FPGA để cung cấp một nền tảng điện toán lý tưởng cho tất cả các NN, kể cả những NN đòi hỏi độ phân giải siêu cao.

Một mạng thần kinh rất tốt để tạo ra những hình ảnh có độ phân giải cao như vậy là EDSR (https://arxiv.org/abs/1707.02921), có cấu trúc như sau:

hình ảnh (12) .png
Zebra hợp lý hóa quy trình siêu phân giải và giảm tải máy tính, cho phép các nhà cung cấp nội dung và phát trực tuyến đạt được mục tiêu hình ảnh và video chất lượng cao của họ. Sử dụng nhiều Xilinx Alveo™ máy gia tốc thẻ trong máy tính, Zebra có thể đạt được mật độ điện toán cao, giảm chi phí cơ sở hạ tầng: 1 máy chủ hỗ trợ Xilinx Alveo thực hiện công việc của 3 máy chủ hỗ trợ GPU. Dựa trên điện toán số nguyên 8 bit và lượng tử hóa hiệu quả độc quyền, Zebra tăng tốc suy luận của các mạng thần kinh như EDSR để tạo nội dung 2K hoặc 4K chất lượng cao từ video 1K và cho phép phát trực tiếp – tất cả trên một máy tính. Điều đó không chỉ giảm chi phí ban đầu mà còn giảm chi phí cài đặt, chi phí trung tâm dữ liệu và đơn giản hóa đáng kể phần mềm vì các luồng video không cần trải rộng trên nhiều máy chủ.

hình ảnh (13) .png

Kết quả chạy EDSR của Zebra được hiển thị bên dưới bằng cách sử dụng hình ảnh “0825 The band” (từ bộ dữ liệu DIV2K, Thử thách NTIRE 2017 về Độ phân giải siêu cao của một hình ảnh: Tập dữ liệu và Nghiên cứu).
Hình ảnh trước khi xử lý hiển thị bên dưới (phía trên bên trái) và sau khi xử lý (phía dưới bên trái). Vì độ chính xác của hình ảnh 4k không dễ hiển thị trong một bài viết nên chúng tôi đã thu phóng cùng một khu vực của hình ảnh. Phía trên bên phải hiển thị mức thu phóng trên hình ảnh gốc bằng thuật toán nhị phân cổ điển, trong khi phía dưới bên phải hiển thị một phần thực của hình ảnh 4k thu được sau khi được Zebra phóng to bằng EDSR.

mip-image.PNG

Kết luận

Bằng cách sử dụng các nền tảng dựa trên Xilinx FPGA hỗ trợ Zebra, Zebra cho phép cơ sở hạ tầng xử lý đơn giản giúp giảm chi phí tạo nội dung độ nét cao so với phần cứng cạnh tranh. Phần cứng dựa trên FPGA có tuổi thọ cao và không bị lỗi ngẫu nhiên, cho phép các dịch vụ chạy 24/7 với chi phí bảo trì thấp và không bị gián đoạn. Điều này rất cần thiết cho các công ty đang tìm cách nâng cấp hàng nghìn bộ phim, chương trình và video ngắn.

Công cụ tăng tốc AI hiệu suất cao của Zebra là plug & play, không yêu cầu bất kỳ thay đổi nào đối với mạng thần kinh và có thể được triển khai ngay lập tức để suy luận trong khi vẫn tiếp tục đào tạo hiện có. Điều này quan trọng vì hai lý do. Đầu tiên, nó tiết kiệm một lượng thời gian và chi phí đáng kinh ngạc, và thứ hai, IP duy nhất của Zebra cung cấp nội dung chất lượng cao được yêu cầu trong các ứng dụng siêu phân giải ở cấp độ thương mại ngày nay.

Để tìm hiểu thêm về Đạt được độ phân giải siêu cao thông qua Deep Learning với Xilinx và Giải pháp Plug & Play của Mipsology, hãy tham gia chương trình sắp tới của chúng tôi webinar vào ngày 26 tháng 9, 00:XNUMX sáng theo giờ PDT. 

Nguồn: https://forums.xilinx.com/t5/AI-and-Machine-Learning-Blog/Super-Resolution-Upgrading-Image-Quality-with-AI/ba-p/1196805

tại chỗ_img

Tin tức mới nhất

tại chỗ_img