Đây là những thách thức phải đối mặt với VR di động

NộI Dung

Ngân sách hạn chế
Băng thông và độ phân giải cao
Độ trễ thấp và bảng hiển thị
Âm thanh và cảm biến
Nhà phát triển và phần mềm
Gói lại

Cuối cùng, chúng tôi đã đi sâu vào cuộc cách mạng, như một số người có thể đưa ra, với các sản phẩm phần cứng và phần mềm có rất nhiều trên thị trường, và các nguồn lực đổ vào để thúc đẩy sự đổi mới. Tuy nhiên, chúng tôi đã hơn một năm kể từ khi sản phẩm chính ra mắt trong không gian này và chúng tôi vẫn đang chờ đợi ứng dụng sát thủ đó để biến thực tế ảo thành một thành công chủ đạo. Trong khi chúng tôi chờ đợi, các phát triển mới tiếp tục biến thực tế ảo trở thành một lựa chọn thương mại khả thi hơn, nhưng vẫn còn một số trở ngại kỹ thuật cần khắc phục, đặc biệt là trong không gian VR di động.

Ngân sách hạn chế

Thách thức rõ ràng nhất và được thảo luận nhiều nhất đối với các ứng dụng thực tế ảo di động là ngân sách năng lượng hạn chế và hạn chế nhiệt hơn nhiều so với máy tính để bàn tương đương. Chạy các ứng dụng đồ họa chuyên sâu từ pin có nghĩa là các thành phần năng lượng thấp hơn và sử dụng năng lượng hiệu quả là cần thiết để duy trì tuổi thọ pin. Ngoài ra, sự gần gũi của phần cứng xử lý với thiết bị đeo có nghĩa là ngân sách nhiệt có thể được đẩy lên cao hơn nữa. Để so sánh, thiết bị di động thường hoạt động trong giới hạn dưới 4 watt, trong khi GPU VR trên máy tính để bàn có thể dễ dàng tiêu thụ 150 watt trở lên.

Nó thừa nhận rộng rãi rằng VR di động sẽ không phù hợp với phần cứng máy tính để bàn, nhưng điều đó không có nghĩa là người tiêu dùng không yêu cầu trải nghiệm 3D ở độ phân giải cao và tốc độ khung hình cao.

Chúng tôi thừa nhận rộng rãi rằng VR di động sẽ không phù hợp với phần cứng máy tính để bàn, nhưng điều đó không có nghĩa là người tiêu dùng sẽ không yêu cầu trải nghiệm 3D chân thực ở độ phân giải rõ nét và tốc độ khung hình cao, mặc dù năng lượng hạn chế hơn ngân sách. Giữa việc xem video 3D, khám phá các địa điểm được tạo lại 360 độ và thậm chí chơi game, vẫn còn rất nhiều trường hợp sử dụng phù hợp với VR di động.

Nhìn lại SoC di động điển hình của bạn, điều này tạo ra các vấn đề bổ sung thường ít được đánh giá cao. Mặc dù các SoC di động có thể đóng gói sắp xếp CPU octa-core tốt và một số sức mạnh GPU đáng chú ý, nhưng nó không thể chạy các chip này ở chế độ nghiêng hoàn toàn, do cả mức tiêu thụ năng lượng và hạn chế nhiệt đã đề cập trước đó. Trong thực tế, CPU trong một phiên bản VR di động muốn chạy càng ít thời gian càng tốt, giải phóng GPU để tiêu thụ phần lớn ngân sách năng lượng hạn chế. Điều này không chỉ giới hạn các tài nguyên có sẵn cho logic trò chơi, tính toán vật lý và thậm chí cả các quy trình di động nền mà còn tạo gánh nặng cho các tác vụ VR thiết yếu, chẳng hạn như vẽ các cuộc gọi để hiển thị lập thể.

Ngành công nghiệp đang nghiên cứu các giải pháp cho việc này, điều mà don Chỉ áp dụng cho thiết bị di động. Kết xuất nhiều phần được hỗ trợ trong OpenGL 3.0 và ES 3.0 và được phát triển bởi những người đóng góp từ Oculus, Qualcomm, Nvidia, Google, Epic, ARM và Sony. Multiview cho phép hiển thị lập thể chỉ bằng một lệnh gọi duy nhất, thay vì một cuộc gọi cho mỗi điểm xem, giảm yêu cầu CPU và cũng thu hẹp công việc đỉnh GPU. Công nghệ này có thể cải thiện hiệu suất từ 40 đến 50 phần trăm. Trong không gian di động, Multiview đã được hỗ trợ bởi một số thiết bị ARM Mali và Qualcomm Adreno.

Một cải tiến khác dự kiến sẽ xuất hiện trong các sản phẩm VR di động sắp tới là kết xuất hoàn chỉnh. Được sử dụng cùng với công nghệ theo dõi bằng mắt, kết xuất hoàn chỉnh sẽ giảm tải cho GPU bằng cách chỉ hiển thị tiêu điểm chính xác của người dùng ở độ phân giải đầy đủ và giảm độ phân giải của các đối tượng trong tầm nhìn ngoại vi. Việc bổ sung cho hệ thống thị giác của con người một cách độc đáo và có thể giảm đáng kể tải GPU, do đó tiết kiệm năng lượng và / hoặc giải phóng nhiều năng lượng hơn cho các tác vụ CPU hoặc GPU khác.

Băng thông và độ phân giải cao

Mặc dù sức mạnh xử lý bị hạn chế trong các tình huống VR trên thiết bị di động, nền tảng này vẫn được đáp ứng các yêu cầu tương tự như các nền tảng thực tế ảo khác, bao gồm các yêu cầu về độ trễ thấp, bảng hiển thị độ phân giải cao. Ngay cả những người đã xem màn hình VR có độ phân giải QHD (2560 x 1440) hoặc tai nghe Rift độ phân giải 1080 × 1200 trên mỗi mắt cũng có thể bị choáng ngợp bởi độ rõ của hình ảnh. Khử răng cưa đặc biệt có vấn đề khi mắt chúng ta ở rất gần màn hình, với các cạnh trông đặc biệt trông thô ráp hoặc lởm chởm trong quá trình chuyển động.

Giải pháp vũ lực là tăng độ phân giải màn hình, với 4K là tiến trình logic tiếp theo. Tuy nhiên, các thiết bị cần duy trì tốc độ làm mới cao bất kể độ phân giải, với 60Hz được coi là tối thiểu nhưng 90 hoặc thậm chí 120Hz được ưa thích hơn nhiều. Điều này đặt một gánh nặng lớn lên bộ nhớ hệ thống, với bất kỳ nơi nào nhiều gấp hai đến tám lần so với các thiết bị hiện nay. Băng thông bộ nhớ đã bị giới hạn trong VR di động nhiều hơn so với các sản phẩm máy tính để bàn, sử dụng bộ nhớ đồ họa chuyên dụng nhanh hơn thay vì dùng chung.

Các giải pháp khả thi để tiết kiệm băng thông đồ họa bao gồm sử dụng các công nghệ nén, chẳng hạn như tiêu chuẩn nén kết cấu có thể mở rộng (ASTC) của ARM và AMD, hoặc cả hai đều là các phần mở rộng chính thức của OpenGL và OpenGL ES. ASTC cũng được hỗ trợ về phần cứng trong các GPU Mali mới nhất của ARM, Nvidia, Kepler và Maxwell Tegra SoC và GPU tích hợp mới nhất của Intel, và có thể tiết kiệm hơn 50% băng thông trong một số trường hợp so với việc sử dụng kết cấu không nén.

Việc sử dụng nén kết cấu có thể làm giảm đáng kể băng thông, độ trễ và bộ nhớ theo yêu cầu của các ứng dụng 3D. Nguồn - ARM.

Các kỹ thuật khác có thể được thực hiện quá.Việc sử dụng tessname có thể tạo ra hình học trông chi tiết hơn từ các đối tượng đơn giản hơn, mặc dù bằng cách yêu cầu một số tài nguyên GPU đáng kể khác. Trì hoãn kết xuất và chuyển tiếp Pixel Kill có thể tránh hiển thị các pixel bị chặn, trong khi các kiến trúc Binning / Tiling có thể được sử dụng để chia hình ảnh thành các lưới hoặc gạch nhỏ hơn được hiển thị riêng biệt, tất cả đều có thể tiết kiệm băng thông.

Ngoài ra, hoặc tốt nhất là, các nhà phát triển có thể hy sinh chất lượng hình ảnh để giảm căng thẳng về băng thông hệ thống. Mật độ hình học có thể được hy sinh hoặc loại bỏ tích cực hơn được sử dụng để giảm tải và độ phân giải dữ liệu đỉnh có thể được hạ xuống 16 bit, giảm từ độ chính xác 32 bit được sử dụng theo truyền thống. Nhiều trong số các kỹ thuật này đã được sử dụng trong các gói di động khác nhau và cùng nhau chúng có thể giúp giảm căng thẳng về băng thông.

Bộ nhớ không chỉ là một hạn chế lớn trong không gian VR trên thiết bị di động, mà còn là một người tiêu thụ năng lượng khá lớn, thường bằng với mức tiêu thụ của CPU hoặc GPU. Bằng cách tiết kiệm băng thông bộ nhớ và sử dụng, các giải pháp thực tế ảo di động sẽ thấy thời lượng pin lâu hơn.

Độ trễ thấp và bảng hiển thị

Nói về các vấn đề về độ trễ, cho đến nay chúng tôi chỉ thấy các tai nghe VR có màn hình OLED thể thao và điều này chủ yếu là do thời gian chuyển đổi pixel nhanh dưới một phần nghìn giây. Trong lịch sử, LCD có liên quan đến các vấn đề bóng mờ với tốc độ làm mới rất nhanh, khiến chúng không phù hợp với VR. Tuy nhiên, màn hình LCD độ phân giải rất cao vẫn rẻ hơn để sản xuất so với các sản phẩm tương đương OLED, vì vậy việc chuyển sang công nghệ này có thể giúp đưa giá tai nghe VR xuống mức phải chăng hơn.

Chuyển động đến độ trễ photon nên là 20ms. Điều này bao gồm đăng ký và xử lý chuyển động, xử lý đồ họa và âm thanh, và cập nhật màn hình.

Màn hình là một phần đặc biệt quan trọng trong độ trễ chung của một hệ thống thực tế ảo, thường tạo ra sự khác biệt giữa trải nghiệm dường như vô nghĩa và phụ. Trong một hệ thống lý tưởng, độ trễ chuyển động-photon - thời gian giữa lúc di chuyển đầu và màn hình phản hồi - nên dưới 20 mili giây. Rõ ràng một màn hình 50ms là không tốt ở đây. Các tấm lý tưởng cần phải là 5ms để phù hợp với cảm biến và độ trễ xử lý.

Hiện tại, có một sự đánh đổi hiệu suất chi phí ủng hộ OLED, nhưng điều này có thể sớm thay đổi. Các màn hình LCD hỗ trợ tốc độ làm mới cao hơn và thời gian phản hồi đen trắng thấp, sử dụng các kỹ thuật tiên tiến, chẳng hạn như đèn nền nhấp nháy, có thể phù hợp với hóa đơn độc đáo. Japan Display đã cho thấy một bảng điều khiển như vậy vào năm ngoái và chúng ta có thể thấy các nhà sản xuất khác cũng công bố các công nghệ tương tự.

Âm thanh và cảm biến

Mặc dù phần lớn các chủ đề thực tế ảo phổ biến xoay quanh chất lượng hình ảnh, VR nhập vai cũng yêu cầu độ phân giải cao, âm thanh 3D chính xác không gian và cảm biến độ trễ thấp. Trong lĩnh vực di động, tất cả điều này phải được thực hiện trong cùng một ngân sách năng lượng bị hạn chế ảnh hưởng đến CPU, GPU và bộ nhớ, điều này đưa ra những thách thức tiếp theo.

Chúng tôi đã chạm vào các vấn đề về độ trễ của cảm biến trước đây, trong đó một chuyển động phải được đăng ký và xử lý như là một phần của giới hạn độ trễ chuyển động thành photon 20ms. Khi chúng tôi xem xét rằng các tai nghe VR sử dụng 6 độ chuyển động - xoay và ngáp trong mỗi trục X, Y và Z - cộng với các công nghệ mới như theo dõi bằng mắt, có một lượng dữ liệu không đổi đáng kể để thu thập và xử lý, tất cả đều ở mức tối thiểu độ trễ.

Các giải pháp để giữ độ trễ này càng thấp càng tốt, đòi hỏi cách tiếp cận từ đầu đến cuối, với cả phần cứng và phần mềm đều có thể thực hiện song song các tác vụ này. May mắn cho các thiết bị di động, việc sử dụng bộ xử lý cảm biến năng lượng thấp chuyên dụng và công nghệ luôn bật là rất phổ biến, và chúng chạy ở công suất khá thấp.

Đối với âm thanh, vị trí 3D là một kỹ thuật được sử dụng từ lâu để chơi game, nhưng việc sử dụng chức năng truyền liên quan đến đầu (HRTF) và xử lý hồi âm tích chập, được yêu cầu cho định vị nguồn âm thanh trung thực, là các tác vụ khá nặng của bộ xử lý. Mặc dù những điều này có thể được thực hiện trên CPU, bộ xử lý tín hiệu số chuyên dụng (DSD) có thể thực hiện các loại quy trình này hiệu quả hơn nhiều, cả về thời gian xử lý và cả công suất.

Kết hợp các tính năng này với các yêu cầu về đồ họa và hiển thị mà chúng tôi đã đề cập, rõ ràng rằng việc sử dụng nhiều bộ xử lý chuyên dụng là cách hiệu quả nhất để đáp ứng các nhu cầu này. Chúng tôi đã thấy Qualcomm tạo ra nhiều khả năng tính toán không đồng nhất của các nền tảng di động Snapdragon trung cấp gần đây nhất, kết hợp nhiều đơn vị xử lý thành một gói duy nhất với khả năng đáp ứng tốt các nhu cầu VR di động này. Chúng tôi có thể sẽ thấy loại gói năng lượng trong một số sản phẩm VR di động, bao gồm cả phần cứng di động độc lập.

Nhà phát triển và phần mềm

Cuối cùng, không có tiến bộ phần cứng nào là tốt nếu không có bộ phần mềm, công cụ trò chơi và SDK để hỗ trợ các nhà phát triển. Rốt cuộc, chúng ta có thể có tất cả các nhà phát triển phát minh lại bánh xe cho mọi ứng dụng. Giữ chi phí phát triển thấp và tốc độ nhanh nhất có thể là chìa khóa nếu chúng ta sẽ thấy một loạt các ứng dụng.

SDK đặc biệt cần thiết để thực hiện các tác vụ xử lý VR chính, chẳng hạn như Timewarp không đồng bộ, hiệu chỉnh méo ống kính và kết xuất lập thể. Không đề cập đến quản lý năng lượng, nhiệt và xử lý trong các thiết lập phần cứng không đồng nhất.

May mắn thay, tất cả các nhà sản xuất nền tảng phần cứng lớn đều cung cấp SDK cho các nhà phát triển, mặc dù thị trường khá phân mảnh dẫn đến thiếu hỗ trợ đa nền tảng. Ví dụ: Google có SDK VR cho Android và SDK dành riêng cho công cụ Unity phổ biến, trong khi Oculus có SDK di động được tích hợp cùng với Samsung cho Gear VR. Điều quan trọng, nhóm Khronos gần đây đã tiết lộ sáng kiến OpenXR của mình, nhằm mục đích cung cấp API để bao gồm tất cả các nền tảng chính ở cả hai cấp độ thiết bị và ứng dụng, để tạo điều kiện phát triển đa nền tảng dễ dàng hơn. OpenXR có thể thấy hỗ trợ trong thiết bị thực tế ảo đầu tiên của mình vào khoảng trước năm 2018.

Gói lại

Mặc dù có một số vấn đề, công nghệ đang được phát triển và ở một mức độ nào đó đã có ở đây, điều đó làm cho thực tế ảo di động có thể thực hiện được đối với một số ứng dụng. Mobile VR cũng có một số lợi ích đơn giản là don don áp dụng cho các sản phẩm tương đương trên máy tính để bàn, điều này sẽ tiếp tục làm cho nó trở thành một nền tảng đáng để đầu tư và hấp dẫn. Yếu tố tính di động làm cho VR di động trở thành một nền tảng hấp dẫn cho trải nghiệm đa phương tiện và thậm chí chơi game nhẹ mà không cần dây kết nối với PC mạnh hơn.

Hơn nữa, số lượng thiết bị di động trên thị trường ngày càng được trang bị khả năng thực tế ảo khiến nó trở thành nền tảng được lựa chọn để tiếp cận đối tượng mục tiêu lớn nhất. Nếu thực tế ảo trở thành một nền tảng chính thì nó cần người dùng và di động là cơ sở người dùng lớn nhất để khai thác.