Apple의 MR(Mixed Reality), 몰입형3D가 가져올 변화와 숙제

 AI 빅 모델의 부상, 메타버스의 개념도 자연스럽게 사라지고 있으며, AR/VR도 그 영향이 사그라들 것이라 생각했는데, 애플의 MR(Mixed Reality) Vision Pro 출시로 시장에 다시 열기를 불어 넣고 있습니다.

제품 출시와 그 이후의 공간 컴퓨팅을 통해 다른 콘텐츠에서 가장 많이 들어본 단어가 "몰입형"이며, 지난 구글의 I/O 컨퍼런스에서도 이 단어가 여러 번 언급되었습니다.

심지어 NeRF 맵에 직접 몰입형 뷰라는 이름을 붙인 것을 보면 단순한 용어의 변화일 뿐이지만 제품과 기술에서 대형 제조사들이 집중하고 있다는 것을 알 수 있습니다.

 

과거에는 맵을 정의 할 때 "이미지 맵, 벡터 맵 또는 라이브 3D 맵 등"과 같이 여전히 맵 자체가 일반적인 주제이지만 "몰입형"이라는 단어는 사용자에게 몰입감을 줄 수 있는 맵으로 사용자의 느낌에서 정의되고, 설명하는 것이 많습니다.

이를 위해서는 3D 장면 자체, 하드웨어 캐리어, 상호 작용 모드 및 시각적 경험을 업그레이드해야 합니다.

업그레이드

3D 장면 구성은 "실제 3D 또는 NeRF + 게임 엔진" 조합과 같은 현실 데이터 수집 및 렌더링 수단이 비교적 성숙해졌으며, 다음 단계는 자연스럽게 "하드웨어 캐리어, 상호 작용, 시각적 경험" 문제를 해결하는 것입니다. 현재 업계 상황에서 일부 워터 디지털 트윈 및 스마트 파크 애플리케이션 시나리오에서 이미 많은 프로젝트에서 AR 플랫폼과 인터랙션 방식을 시도하고 있습니다.

AR/VR에 맞는 새로운 컴퓨팅 플랫폼이 필요,,

저는 개인적으로 AR이나 VR 실무자가 아니기 때문에 전반적으로 AR이나 VR이 불확실한 방향은 아니지만, 애플리케이션 측면에서 보면 몰입형 3D 애플리케이션이 일반적인 방향이 될 것입니다. 그리고 그 이면에는 뒷받침할 새로운 컴퓨팅 플랫폼이 필요하고, 이에 대해 애플은 메타 유니버스라는 말을 언급하지 않았습니다. 전세계적으로 잘 들어보지 못한 ‘스페이셜 컴퓨팅(공간 컴퓨팅)’이라는 말을 사용합니다.

 

1.     About Idea

메타 유니버스에 대한 언급은 없이,,,, 공간 컴퓨팅만

공간 컴퓨팅은 2003년 사이먼 그린월드가 "기계가 실제 사물과 공간에 대한 참조를 유지하고 조작하는 인간과 기계의 상호 작용"으로 정의했습니다.

간단히 말해, 공간 컴퓨팅은 우리 주변의 공간을 컴퓨터 및 소프트웨어와 상호 작용하는 매개체로 사용하여 컴퓨터가 물리적 세계를 이해하고 상호 작용할 수 있도록 하며, 우리가 보다 자연스럽게 컴퓨터와 상호 작용할 수 있도록 하는 컴퓨팅 기술입니다.

공간 컴퓨팅에 대해서는 애플이 더욱더 인식하고 원할 뿐만 아니라 위의 그림에서 볼 수 있듯이 PTC뿐만 아니라 Microsoft도 더 많이 인식하고 있습니다.

Microsoft는 공간 컴퓨팅에 대해서 컴퓨팅 플랫폼의 세 번째 변화로 정의했으며 이전 두 단계는 휴먼 컴퓨팅과 모바일 컴퓨팅으로 요약되었습니다. 이전 두 단계는 개인용 PC와 스마트폰으로 대표되는 휴먼 컴퓨팅과 모바일 컴퓨팅으로 요약되었습니다.

현재 일어나고 있는 것은 공간 컴퓨팅이며, 공간 컴퓨팅의 대표적인 특징은 연산 능력 측면에서 완전한 공간 환경 인식을 지원하는 기능으로, 비전 프로 제품이 가져온 대표적인 인터랙션 변화이기도 합니다.

사실 우리는 새로운 개념이 나오더라도 핵심 내용은 크게 변하지 않았고, "메타 우주" 개념과 관련된 "공간 컴퓨팅"은 더 구체적이고 매우 빠르게 합의에 도달할 수 있는지 여부에 대한 결과가 다가올 미래라는 확신의 기대로 여론이 형성될 것입니다. 이러한 확신은 자연스럽게 자본과 기술 투자를 유치하여 더 나은 발전을 이룰 것입니다.

AI 빅 모델과 마찬가지로 매우 구체적인 ChatGPT는 즉시 미래의 방향을 명확하게 했고, 샘플을 재생할 벤치 마크 제품이 있으며, 자본과 기술은 자연스럽게 방향을 전환하여 더 명확한 전개를 수용 할 것이며, Vision Pro의 출시로 Immersive 3D라는 방향이 확실성을 볼 수 있지만 여전히 어떻게 해야하는지’는 애플의 내년 실적이 결과를 보여주겠지요

 

2. 상호 작용에 대해: 창/볼륨/공간

개념에 대해 설명했으니 이제 VisionOS에서 사용할 수 있는 애플리케이션 빌드 모드를 살펴보겠습니다. 개발 문서 소개에 따르면 현재 VisionOS는 몰입형 애플리케이션 빌드를 위한 세 가지 모드를 지원합니다:

Windows

이 모드에서는 현재 애플리케이션과의 호환성을 극대화하고, 기존 보기 및 컨트롤이 있는 창을 하나 이상 만들 수 있을 뿐만 아니라 3D 콘텐츠를 추가하여 경험에 깊이를 더할 수 있습니다.

볼륨

이 모드는 주로 ‘전체 3D 몰입형 애플리케이션’을 구축하는 데 사용됩니다.

주로 RealityKit + SwiftUI로 달성되며, 경계 볼륨과 경계가 없는 볼륨으로 구분됩니다.

경계 볼륨:  제한된 공간에서만 장면을 표시 할 수 있으며, 경계 이상이 잘리는 모드

경계가 없는 볼륨:  장면이 공간에서 자유롭게 확장 될 수 있으며, 3D 애플리케이션의 주요 애플리케이션 모드가 되어야 함

확장 : 주요 3D 응용 프로그램 모드가 되어야 하며, 더 흥미로운 것은 공식적인 예가 3D 지구 장면을 기반으로 하며, ‘지리 공간 클래스 응용 프로그램’이 더 나은 경험을 제공할 수 있음.

공간(space)

공간은 애플리케이션을 호스팅하는 백그라운드 공간으로, 공유 공간과 전체 공간으로 나뉩니다. 보다 특별한 경험을 원한다면 앱이 창과 볼륨을 사용하고, 무제한 3D 콘텐츠를 만들 수 있으며, 믹스, 프로그레시브, 전체 모드로 구분되는 환경에 완전히 몰입할 수 있는 전체 공간을 사용할 수 있습니다.

믹스 모드 : 볼륨을 무제한으로 설정할 수 있지만, 주변 사람들이 여전히 볼 수 있음.

프로그레시브 모드 : 사용자에게 180도 화각의 전용 뷰포트를 제공하며, 뷰포트 안의 인물은 지움.

전체 모드 : 주변 사물이 완전히 지워지고, 사람이 장면의 전체 응용 프로그램에 들어가서 장면의 요소만 상호 작용함. 더 이상 주변 환경의 요소와 상호 작용하지 않으며 이는 VR과 더 유사.

처음 두 모드는 약간의 AR 모드이며, Apple의 디자인에서 두 경계가 점차 흐려졌습니다.

3. 개발 관련: Xcode/Unity/Reality Composer Pro｜SwiftUI/RealityKit｜ARKit/Metal

위에서 응용 프로그램의 모드를 소개했는데, 비전 프로에서 몰입형 응용 프로그램 개발을 소개하는 부분에서 개발 도구로 주로 사용되는 개발 프레임 워크와 XCode, Unity 및 Reality Composer Pro에서 어떤 개발 프레임 워크와 도구를 사용할 것인지,

이미 더 익숙한 XCode는 비전 프로의 개발을 지원하기 위해 xrOS 개발 옵션의 원래 기반에 추가되고, Unity는 xrOS 개발 옵션의 원래 기반에 추가되며, Unity는 원래 xrOS 개발 옵션의 원래 기반에 추가됩니다. 이미 익숙한 XCode는 원래의 xrOS 개발 옵션을 기반으로 추가될 예정이며, 공식 타사 오픈 프레임워크인 Unity는 개발 지침에 따라 현재 출력 결과물을 사용해야 하는 폴리스페이셜 툴을 RealityKit의 VisionOS 지원 아래에서 Unity의 씬으로 변환하고 렌더링 파이프라인에서는 현재 URP 및 SRP 파이프라인만 지원합니다.

반면 Reality Composer Pro는 드래그 앤 드롭으로 여러 플랫폼에서 3D 씬을 구성한 다음 애플리케이션에 바로 릴리스할 수 있는 로우코드 3D 씬 빌더입니다.

개발 프레임 워크 수준에서 주요 지원은 SwiftUI와 RealityKit이며, SwiftUI는 사용자 상호 작용 부분을 담당하는 기본 프레임 워크이며, RealityKit은 일부 조명, 재질, 애니메이션 및 기본 물리 구현을 지원하는 등 렌더링 엔진에 가깝고 그 뒤에는 일부 사물 인식과 같은 일부 AR 기능을 달성해야합니다.

 트래킹, 포지셔닝은 ARKit을 통해 달성해야 할 더 기본적인 API 기능을 제공하는 반면, Metal은 Apple의 시스템이 더 기본적인 그래픽 엔진 API, 상태 및 Vulkan 및 DirectX 수준입니다.

 

4. about Chance

비전 프로는 확실한 미래를 가져다줄 수 있나요?

마지막 채팅 또는 기회 지점으로 돌아 가기,

일반적으로 더 중요한 기술 변화는 초기 IOS 모바일 개발자 뿐만 아니라 UE 및 Unity 개발자 로 이전 양상과 비슷하게 새로운 개발 배당금의 물결을 가져올 것이며, 이러한 제품 및 기술의 출현 초기 단계에서 인재가 부족하여 가격이 급등했습니다.

여기에는 플랫폼을 기반으로 한 애플리케이션 개발 수요 뿐만 아니라 후속 조치를 취할 유사한 제품의 일부 제조업체도 새로운 컴퓨팅 플랫폼에 대한 수요가 매우 강하여, 새로운 개발 모델이 생겨나고 이는 자연스럽게 새로운 비즈니스 및 인재 수요를 창출 할 것이며, 회사의 기회는 개인에게도 기회가 될 것입니다.

일부 초대된 미디어의 피드백에서 현재 Vision Pro 기본 플랫폼의 완성도는 상대적으로 높았고 경험은 실제로 매우 좋았습니다. 피드백에서 보면 현재 Vision Pro 자체, 하드웨어 및 운영 체제의 완성도 탓에 여전히 개발자를 유치하는 것이 중요합니다. 현재 Vision 자체의 하드웨어와 운영 체제 자체는 상대적으로 높지만 애플리케이션은 여전히 상대적으로 작기 때문에 플랫폼이 더 많은 개발자를 유치하고, 더 많은 생태 애플리케이션을 생성 할 수 있다면 성공 확률이 더 높아집니다.

최근 지식플래닛 커뮤니티에 '디지털 트윈 처음부터 배우기'와 같은 칼럼 콘텐츠를 제공하는 'GIS 마루 프로'를 새로 개설했는데, 현재 2D GIS 버전, 유니티, UE 등 3개의 하위 칼럼이 개설되어 있고, 30회 이상의 강좌가 업데이트되었습니다.

이와 같이 사람들의 기대가 커지고, 점점 더 많은 어플리케이션 생태계가 마련된다면 현재의 비관적인 여론이 잠재워질 수 있지 않나 기대해봅니다.