虛擬現實/增強現實中的三維草圖繪製


前言

沉浸式三維虛擬現實(VR)環境下的草圖技術在各種交互式三維設計應用中具有巨大的潛力。然而,在空中精確繪製預定筆劃可能是一個挑戰。草圖(freehand sketching)由於其自由形式和表現力的特點,是許多視覺設計管道中使用的一項基本任務。
商業工具:Quill, FreeDrawer, Tilt Brush, Gravity Sketch.


一、目前存在的問題

Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice. Experimental Evaluation of Sketching on Surfaces in VR. CHI2017.

  • 物理表面: 一種可能的方法是用非支配手握住一個剪貼板或其他堅硬的表面。另一種方法是由機械臂驅動的動態可配置拉深表面。或用於輔助三維草圖繪製的主動觸覺設備。
  • 視覺嚮導:「Guides」 feature in Tilt Brush,網格和腳手架曲線;新的筆劃處理方法來解釋曲線公平性的不足。
  • 深度感知:霧渲染模糊遠處的物體,3d網格,半透明渲染的自動錶面處理
  • 方向位置導航:導航工具使他們能夠捕捉或投影繪圖平面到具有更高「草圖能力」的位置和方向
  • 繪畫尺寸:可管理的小範圍內畫畫,以提高準確性和舒適性,同時允許用戶快速切換到全尺寸視圖
  • 曲面筆畫:不知道曲面曲率和扭曲如何影響筆劃性能。二維顯示的工作使用了平面上表面的正交投影,或圍繞表面的三維空間的水平集表示。

二、相關文獻

1. Experimental Evaluation of Sketching on Surfaces in VR

CHI2017. Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice.

2. SymbiosisSketch: Combining 2D & 3D Sketching for Designing Detailed 3D Objects in Situ

CHI2018. Rahul Arora, Rubaiat Habib Kazi, Tovi Grossman, George Fitzmaurice, Karan Singh

fg1在這裏插入圖片描述

  • 在空中繪製一些曲線,並自動計算出最佳擬合曲面,綁定筆劃將映射到所選畫布,三維平移、旋轉和縮放小部件進行轉換.
  • 利用平板電腦的全部分辨率。目前的VR顯示技術無法提供接近專 業繪圖板的分辨率
  • 縮放工具通過「放大和縮小」真實世界的比例
  • 填充工具創建實體表面,通過遮擋、照明和陰影來改善觀察 者的深度感知。 自動檢測物理世界中的平面

3. Multiplanes: Assisted Freehand VR Sketching

CHI2018. Mayra D. Barrera Machuca1, Paul Asente, Wolfgang Stuerzlinger, Jingwan Lu, Byungmoon Kim

在這裏插入圖片描述

  • 美化觸發點(BTP)自動平面生成 (Automatic Plane Generation)對於筆劃和當前控制器姿勢,多平面會自動識別適當的繪圖平面。
  • 在此基礎上,再根據先前的幾何點繪製點,並以此爲基礎顯示系統中的BTP。
  • 當用戶繪製它或當用戶點擊一個BTP,多平面還自動實時美化一個筆劃。

4. Smart3DGuides: Making Unconstrained Immersive 3D Drawing More Accurate

CHI2019. Mayra D. Barrera Machuca, Wolfgang Stuerzlinger, Paul Asente

在這裏插入圖片描述在這裏插入圖片描述

  • 用於三維草圖繪製的無約束視覺指南,可幫助用戶避免錯誤
  • (a)SG十字準線以控制器的位置和方向爲參考座標。
  • (b) SG lines使用一個獨立於內容和控制器的固定全局參考幀。
  • (c)SG柱面使用現 有內容作爲參考框架

5. VRSketchIn: Exploring the Design Space of Pen and Tablet Interaction for 3D Sketching in Virtual Reality

CHI2020. Tobias Drey, Jan Gugenheimer, Julian Karlbauer, Maximilian Milo, Enrico Rukzio

在這裏插入圖片描述在這裏插入圖片描述

  • 包括 方向位置導航、繪畫尺寸、視覺嚮導、物理表面等

三、定量分析

1. Stroke quality

  • a) line straightness, b) matching of line pairs, c) degree of deviation, and d) corrective movements.

Eva Wiese, Johann Habakuk Israel, A. Meyer, and S. Bongartz. 2010.Investigating the learnability of immersive free-hand sketching.Proceedings of the Seventh Sketch-Based Interfaces and Modeling Symposium (SBIM’10), October 2017: 135–142

  • mean average deviation & mean project deviation

Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice. Experimental Evaluation of Sketching on Surfaces in VR. CHI2017.

  • 繪畫時間 & 繪畫筆數

2. Stroke aesthetic quality

  • mean fairness deviation
    平均公平偏差公式

四、定性分析

  • Likert量表
  • System Usability Scale (SUS) [Brooke 1996]系統可用性量表
  • Perceived Usefulness and Ease of Use (PUEU) [Davis 1989] 感知有用性和易用性
  • Think aloud

總結

缺乏物理繪圖平面、表面位置、形狀和方向、筆劃大小和視覺引導是影響VR繪圖能力的重要因素