Inverse Perspective Projection of Convex Quadrilaterals

Inverse Perspective Projection of
Convex Quadrilaterals
Joo-Haeng Lee
ETRI
KOREA

ACDDE 2011
VR and Multimedia Workshop
Session VRM-2 Paper ID116

11년 8월 28일 일요일 1

Quiz #1
Assume that you have a hand-held projector which can accept
an rectangular source image of arbitrary aspect ratio. Which of
the following convex quadrilaterals is projectable from this
projector?

2 Joo-Haeng Lee (joohaeng at etri.re.kr)

11년 8월 28일 일요일 2

Quiz #1
Assume that you have a hand-held projector which can accept
an rectangular source image of arbitrary aspect ratio. Which of
the following convex quadrilaterals is projectable from this
projector?

(a) Rhombus (b) Parallelogram

Isosceles
(c) Trapezoid___ (d)
Trapezoid


11년 8월 28일 일요일 2

Quiz #2

(a) (b)

(c) (d)


11년 8월 28일 일요일 3

Outline
• Motivation
- Investigation of a geometric projection property as a
theoretic aspect of RSAR (Robotic Spatial AR)

• Main Contribution
- (1) Analytic solution to the inverse perspective
projection of a convex quadrilateral
- (2) Geometric interpretation

• Experimental Results + Answer to the Quiz #2
• Discussion

11년 8월 28일 일요일 4

AR, SAR & RSAR
• AR
- Augmented Reality


11년 8월 28일 일요일 5

AR, SAR & RSAR
• AR
- Augmented Reality

• SAR
- Spatial Augmented Reality


11년 8월 28일 일요일 5

AR, SAR & RSAR
• AR
- Augmented Reality

• SAR
- Spatial Augmented Reality

• RSAR
- Robotic Spatial Augmented Reality


11년 8월 28일 일요일 5

Examples of AR
• World Lens


11년 8월 28일 일요일 6

Examples of SAR
• SixthSense (2009, MIT)


11년 8월 28일 일요일 7

Examples of RSAR
• LuminAR (2010; MIT)


11년 8월 28일 일요일 8

FRC: RSAR System in ETRI


11년 8월 28일 일요일 9

FRC: Kinematic Features
• 5 Motors: (tilt + pan) x 2 + (center pan)
- Redundancy in Pan Rotation

! 10
!
Joo-Haeng Lee (joohaeng at etri.re.kr)

11년 8월 28일 일요일 10

FRC: Micro Projectors
• Microvision SHOWWX
- Laser-based

- No need to control focus

- 10~15 lumen

• Optoma PK-301
- DLP

- Manual focusing required

- 20~50 lumen

11년 8월 28일 일요일 11

FRC: Applications

! ! ! !

11년 8월 28일 일요일 12

Control Issues in RSAR
• Kinematic Control
- Inverse Kinematics, Redundancy in DOF

• Inverse Projection
- Approximation vs. Analytic Solution

- Image Pre-Warping

• High-Order Control
- Constraints Handling; Collaborative RSAR


11년 8월 28일 일요일 13

Inverse Projection
• End Effector (= Goal)
- position, area, shape, intensity, precision, ...

• Parameters
- Internal

- External: Pose Estimation

• High-order Control
- Soft and Hard Collision Avoidance

- Image Pre-Warping

11년 8월 28일 일요일 14

Position Control
• End Effector: a projected mid-point


11년 8월 28일 일요일 15

Area Control
• End Effector: a portion of area


11년 8월 28일 일요일 16

Shape Control
• End Effector: a certain shape of convex
quadrilateral at a certain position


11년 8월 28일 일요일 17

Problem Deﬁnition
• Geometric Projectability of a Convex Quad

- Given an arbitrary convex quadrilateral, ﬁnd external
and internal parameters of a projector to project this
quad from an imaginary rectangle of an unknown
aspect ratio.

- Which type of named convex quadrilateral can be
projected from a rectangle?

- Why a certain quad is not projectable?

- How to modify a such quadrilateral to be projectable?

11년 8월 28일 일요일 18

Solution Outline: Analytic
Inverse Projection of Convex Quadrilateral


11년 8월 28일 일요일 19


1. Get a diagonal parameterization of a convex quad.


11년 8월 28일 일요일 19



2. Find values of length-related coefﬁcients from inverse
line projection for each diagonal.


11년 8월 28일 일요일 19




3. Check if these coefﬁcients satisfy the basic conditions to
solve the solution equations.


11년 8월 28일 일요일 19




3. Check if these coefﬁcients satisfy the basic conditions to
solve the solution equations.

4. Solve the analytic equations to get the projector
parameters


11년 8월 28일 일요일 19

Solution Outline: Geometric

1. Get a diagonal parameterization of a convex quad

2. Find two solution spheres from inverse line projection
for each diagonal

3. Find an intersection circle of above two spheres

4. Find a point as center-of-projection where two line
projections have the same ﬁeld-of-view


11년 8월 28일 일요일 20

Line: Conﬁguration

p

y y
ms
s2 s0
d

q
v2 v0
l2 m l0

11년 8월 28일 일요일 21

• External Param:
- center-of-projection: p
- projection direction: ms − p
p

y y
ms
s2 s0
d

q
v2 v0
l2 m l0

11년 8월 28일 일요일 21

• External Param:

• Internal Param p

- ﬁled-of-view: ψ y y
ms
s2 s0
d

q
v2 v0
l2 m l0

11년 8월 28일 일요일 21

• External Param:



• Imaginary Source Line ms
s2 s0
d

q
v2 v0
l2 m l0

11년 8월 28일 일요일 21

• External Param:



• Imaginary Source Line ms

• Projected Line Image s2
d
s0

- Projected mid-point: m
q
v2 v0
l2 m l0

11년 8월 28일 일요일 21

Line: Inverse Projection
• Input
- A projected line with a projected mid-point

• Output
- Ext param: p = (d ,θ ) p

• center-of-projection:
y y
- Int param: ms

• ﬁled-of-view: ψ s2
d
s0

q
v2 v0
l2 m l0

11년 8월 28일 일요일 22

Line: Analytic Solution
• Ext Param:
l2 − l0
cosθ = d = dα
2 l 0l 2

• Int Param: p
l2 − l0
tanψ = tanθ y y
l0 + l2
ms
1 s2 s0
= tanθ d
β
q
• Coefﬁcients: α and β v2
l2 m l0
v0


11년 8월 28일 일요일 23

Line: Coefficients
• Coefficients defined by the given configuration:
l2 − l0
α=
2l 0 l 2
p

l0 + l2 y y
β=
l 2 − l 0 ms
s2 s0
d
l0 + l2
γ = αβ =
2l 0 l 2 q
v2 v0
l2 m l0

11년 8월 28일 일요일 24

Line: Geometric Meaning
• Observation in 2D
1
pc #d ,θ & = d #cosθ ,sinθ & = cosθ #cosθ ,sinθ &
α

vv2
2 l22
l m 0 v
m ll0 v00 c


11년 8월 28일 일요일 25

• Solution Space in 2D

v2 l2 m l0 v0 c


11년 8월 28일 일요일 26

1 ⎛ 1 ⎞
A circle of radius with the center at ⎜ ,0⎟
2α ⎝ 2α ⎠

v2 l2 m l0 v0 c


11년 8월 28일 일요일 26

1 l2
A sphere S of radius with the center at #v 0 − m &
2α l2 − l0


11년 8월 28일 일요일 27

Quad: Conﬁguration

pc

Qs
ms
v2

v3 v1
m

v0


11년 8월 28일 일요일 28

• Ext Params
- center of projection

• Int Params
pc

Qs

- ﬁled-of-view v2
ms

• Source Quad
-
v3 v1
rectangle (cf) aspect ratio
m

• Projected Quad
- convex quadrilateral v0

• Length-related coefﬁcients:

11년 8월 28일 일요일 28

• Ext Params
- center of projection

• Int Params
pc

Qs

- ﬁled-of-view v2
ms

• Source Quad
-
v3 v1
rectangle (cf) aspect ratio
m

• Projected Quad
- convex quadrilateral v0

• Length-related coefﬁcients: α , β and γ for each diagonal
i i i


11년 8월 28일 일요일 28

Quad: Diagonal Parameterization
• Transformation of a quad to a canonical form which
is deﬁned with simple shape parameters related to
diagonals: (d 2 , ρ, t 1 , t 2 )


11년 8월 28일 일요일 29

• 1st diagonal
- Ext Params
• cop: p0 = (d0 ,θ 0 ) y0
pc

- Int Params
v2
y0

• ﬁled-of-view: ψ0
- Source v3
m
q0
v1

• a line segment

- Projected Line
• the 1st diagonal
v0

- Coefﬁcient: α 0 and β 0

11년 8월 28일 일요일 30

• 2nd diagonal
- Ext Params
• cop: p1 = (d1 ,θ1 ) y1
pc

- Int Params
v2
y1

• ﬁled-of-view: ψ1
-
q1
Source v3
m
v1

• a line segment

- Projected Line
• the 2nd diagonal
v0

- Coefﬁcient: α1 and β1

11년 8월 28일 일요일 31

Quad: Inverse Projection

pc
y1 y0
Qs
ms y0y1
v2

q1
v3 v1
m
q0

v0


11년 8월 28일 일요일 32

• Input
- a convex quadrilateral
pc
y1 y0
Qs
ms y0y1
v2

q1
v3 v1
m
q0

v0


11년 8월 28일 일요일 32

• Input

• Output Qs
y1 y0
pc

ms y0y1
v2

q1
v3 v1
m
q0

v0


11년 8월 28일 일요일 32

• Input

• Output y1 y0
pc

- Ext param
v2
Qs
ms y0y1

• center-of-projection (cop)
q1
v3 v1
m
q0

v0


11년 8월 28일 일요일 32

• Input

• Output y1 y0
pc

- Ext param
v2
Qs
ms y0y1


-
q1
Int param v3
m
v1
q0

• ﬁled-of-view (fov)

v0


11년 8월 28일 일요일 32

• Input

• Output y1 y0
pc

- Ext param
v2
Qs
ms y0y1


-
q1
Int param v3
m
v1
q0


• Constraints v0


11년 8월 28일 일요일 32

• Input

• Output y1 y0
pc

- Ext param
v2
Qs
ms y0y1


-
q1
Int param v3
m
v1
q0


• Constraints
-
v0
same cop: d0 = d1


11년 8월 28일 일요일 32

• Input

• Output y1 y0
pc

- Ext param
v2
Qs
ms y0y1


-
q1
Int param v3
m
v1
q0


• Constraints
-
v0
same cop: d0 = d1
- same fov: ψ 0 = ψ 1

11년 8월 28일 일요일 32

Quad: Analytic Solution

pc
y1 y0
Qs
ms y0y1
v2

q1
v3 v1
m
q0

v0


11년 8월 28일 일요일 33

• Constraint 1: cop
cosθ 0 cosθ1
d0 = = = d1
α0 α1 y1 y0
pc

Qs
ms y0y1
v2

q1
v3 v1
m
q0

v0


11년 8월 28일 일요일 33

cosθ 0 cosθ1
d0 = = = d1
α0 α1 y1 y0
pc

• Constraint 2: fov
Qs
ms y0y1
v2

tanθ 0 tanθ1 q1
tanψ 0 = = = tanψ 1 v3
m
v1
β0 β1 q0

v0


11년 8월 28일 일요일 33

cosθ 0 cosθ1
d0 = = = d1
α0 α1 y1 y0
pc

• Constraint 2: fov
Qs
ms y0y1
v2

tanθ 0 tanθ1 q1
tanψ 0 = = = tanψ 1 v3
m
v1
β0 β1 q0

• 2 Eqs and 2 Unknowns
v0


11년 8월 28일 일요일 33

Equation
• Constraint 1: cop C 2 −1
cosθ 0 cosθ1 cosθ 0 = ±
d0 = = = d1 A B 2 −1
α0 α1
α1
A=
• Constraint 2: fov α0
tanθ 0 tanθ1 β1
tanψ 0 = = = tanψ 1 B=
β0 β1 β0

• 2 Eqs and 2 Unknowns C=
γ1
γ0
- Existence of solution?
Coefﬁcients
- Geometric meaning?

11년 8월 28일 일요일 34

Equation
Coefﬁcient
C 2 −1
Conditions cosθ 0 = ±
A ≥ 1, B ≤ 1, C ≤ 1
2 2 2 A B 2 −1
OR α1
A=
A 2 ≤ 1, B 2 ≥ 1, C 2 ≥ 1 α0
β1
B=
β0
γ1
C=
γ0
Coefﬁcients

11년 8월 28일 일요일 35

Quad: Geometric Meaning
Steps

1. Get a diagonal parameterization of a convex quad

2. Find two solution spheres from inverse line projection
for each diagonal

3. Find an intersection circle of above two spheres

4. Find a point as center-of-projection where two line
projections have the same ﬁeld-of-view


11년 8월 28일 일요일 36

Step 1. Get a diagonal parameterization of a convex quad

pc pc
y0 y1

y0 y1
v2 v2

q1
v3 v1 v3 v1
m q0 m

v0 v0


11년 8월 28일 일요일 37

Step 2. Find two solution spheres for each diagonal

S0
pc
pc
v2
v2

v3 v1 S1
v3 v1 m
m

v0
v0


11년 8월 28일 일요일 38

Step 3. Find an intersection of two solution spheres

S0
cop
pc
constraint
v2

v3 v1 S1
m

v0


11년 8월 28일 일요일 39


S0
cop
constraint
pc

v2

v3 v1 S1
m

v0


11년 8월 28일 일요일 39


S0
cop
constraint
pc

v2

v3 v1 S1
m

v0


11년 8월 28일 일요일 40

Step 4. Find a center-of-projection where two line projections
have the same ﬁeld-of-view:
f and y
yi

fov constraint
1.4

pc
1.2

v2
1.0

pc Hf,yL
v3 v1
m
0.8

v0
0.6
pc
0.4
v2

v3 m
v1 0.2

v0 f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 41

Step 4. Find a center-of-projection where two line projections
have the same ﬁeld-of-view: ψ 0 = ψ 1
f and y
yi

fov constraint
1.4

pc
1.2

v2 1.0

pc Hf,yL
v3 m v1 0.8

0.6
v0
0.4

0.2

f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 42

Different ﬁeld-of-views: ψ 0 ≠ ψ 1

f and y
yi

1.4 fov constraint
pc
1.2 is not satisﬁed!
v2 1.0

v3 v1 0.8
m

0.6
pc Hf,yL
v0
0.4

0.2

f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 43

Type of Quads


11년 8월 28일 일요일 44

Diag Param
Types Projectability Remarks
d 2 , ρ, t 1 , t 2 )
(

square (1, π / 2, 0.5, 0.5) always

rectangle (1, ρ, 0.5, 0.5) always

rhombus (d 2 , π / 2, 0.5, 0.5) never no int. param

parallelogram (d 2 , ρ, 0.5, 0.5) never no int. param

kite (d 2 , π / 2, t 1 , 0.5) conditionally remark 1

iso. trapezoid (1, π / 2, t 1 , t 1 ) always

trapezoid (d 2 , π / 2, t 1 , t 1 ) never no ext. param

quad (d 2 , ρ, t 1 , t 2 ) conditionally remark 2

11년 8월 28일 일요일 45

Kite

pc

v2

yi
f and y v3 m v1

1.4

1.2
v0
1.0

0.8

pc Hf,yL
0.6

0.4

0.2

f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 46

Kite

f and y
yi

1.4

1.2

1.0

0.8

0.6

0.4

0.2

f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 47

Isosceles Trapezoid

pc

f and y
yi v2
1.4

1.2
v3 m
1.0
v1
0.8

0.6

0.4
v0
0.2

f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 48

General Quad

pc

f and y
yi v2 v1
1.4

1.2
m
1.0

pc Hf,yL
0.8 v0
0.6 v3
0.4

0.2

f
0.0 0.5 1.0 1.5 2.0 2.5 3.0


11년 8월 28일 일요일 49

Quiz #2

(a) (b)

(c) (d)


11년 8월 28일 일요일 50

Quiz #2
Diagonal Parameters: (d 2 , ρ, t 1 , t 2 )

(a) (b)

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(c) (d)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

11년 8월 28일 일요일 51

Quiz #2
Solution Coefﬁcients: ! A 2 , B 2 , C 2 '

(a) (b)

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)
(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(c) (d)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)
(12.0, 0.11, 1.33) (3.1, 0.3, 0.8) at etri.re.kr)
Joo-Haeng Lee (joohaeng
52

1, 1.33) 11년 8월 28일 일요일 52

A 2 ≥ 1, B 2 ≤ 1, C 2 ≤ 1
OR
Quiz #2
A ≤ 1, B ≥ 1, C ≥ 1
2 2 2

(a) (b)

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)
(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(c) (d)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)
(12.0, 0.11, 1.33) (3.1, 0.3, 0.8) at etri.re.kr)
53

1, 1.33) 11년 8월 28일 일요일 53

A 2 ≥ 1, B 2 ≤ 1, C 2 ≤ 1
OR
Quiz #2
A ≤ 1, B ≥ 1, C ≥ 1
2 2 2

(a) (b)

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)
(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(c) (d)
Projectable
(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)
(12.0, 0.11, 1.33) (3.1, 0.3, 0.8) at etri.re.kr)
54

1, 1.33) 11년 8월 28일 일요일 54

Summary
• Geometric Projectability of a Convex Quad
- Given an arbitrary convex quadrilateral, we can ﬁnd
projector parameters analytically with a geometric
interpretation.

• Future Works
- How to modify an un-projectable quad to be
projectable? Note that a projectable bounding quad is
important in RSAR application
- Can it be applied to a triangle or other polygons?
- Comparison with PnP (perspective-n-point) problem in
computer vision

11년 8월 28일 일요일 55

Q &A

Contact:
Joo-Haneg Lee

joohaeng at gmail dot com


11년 8월 28일 일요일 56

Thank You!

11년 8월 28일 일요일 57

Inverse Perspective Projection of Convex Quadrilaterals

Recommended

Recommended

More Related Content

More from Joo-Haeng Lee

More from Joo-Haeng Lee (12)

Inverse Perspective Projection of Convex Quadrilaterals