中国科学技术大学：《计算机视觉》课程教学资源（PPT课件讲稿）第七章 基于运动视觉的场景复原

第七章基于运动视觉的场景复原

第七章 基于运动视觉的场景复原

三维运动估计 °三维运动估计是指从二维图象序列来估计物体三维 运动参数以及三维结构。 SFM Structure From Motion) R t

三维运动估计  三维运动估计是指从二维图象序列来估计物体三维 运动参数以及三维结构。  SFM (Structure From Motion)

三维刚体运动 k+1 k+1 +|1,=RA|y|+ k+1 k rr=cosy coso sin sin y coso- cassinφ rr=cos sin y cos o+sin sin g rx= cousInψ R ru,=sin Asin y sin +cos 8 cos r=cosOsinysin -sin A cos 二2 sin y in 8 cosy coSO cosi

三维刚体运动 k k k k k z y x k k k z x z y z z yx yy yz xx xy xz k k k z y x t t t z y x r r r r r r r r r z y x R + T           =           +                     =           + + + 1 1 1                              cos cos sin cos sin cos sin sin sin cos sin sin sin cos cos cos sin cos sin cos sin sin sin sin cos cos sin cos cos = = = − = − = + = = + = − = z z z y z x yz yy yx xz xy xx r r r r r r r r r           = zx zy z z yx yy yz xx xy xz r r r r r r r r r R

小角度旋转 B I-o y X3 R △e1 △e3 小角度旋转矩阵 x △e

小角度旋转矩阵           − − − = 1 1 1       Rk 小角度旋转

1.基于正交投影的三维运动估计 k+1=xk+1=rxxxk+rxv yk+(rx=k+tx) X =X Yk+1=yk+1=rxxxk +rwyk+(rvzk+tv) y=y 小角度旋转矩阵 k+=xk -dyp k +yzk+t Vk+l-xk+yk-6Ek+ty 6个未知数,3对点

1. 基于正交投影的三维运动估计 x  = x y  = y ( ) ( ) 1 1 1 1 k k yx k yy k yz k y k k xx k xy k xz k x y y r x r y r z t x x r x r y r z t =  =  +  + + =  =  +  + + + + + + k k k k y k k k k x y x y z t x x y z t  =  +  − +  =  −  + + + +     1 1 小角度旋转矩阵 6个未知数，3对点

基于正交投影的三维运动估计 Aizawa. 1989 1.根据对应点和深度估计值,计算运动参数 6 Jk+1Vk 0 0 交替直到稳定 2.根据运动参数和对应点,重新估计深度 k+1 pyk-t k

基于正交投影的三维运动估计 • Aizawa, 1989 1. 根据对应点和深度估计值，计算运动参数                           −  −  =         −   −  + + y x k k k k k k k k t t z x z y y y x x    0 0 1 0 1 0 1 1 2. 根据运动参数和对应点，重新估计深度 ( ) k k k k y k k k x z y y x t x x y t         − =          −  −  −  −  +  − + +     1 1 交替直到稳定

基于正交投影的三维运动估计 · Bozdagi,1994 利用深度估计值的随机扰动,跳出局部最优 1.根据对应点和深度估计值,计算运动参数 2.根据运动参数和深度估计值,估计对应点 坐标三+k+1(x1+1,y+ /(n +1=女k+yk-k 3.计算估计误差 )2 k+1 k+1 +(yk+1-y)

基于正交投影的三维运动估计 • Bozdagi, 1994 利用深度估计值的随机扰动，跳出局部最优 1. 根据对应点和深度估计值，计算运动参数 2. 根据运动参数和深度估计值，估计对应点 坐标 k k k k y k k k k x y x y z t x x y z t  =  +  − +  =  −  + + + +     1 1 ( , ) ( ) , 1 ( ) , 1 m i k m i k x y + +   3. 计算估计误差 ( ) 2 , 1 , 1 ( ) 2 , 1 , 1 ( ) ( ) m i k i k m i i k i k e x x y y + + + +  =  −  +  −  = = n i m i e n E 1 1

基于正交投影的三维运动估计 4.随机扰动深度估计值 m)=N( 2 oe n)<z/-B+a∠△/m 2(m) 5重复以上步骤 实验证明,这种改进的迭代算法在初始深度值有 50%的误差的情况下,也能很好地收敛到正确的 运动参数值

基于正交投影的三维运动估计 4. 随机扰动深度估计值 ( ) ( 1) ( ) , , m m m i i k i k i e z z z   −   − +   5. 重复以上步骤 实验证明，这种改进的迭代算法在初始深度值有 50%的误差的情况下，也能很好地收敛到正确的 运动参数值。 (0, ) ( ) 2(m) i i m i = N  i m i = e 2( ) 

2基于透视投影模型的三维运动估计 x F k r21+t k x x k+1 r-x,tr vi tr_Zi +t 2 Vk+1= Fk+l =FlUx rxx +rwy +rEk +t F k+1 rx,+ k k k 规范化焦距F=1分子分母同除以z rx+I k t/z k k+1 rx,+r k X+r k tr+t/z k+1 k

2 基于透视投影模型的三维运动估计  规范化焦距F=1,分子分母同除以Zk z x k z y k z z k z yx k yy k yz k y k k k z x k z y k z z k z xx k xy k xz k x k k k r x r y r z t r x r y r z t F z y y F r x r y r z t r x r y r z t F z x x F + + + + + +  = = + + + + + +  = = + + + + + + 1 1 1 1 1 1 z x x  = F z y y  = F z x k z y k z z z k yx k yy k yz y k k z x k z y k z z z k xx k xy k xz x k k r x r y r t z r x r y r t z y r x r y r t z r x r y r t z x / / / / 1 1  +  + +  +  + +  =  +  +  +  +  + +  = + +

3基于外极线的三维运动估计 外极线方程几何意义 (R4,T) k+1

3 基于外极线的三维运动估计  外极线方程几何意义