中国科学技术大学：《计算机视觉》课程教学资源（PPT课件讲稿）第七章 基于运动视觉的场景复原 Shape（Structure）From Motion

Shape(Structure)From X ●1 解决的是从2D图像到2.5D表面形状（场景深度） 的问题 。Shape from motion 。Shape from stereo Shape from monocular cues(shading,vanishing point,defocus, texture,....)

Shape(Structure) From X  解决的是从2D图像到2.5D表面形状(场景深度) 的问题  Shape from motion  Shape from stereo  Shape from monocular cues(shading, vanishing point, defocus, texture,….)

第七章基于运动视觉的场景复原

第七章 基于运动视觉的场景复原

三维运动估计 三维运动估计是指从二维图象序列来估计物体三维 运动参数以及三维结构。 ● SFM(Structure From Motion) (R.t)

三维运动估计  三维运动估计是指从二维图象序列来估计物体三维 运动参数以及三维结构。  SFM (Structure From Motion)

三维刚体运动 Xk+1 Xk Xk yk+1 yk +Ts 2k+1 Zk k x= cosy coso ry=sin8 sin y cosφ-cos0sim中 r=cosesin ycoso+sinesin XZ rx=cosysin中 R =sinesin wsin+cosecos ==cosesinwsino-sinecos rx =-sin y ry=sin 0 cosu r=cose cosw

三维刚体运动 k k k k k z y x k k k z x z y z z yx yy yz xx xy xz k k k z y x t t t z y x r r r r r r r r r z y x R + T           =           +                     =           + + + 1 1 1                              cos cos sin cos sin cos sin sin sin cos sin sin sin cos cos cos sin cos sin cos sin sin sin sin cos cos sin cos cos = = = − = − = + = = + = − = z z z y z x yz yy yx xz xy xx r r r r r r r r r           = zx zy z z yx yy yz xx xy xz r r r r r r r r r R

小角度旋转 △0， △0 小角度旋转矩阵 △02

小角度旋转矩阵           − − − = 1 1 1       Rk 小角度旋转

1.基于正交投影的三维运动估计 Xk+1=xk+1=Txxxk+xy+(TxZk+tx) =X yk+1=k+1=rxxk+r(ryzEk +ty) y'=y 小角度旋转矩阵 Xk+1=xk-oy+ck+tx yk+1=xk+y-ek +ty 6个未知数，3对点

1. 基于正交投影的三维运动估计 x  = x y  = y ( ) ( ) 1 1 1 1 k k yx k yy k yz k y k k xx k xy k xz k x y y r x r y r z t x x r x r y r z t =  =  +  + + =  =  +  + + + + + + k k k k y k k k k x y x y z t x x y z t  =  +  − +  =  −  + + + +     1 1 小角度旋转矩阵 6个未知数，3对点

基于正交投影的三维运动估计 Aizawa.1989 1.根据对应点和深度估计值，计算运动参数 0 0 交替直到稳定 2.根据运动参数和对应点，重新估计深度

基于正交投影的三维运动估计 • Aizawa, 1989 1. 根据对应点和深度估计值，计算运动参数                           −  −  =         −   −  + + y x k k k k k k k k t t z x z y y y x x    0 0 1 0 1 0 1 1 2. 根据运动参数和对应点，重新估计深度 ( ) k k k k y k k k x z y y x t x x y t         − =          −  −  −  −  +  − + +     1 1 交替直到稳定

基于正交投影的三维运动估计 Bozdagi,1994 利用深度估计值的随机扰动，跳出局部最优 1.根据对应点和深度估计值，计算运动参数 2.根据运动参数和深度估计值，估计对应点 坐标 Xk+1=xk-oy+vk+tx (x,y) yk+1k+yk-ek +ty 3.计算估计误差 Em=∑e,6,=(k+1-x4)2+01-4)户 n i=1

基于正交投影的三维运动估计 • Bozdagi, 1994 利用深度估计值的随机扰动，跳出局部最优 1. 根据对应点和深度估计值，计算运动参数 2. 根据运动参数和深度估计值，估计对应点 坐标 k k k k y k k k k x y x y z t x x y z t  =  +  − +  =  −  + + + +     1 1 ( , ) ( ) , 1 ( ) , 1 m i k m i k x y + +   3. 计算估计误差 ( ) 2 , 1 , 1 ( ) 2 , 1 , 1 ( ) ( ) m i k i k m i i k i k e x x y y + + + +  =  −  +  −  = = n i m i e n E 1 1

基于正交投影的三维运动估计 4.随机扰动深度估计值 Am）=N,(0,o2m) ←2” -B eam _2(m二e1 5.重复以上步骤 实验证明，这种改进的迭代算法在初始深度值有 50%的误差的情况下，也能很好地收敛到正确的 运动参数值

基于正交投影的三维运动估计 4. 随机扰动深度估计值 ( ) ( 1) ( ) , , m m m i i k i k i e z z z   −   − +   5. 重复以上步骤 实验证明，这种改进的迭代算法在初始深度值有 50%的误差的情况下，也能很好地收敛到正确的 运动参数值。 (0, ) ( ) 2(m) i i m i = N  i m i = e 2( ) 

2基于透视投影模型的三维运动估计 Txxk+royk+rek+lx x'=F Zk+1 r=xxk +ryyk +rzk+t yi=F=y++ly y=F Zk+1 raxxk +rsyyk +rzk+t 规范化焦距F=1,分子分母同除以Zk rxxxk +rxyyk +rx +tx/2k raxxk+ryy+r+t/Ek y1= xk+y+ty/Ek rxxk+rsyy+r=+t=/Ek

2 基于透视投影模型的三维运动估计  规范化焦距F=1,分子分母同除以Zk z x k z y k z z k z yx k yy k yz k y k k k z x k z y k z z k z xx k xy k xz k x k k k r x r y r z t r x r y r z t F z y y F r x r y r z t r x r y r z t F z x x F + + + + + +  = = + + + + + +  = = + + + + + + 1 1 1 1 1 1 z x x  = F z y y  = F z x k z y k z z z k yx k yy k yz y k k z x k z y k z z z k xx k xy k xz x k k r x r y r t z r x r y r t z y r x r y r t z r x r y r t z x / / / / 1 1  +  + +  +  + +  =  +  +  +  +  + +  = + +