- ·上一篇文章:《金色年华•青年教育研究》征稿启示
- ·下一篇文章:热压法制备N型Si0.8Ge0.2合金及热电性能探索
对视觉伺服控制微机械手的细胞注射探讨
摘要:细胞注射前,利用伺服控制方程计算的误差矩阵对系统进行标定,减小显微视觉系统和机械手系统间的坐标变换误差。系统误差标定后,利用显微镜聚焦-失焦技术获得深度信息,将细胞、负压管和注射针定位到同一平面上,定位误差达到0.3806微米,再结合光学流跟踪法,轨迹误差由的(7,13)像素减小(0,1)像素。误差矩阵的应用非常有利于实时控制。利用纳米驱动平台设计微注射泵和负压泵,通过脉冲控制药液注射量的大小,注射泵理论注射量可以达到3.2皮升,负压泵可以安全地吸附住细胞。实验结果表明,利用上述各种技术,可以方便地完成细胞显微注射。
关键词:显微镜聚焦-失焦 误差矩阵 光学流跟踪 微量注射
作者简介:钟辉,(1983-),男,江西瑞金人,厦门大学机电系2005级硕士研究生,研究方向:微操作与微装配;郭阿全,(1982-),男,福建漳州人,厦门大学机电系2005级硕士研究生,研究方向:自动控制;席文明,(1965-),男,江苏人,厦门大学机电系副教授,研究方向:微操作与微装配。
0 引言
将微量生物物质注射到细胞中的方法广泛应用于生物遗传学[1],特别是在体外遗传注射和DNA克隆技术[2]。对胚胎、细胞、染色体、DNA等的操纵在生物技术中起关键作用[3]。
细胞注射系统包括微机械手系统、显微镜视觉系统。要完成细胞注射,系统精度必须达到微米级。细胞注射通常是在显微镜坐标系中完成对机械手末端执行器的控制,这就要求建立显微镜视觉系统和微机械手系统之间的映射关系,即上述两个坐标系统的变换关系。采用不同的控制方法,对坐标变换矩阵的标定精度要求也不同。基于位置的视觉伺服[4],要求坐标系间有很高的标定精度;而基于图像的视觉伺服[4],并不要求对坐标系间进行精确的标定,因为该方法利用跟踪特征点现有位置与目标位置的坐标差来驱动机械手运动,在每个采样周期后,不断对坐标差进行调整,从而消除各坐标系之间的误差。但是如果系统坐标系间的误差较大,为了保证跟踪轨迹精度,必须采用小的采样间隔,这必将影响系统的实时性。所以基于图像的视觉跟踪同样也需要对系统各坐标系位置关系进行标定。
与文献[5~7]标定方法不同,本文利用推导的伺服控制方程计算误差矩阵,只要机械手在图像空间走一组点,然后将该组点的位置代入伺服控制方程,就可以求得误差矩阵,从而完成对系统坐标间的标定。误差矩阵的应用使误差限定在一个小范围内,有利于实时控制。基于视觉伺服控制的细胞注射,深度信息的获得很重要。利用显微镜聚焦-失焦技术[8]获得深度信息,并将该信息集成到伺服控制方程中,可以控制细胞、注射针、负压管处于同一平面,方便细胞注射。为了提高注射针轨迹精度,注射针针尖采用光学流方法进行跟踪[9]。本文利用纳米驱动平台推动注射器,通过脉冲控制药液注射量的大小,并对注射泵理论注射量进行了测量,也对负压泵进行了细胞固定过程的测试。
1 误差矩阵推导
1.1 深度信息获取
对于细胞注射系统,如果丢失深度信息,常常会产生严重的后果,致使细胞注射失败,如:玻璃注射针与载物台相碰,造成注射针碰断;注射针不从细胞中间部分穿刺,造成细胞刺破等情况。采用聚焦-失焦法是获得深度信息比较理想的方法[8]。图像是否聚焦,表现为图像的边界或细节部分是否清晰,可以利用图像边界或细节部分的灰度值变化情况来作为聚焦的判据。这样就可以设计一估计器,计算某一区域图像的灰度变化之和F。沿Z轴移动,利用估计器不断计算对应图像的F值,当F值达到最大Fmax时,该区域就处于焦平面上。用拉普拉斯算子作为估计器可以实现这一目的,拉普拉斯算子为:
式中: 为对应像素点的灰度值, 是相邻点灰度值微分。
如果图像区域大小为N╳N,灰度变化之和为:
要得到高的测量精度,显微镜物镜每次移动的距离必须很小,这势必增加图像的处理量,不利于操作的实时性。一般来说,(2)式中的F与镜头移动距离d是正态分布的关系,可以写出F的分布
式中: Fmax为正态分布的灰度最大值, 为正态分布的方差, 为正态分布的坐标均值,表示的是距离大小,是与Fmax对应的镜头移动距离。
设有3个位置dm-1、dm、dm+1,对应的的F测量值分别为Fm-1、Fm、Fm+1(且Fm>Fm-1、Fm>Fm+1),代入(3)式得到3个方程,解出 得:
式中 Δd=dm-dm-1=dm+1-dm。
这样,测得3个位置的F就可计算出某一区域焦平面的位置。
1.2 伺服控制方程和误差矩阵推导
由文献[8]可以得到细胞注射系统的伺服控制方程
式中: 是机械手运动速度,t为视觉系统的采样时间,JV为视觉雅可比矩阵,We、Win为跟踪的误差权重矩阵和控制输入的权重矩阵,k为采样间隔, 为点的图像现有位置和点在深度方向的位置, 为点的图像希望运动到的目标位置和点在深度方向希望运动到的位置。
式中: m为显微镜的放大倍数,dx、dy为像平面像素点在x、y向的大小。
在像平面控制机械手的空间运动时,图像空间并没有深度方向的信息,所以需要用聚焦-失焦技术获得注射针的深度信息,代入(5)式x (k)中,然后将希望运动到的深度位置代入(5)式 中。
由(5)式,令t=1, , 为每个采样间隔特征点走的距离,则
是对角阵,所以 = ,化简得:
要计算 ,必须知道 ,所以在计算 前,必须利用机械手标定出 ,方法是让机械手在空间水平面上,沿水平方向和垂直方向分别走一段距离h,然后在图像空间计算h的大小 ,两值之比即为水平方向和垂直方向的标定结果,分别用 和 表示。
标定结果为:
2 误差矩阵计算方法
假设要使注射针针尖在图像坐标系中从0点运动到 点,由于机械手坐标系与显微镜视觉坐标系并不重合,即使机械手沿着它自己的X轴移动,实际在图像坐标系上,注射针针尖并不能运动到 点(见图1(a)所示),而是运动到 点。要使机械手从 点运动到 点,就必须有一个矩阵来对这个误差进行补偿,这就是误差矩阵。
以固定距离(如50 )移动机械手,得出一组坐标,即图像中理想的 点坐标和机械手实际在图像坐标系中的坐标。在误差调整时,机械手并不能直接调整一个 和 距离,因为机械手在图像坐标系中是沿 和垂直 方向运动,如果沿机械手的水平和垂直方向直接调整 和 距离,图像上机械手会调整到 和 (见图1(a)所示)误差仍然较大。为了尽量减小该误差必须使调整距离大于 和 ,用 和 代替需调整的 和 ,图中 ,从而减小调整误差(见图1(b)所示)。因为 ,所以 、 、 和 可从图像中直接获得,这样连续走三个点,就可以得到三组 坐标和三组
关键词:显微镜聚焦-失焦 误差矩阵 光学流跟踪 微量注射
作者简介:钟辉,(1983-),男,江西瑞金人,厦门大学机电系2005级硕士研究生,研究方向:微操作与微装配;郭阿全,(1982-),男,福建漳州人,厦门大学机电系2005级硕士研究生,研究方向:自动控制;席文明,(1965-),男,江苏人,厦门大学机电系副教授,研究方向:微操作与微装配。
0 引言
将微量生物物质注射到细胞中的方法广泛应用于生物遗传学[1],特别是在体外遗传注射和DNA克隆技术[2]。对胚胎、细胞、染色体、DNA等的操纵在生物技术中起关键作用[3]。
细胞注射系统包括微机械手系统、显微镜视觉系统。要完成细胞注射,系统精度必须达到微米级。细胞注射通常是在显微镜坐标系中完成对机械手末端执行器的控制,这就要求建立显微镜视觉系统和微机械手系统之间的映射关系,即上述两个坐标系统的变换关系。采用不同的控制方法,对坐标变换矩阵的标定精度要求也不同。基于位置的视觉伺服[4],要求坐标系间有很高的标定精度;而基于图像的视觉伺服[4],并不要求对坐标系间进行精确的标定,因为该方法利用跟踪特征点现有位置与目标位置的坐标差来驱动机械手运动,在每个采样周期后,不断对坐标差进行调整,从而消除各坐标系之间的误差。但是如果系统坐标系间的误差较大,为了保证跟踪轨迹精度,必须采用小的采样间隔,这必将影响系统的实时性。所以基于图像的视觉跟踪同样也需要对系统各坐标系位置关系进行标定。
与文献[5~7]标定方法不同,本文利用推导的伺服控制方程计算误差矩阵,只要机械手在图像空间走一组点,然后将该组点的位置代入伺服控制方程,就可以求得误差矩阵,从而完成对系统坐标间的标定。误差矩阵的应用使误差限定在一个小范围内,有利于实时控制。基于视觉伺服控制的细胞注射,深度信息的获得很重要。利用显微镜聚焦-失焦技术[8]获得深度信息,并将该信息集成到伺服控制方程中,可以控制细胞、注射针、负压管处于同一平面,方便细胞注射。为了提高注射针轨迹精度,注射针针尖采用光学流方法进行跟踪[9]。本文利用纳米驱动平台推动注射器,通过脉冲控制药液注射量的大小,并对注射泵理论注射量进行了测量,也对负压泵进行了细胞固定过程的测试。
1 误差矩阵推导
1.1 深度信息获取
对于细胞注射系统,如果丢失深度信息,常常会产生严重的后果,致使细胞注射失败,如:玻璃注射针与载物台相碰,造成注射针碰断;注射针不从细胞中间部分穿刺,造成细胞刺破等情况。采用聚焦-失焦法是获得深度信息比较理想的方法[8]。图像是否聚焦,表现为图像的边界或细节部分是否清晰,可以利用图像边界或细节部分的灰度值变化情况来作为聚焦的判据。这样就可以设计一估计器,计算某一区域图像的灰度变化之和F。沿Z轴移动,利用估计器不断计算对应图像的F值,当F值达到最大Fmax时,该区域就处于焦平面上。用拉普拉斯算子作为估计器可以实现这一目的,拉普拉斯算子为:
式中: 为对应像素点的灰度值, 是相邻点灰度值微分。
如果图像区域大小为N╳N,灰度变化之和为:
要得到高的测量精度,显微镜物镜每次移动的距离必须很小,这势必增加图像的处理量,不利于操作的实时性。一般来说,(2)式中的F与镜头移动距离d是正态分布的关系,可以写出F的分布
式中: Fmax为正态分布的灰度最大值, 为正态分布的方差, 为正态分布的坐标均值,表示的是距离大小,是与Fmax对应的镜头移动距离。
设有3个位置dm-1、dm、dm+1,对应的的F测量值分别为Fm-1、Fm、Fm+1(且Fm>Fm-1、Fm>Fm+1),代入(3)式得到3个方程,解出 得:
式中 Δd=dm-dm-1=dm+1-dm。
这样,测得3个位置的F就可计算出某一区域焦平面的位置。
1.2 伺服控制方程和误差矩阵推导
由文献[8]可以得到细胞注射系统的伺服控制方程
式中: 是机械手运动速度,t为视觉系统的采样时间,JV为视觉雅可比矩阵,We、Win为跟踪的误差权重矩阵和控制输入的权重矩阵,k为采样间隔, 为点的图像现有位置和点在深度方向的位置, 为点的图像希望运动到的目标位置和点在深度方向希望运动到的位置。
式中: m为显微镜的放大倍数,dx、dy为像平面像素点在x、y向的大小。
在像平面控制机械手的空间运动时,图像空间并没有深度方向的信息,所以需要用聚焦-失焦技术获得注射针的深度信息,代入(5)式x (k)中,然后将希望运动到的深度位置代入(5)式 中。
由(5)式,令t=1, , 为每个采样间隔特征点走的距离,则
是对角阵,所以 = ,化简得:
要计算 ,必须知道 ,所以在计算 前,必须利用机械手标定出 ,方法是让机械手在空间水平面上,沿水平方向和垂直方向分别走一段距离h,然后在图像空间计算h的大小 ,两值之比即为水平方向和垂直方向的标定结果,分别用 和 表示。
标定结果为:
2 误差矩阵计算方法
假设要使注射针针尖在图像坐标系中从0点运动到 点,由于机械手坐标系与显微镜视觉坐标系并不重合,即使机械手沿着它自己的X轴移动,实际在图像坐标系上,注射针针尖并不能运动到 点(见图1(a)所示),而是运动到 点。要使机械手从 点运动到 点,就必须有一个矩阵来对这个误差进行补偿,这就是误差矩阵。
以固定距离(如50 )移动机械手,得出一组坐标,即图像中理想的 点坐标和机械手实际在图像坐标系中的坐标。在误差调整时,机械手并不能直接调整一个 和 距离,因为机械手在图像坐标系中是沿 和垂直 方向运动,如果沿机械手的水平和垂直方向直接调整 和 距离,图像上机械手会调整到 和 (见图1(a)所示)误差仍然较大。为了尽量减小该误差必须使调整距离大于 和 ,用 和 代替需调整的 和 ,图中 ,从而减小调整误差(见图1(b)所示)。因为 ,所以 、 、 和 可从图像中直接获得,这样连续走三个点,就可以得到三组 坐标和三组





