CapSen
3D 相机满足医疗配套的严苛需求
概述
挑战
医疗配套需要高速拾取种类几乎无限的小型产品,其中许多产品表面有光泽、半透明,或以玻璃纸包装。CapSen 需要足够精细的三维数据来区分这些产品,同时捕获速度必须足以实现 5 秒以内的拾取节拍。
解决方案
CapSen 将其 PiC 视觉与运动规划软件、固定安装的 Zivid 2 相机以及安川 MOTOMAN GP7 机器人相结合。原生彩色 3D 点云使系统能够分辨小于 5 毫米的物体特征。
结果
图像捕获与物体检测合计用时不到 0.5 秒,比其他三维视觉方案快 3 至 5 倍。每次拾取的平均节拍时间为 4 秒,并在长期试验中实现了 24/7 零差错运行。
01 概述
超大批量、超短节拍,加上种类几乎无限的待拾取小型产品:医疗配套对自动化工程师提出了一系列严苛要求。CapSen Robotics 选择了 Zivid 2 相机,为该应用提供所需的三维传感精度。(查看解决方案 →)
由安川 MOTOMAN GP7、Zivid 2 与 CapSen PiC 组成的医疗配套与包装单元。
02 背景
CapSen Robotics 专注于三维机器视觉与运动规划软件。该公司为工业机械臂提供所需的空间智能与控制能力,使其即便面对最棘手的物体,也能以更高的精度和速度完成处理。
公司于 2014 年在匹兹堡成立,创始人为麻省理工学院机器人学博士 Jared Glover 和资深行业专家 Mark Schnepf。公司为机器人系统集成商提供 CapSen PiC™。这是业界首批通用软件解决方案之一,在一个易于定制的软件包中集成了 GPU 加速的三维物体识别、机器人运动规划与控制算法。
CapSen PiC(意为“在杂乱环境中拾取”)源自 Glover 在三维视觉与机器人运动方面的博士研究,以及由此形成的软件框架。它解决了从料箱中取出高度杂乱零件这一经典难题,广泛应用于拾放、自动化上下料和订单履约等场景。
其三维视觉能力的关键在于,将先进的几何 CAD 模型匹配技术与先进的机器学习相结合,能够针对不同形状、尺寸和材料的物体实现极高的检测精度。
该方法的优势在于 CapSen 专有的机器学习模型。只需少量数据(通常仅数百张图像),即可训练模型识别新类型的物体。
为严格检验这一创新软件理念,该公司受托在医疗行业的真实配套应用中展示其解决方案。
公司概况
公司
CapSen Robotics
美国匹兹堡
应用
医疗配套
电商订单履约
拾放
特点
CapSen PiC 软件
运动规划
GPU 加速
多 SKU
安川 MOTOMAN GP7
捕获与检测 <0.5 秒
发布日期
2021 年 4 月 10 日
“Zivid 2 3D 相机为我们的 CapSen PiC 视觉与运动规划软件同时提供了所需的图像分辨率和图像捕获速度,使其能够在最具挑战性的智能分选应用中实现快速、超精细的操作。这两方面完全无需妥协,这款相机的图像真实度令人惊叹。”
Mark Stevens
CapSen Robotics 业务发展总监
03 挑战
医疗产品配套对 CapSen PiC 机器人解决方案提出了两项重要且相互制约的要求。一方面,它需要极高分辨率的图像捕获与处理;另一方面,它又必须确保超短的节拍时间。
CapSen Robotics 业务发展总监 Mark Stevens 解释道:“可能需要从料箱中拾取并放入纸箱的医疗产品种类极其繁多,从移液管、注射器、棉签,到袋装、管装或瓶装药品,不一而足。”
识别多种 SKU 需要高质量的三维视觉,才能正确检测和拾取。
“这些产品不仅体积都比较小、形状差异大,材料也各不相同。有的有光泽或半透明,有的是硬质的,还有的是柔性的,并出于卫生考虑以玻璃纸包装。”
“因此,我们在项目初期就意识到,需要一款能够提供高真实度点云数据的三维机器视觉相机。这样我们才能更准确地区分、拾取和放置尽可能多的医疗产品,无论其尺寸、形状或材料如何。”
与此同时,医疗配套单元必须高速运行。许多单元连续作业,每年的产品拾取量以千万计,而非以万计。因此,严格满足节拍时间至关重要。
Stevens 继续说道:“我们最初的基准目标是:对任何类型的医疗产品,都能稳定实现 5 秒以内的拾放节拍。但这始终取决于多个相互关联的因素。”
“我们对自家软件优化系统整体节拍的能力充满信心,但系统仍然依赖于相机图像捕获的质量和速度,以及机械臂和末端执行器的运行速度。这两方面都需要慎重考量。”
04 解决方案
CapSen 在将 PiC 软件与多种三维机器视觉技术集成方面经验深厚。它很快判断出,这一医疗配套应用对相机性能的要求,无论是图像质量还是节拍时间,都将超出以往的任何项目。
在排除了基于立体视觉、飞行时间(ToF)和激光三角测量原理的主流方案后,CapSen 选择了 Zivid 2 相机。此前,CapSen 已基于其前代产品 Zivid 1+ 设计过类似系统。首轮试验证明,新相机的时间编码白光结构光技术能够满足所需的分辨率和速度。
Stevens 表示:“CapSen PiC 在设计上本身就不依赖特定相机,但对于每一项应用,软件与硬件之间都必须实现良好协同。在本案例中,相机的 3D 点云数据必须提供更高水平的细节和精度,才能应对全品类的医疗产品。”
“同时,相机的图像捕获速度也必须足够快,才能达到配套应用所要求的超高拾取速率。即使是世界上效率最高的软件,也无法弥补图像捕获速度的不足。这一点既无法掩盖,也无法将就。”
紧凑的 Zivid 2 相机采用固定安装,为 CapSen 的医疗配套解决方案提供原生彩色 3D 点云,可准确分辨小于 5 毫米的物体特征。其高清分辨率、点精度和平均真实度误差分别为 2.3 MP、60 微米和 <0.2%。
在本应用中,相机的典型工作距离约为 700 毫米,水平和垂直视野分别为 57° 和 35°。它可覆盖 760 毫米 × 435 毫米的目标场景,足以容纳标准尺寸的周转料箱。
对于安装在平台上的机械臂,CapSen 选用了 6 轴安川 MOTOMAN GP7。这是一款紧凑型高速机器人,臂展 0.92 米,最大负载 7 千克。其 0.1 毫米的可重复性确保了所需的操作精度,可搭配平行夹指或真空末端执行器使用。
05 结果
CapSen 的三维视觉引导医疗配套应用每年完成数千万次各类物体的拾放作业。
经 CapSen 验证,CapSen PiC 与 Zivid 2 相机组合方案的图像捕获与物体检测总用时不到 0.5 秒,比同类应用中的其他三维视觉方案快约 3 至 5 倍。
CapSen PiC 会在机器人拾放当前物体的同时,处理下一张图像并规划下一条拾取路径。凭借这一方法和上述性能,系统实现了每次拾取平均仅 4 秒的节拍时间。
得益于 Zivid 2 相机的伪影抑制技术、原生色彩以及宽动态范围 (HDR),CapSen 解决方案能够拾放各类医疗产品,无论其表面是哑光、有光泽、半透明还是塑料包装。
在长期验证试验中,这套先进的医疗配套演示系统实现了 24/7 零差错运行。CapSen 有信心每年可靠地拾取数以百万计的各类医疗产品。
CapSen 目前正在考虑调整该方案,以应对同样要求高吞吐量的生产环境中规模更大的拆垛挑战。
从社会经济层面看,该方案还应对了一个在多个行业中日益突出的问题。当配套作业单价低或产量极高时,企业越来越难以找到足够人手,实现三班倒、全年 365 天的人工作业。
像 CapSen Robotics 这样的自动化配套系统,提供了快速、卫生且零差错的解决方案,投资回报周期短,并让员工能够转向强度更低、附加值更高的工作。


