医用内窥镜的智能化程度正在不断提升，这主要得益于多个领域的技术进步，包括图像处理、传感器技术、人工智能（AI）、大数据等。近两年国产化的医用内窥镜增长迅速，特别是基于Arm架构的智能型内窥镜，发展迅猛，不少企业都在打造差异化的产品。RK3576作为一款国产通用型SoC，其计算性能十分强大，并且具有丰富的接口设计，可以满足医用内窥镜的复杂需求，本文将介绍采用RK3576平台设计4K超高清AI医用内窥镜的解决方案。
新型医用内窥镜的技术发展趋势：
- 高清成像技术：随着4K、3D等高清成像技术的应用，医用内窥镜能够提供更清晰、更真实的图像，帮助医生进行更精确的诊断和治疗。例如，4K超高清内窥镜系统能够清晰显示手术中的细微血管、神经和筋膜层次，辅助医生进行精准的手术治疗。
- 人工智能辅助诊断：AI技术的应用使得内窥镜能够进行智能分析和诊断。AI辅助诊断系统能够自动识别和标记病变区域，提高诊断的准确性和效率。例如，奥林巴斯推出的AI平台ENDO-AID能够实时显示自动检测到的结肠可疑病变，辅助医生进行更准确的诊断。
- 功能性胶囊内镜：胶囊内窥镜技术的发展不仅仅局限于成像，还拓展到了功能性应用，如活检、止血、减肥、灭菌、促排便、靶向给药等。这些功能性胶囊内镜（FCE）通过集成多种传感器和执行器，实现了传统内镜下的多种功能。
- 一次性内窥镜：为了解决交叉感染问题，一次性内窥镜应运而生。这些内窥镜采用新型材料和设计，实现了一次性使用，避免了传统内窥镜需要清洗和消毒的复杂过程，提高了手术安全性。
- 智能控制系统：内窥镜的控制系统也在不断智能化，例如，通过加入3D结构光传感技术，胶囊内窥镜能够进行3D成像和空间尺寸测量，提供更精确的诊断信息。
- 数据处理与分析：随着大数据技术的发展，内窥镜系统能够处理和分析大量图像数据，提供更深入的洞察，帮助医生做出更好的治疗决策。
- 远程医疗：智能化的内窥镜系统还可以与远程医疗技术结合，使得专家可以在远离患者的地方进行诊断和指导治疗，扩大了医疗服务的覆盖范围。
医用内窥镜的智能化程度正随着技术的不断进步而提高，将实现更多自动化、个性化和精准化的医疗服务。RK3576芯片在很多方面都契合智能内窥镜的功能需求，以此，采用RK3576平台来设计开发医用内窥镜是一个不错的选择。
RK3576芯片的产品特点：
- 高性能AI处理能力：集成6TOPS NPU，适合执行复杂的AI算法，如图像识别和分析，可以用于智能诊断辅助。适用于TensorFlow/MXNet/PyTorch/Caffe等一系列框架的网络模型，可充分满足AI算法的开发需求。
- 先进的制程工艺：采用8nm工艺，采用八核架构的大小核设计，CPU主频高达2.2GHz，提供高性能的同时降低功耗，有利于设备的续航能力。
- 丰富的IP功能核心：RK3576是一款通用型SoC，芯片内部集成了，CPU（通用逻辑处理器）、GPU（图形处理器）、NPU（神经网络处理器）、VPU（视频处理器）、ISP（图像信号处理）、VOP（视频输出处理）、MCU（微型处理器）等多种计算核心，提供强大的算力支持，系统高度集成，非常稳定，可以满足不同场景的算力需求。
- 高速数据接口：RK3576自带丰富的接口设计，支持USB3.2、千兆网络、PCIe等高速接口，支持UFS存储和多种高速接口，提供快速的数据读写能力，有利于数据处理和存储。另外RK3576还自带SPI、UART、GPIO等接口，可以满足不同类型产品的功能需求。
- 超高频显示接口：支持HDMI和DP接口的4K@120fps显示输出，支持多屏输出。
- 强大的视频编解码能力：RK3576自带独立的4K VPU，提供强大的4K场景视频处理能力，支持4K@120fps的视频硬解码和视频输出，支持4K@60fps的硬件编码。
RK3576平台支持丰富的sensor选型
RK3576可搭配不同的sensor以满足产品的差异化需求，目前我们的解决方案以豪威科技（OmniVision）的sensor为主，也可以根据客户需求适配其他sensor，下面将介绍几款豪威科技的医用内窥镜专用sensor。
OV6946
OV6946是一款超小型图像传感器，广泛应用于医用内窥镜领域。这款传感器具有400×400的分辨率，物理尺寸为1.05mm x 1.05mm，特别适合用于一次性内窥镜，例如泌尿、胆道镜、支气管镜等。以下是OV6946在医用内窥镜中的具体应用分析：
- 小尺寸设计：OV6946的超小尺寸使其成为一次性内窥镜的理想选择，尤其是在需要通过人体狭窄部位进行诊断和治疗的场合。这种小尺寸的内窥镜可以减少患者的不适感和风险。
- 高图像质量：OV6946提供了清晰的图像质量，这对于精确诊断和治疗至关重要。其背照式设计和高灵敏度有助于在光线较暗的体内环境中捕获高质量的图像。
- 低功耗要求：由于一次性内窥镜通常是单次使用，低功耗设计有助于延长其使用时间和减少热量产生，从而提高患者的舒适度。
- 集成解决方案：OV6946常与OV426芯片搭配使用，后者提供了模拟数字数据转换、黑电平校准、自动曝光和自动增益控制等功能。这种集成解决方案简化了内窥镜的设计和制造过程。
- 适应性强：OV6946的图像传感器输出可以适应多种信号线长，为内窥镜的设计提供了更大的灵活性。
- 安全性：OV6946与处理板之间的高电压隔离提供了额外的安全性，减少了在医疗程序中发生电气故障的风险。
- 图像处理：与RK3576的新一代1600万像素ISP（图像信号处理器）结合使用。可实现许多算法加速器，如HDR、3A、CAC、3DNR、2DNR、锐化、去雾、增强、Debayer、小角度镜头失真校正等，可以提高图像质量并减少诊断过程中的误差。
- 软硬件协同处理：可通过OV426芯片与RK3576协同工作，实现高效的图像采集、处理和显示。这种软硬件协同处理能够优化系统性能，确保视频录制和显示的实时性。
- 非均匀性校正：针对OV6946等传感器可能存在的竖条纹问题，可以通过软件算法进行非均匀性校正，以提高图像的均匀性和诊断的准确性。
OV6946因其小巧的尺寸、高图像质量、低功耗和高度集成的设计，在医用内窥镜领域具有显著的优势。这些特性使其成为进行微创手术和检查的理想选择，有助于提高医疗程序的安全性和有效性。
OV6948
OV6948也是一款超小型图像传感器，专为一次性内窥镜设计。它具有200×200的分辨率，物理尺寸仅为0.64mm x 0.64mm，这使得OV6948成为世界上最小的商用图像传感器之一，非常适合用于需要极小尺寸的医疗内窥镜应用。以下是OV6948在医用内窥镜中的具体应用分析：
- 极小尺寸：OV6948的小尺寸特点使其非常适合用于一次性内窥镜，尤其是在需要通过人体狭窄部位进行诊断和治疗的场合，如泌尿系统、胆道、支气管等。小尺寸的内窥镜可以减少患者的不适感和风险。
- 低功耗：由于一次性内窥镜通常是单次使用，因此低功耗设计对于延长其使用时间和减少热量产生非常重要。OV6948的低功耗特性有助于提高一次性内窥镜的整体性能和患者的舒适度。
- 高图像质量：尽管OV6948的分辨率为200×200，但其背照式设计提供了良好的图像质量和低光性能，这对于在光线较暗的体内环境中捕获清晰图像至关重要。
- 集成解决方案：OV6948通常与OV426芯片搭配使用，后者提供了模拟数字数据转换、黑电平校准、自动曝光和自动增益控制等功能。这种集成解决方案简化了内窥镜的设计和制造过程。
- 适应性强：OV6948的图像传感器输出可以适应多种信号线长，最长可达4米，这为内窥镜的设计提供了更大的灵活性。
- 安全性：OV6948与处理板之间的高电压隔离（超过2000V）提供了额外的安全性，减少了在医疗程序中发生电气故障的风险。
- 图像处理：通过OV426与RK3576连接，由RK3576提供强大的图像处理能力。
OV6948因其小巧的尺寸、低功耗、良好的图像质量和高度集成的设计，在医用内窥镜领域，尤其是在一次性内窥镜的应用中，具有显著的优势。这些特性使其成为进行微创手术和检查的理想选择，有助于提高医疗程序的安全性和有效性。
OV9734
OV9734是一款高性能HD图像传感器，专为医疗内窥镜应用设计。这款传感器具有1280×720的分辨率，支持高清视频输出，适用于多种内窥镜系统，包括但不限于胃镜、结肠镜、支气管镜等。以下是OV9734在医用内窥镜中的应用分析：
- 高清视频输出：OV9734提供720p HD的视频质量，能够捕捉清晰的图像细节和丰富的颜色层次，这对于医生在进行内窥镜检查时识别和定位病灶至关重要。
- 实时图像处理：OV9734可以与FPGA（现场可编程门阵列）配合使用，实现实时的图像处理功能，如降噪、锐化和放大等。这些功能有助于提高图像质量，使医生能够更准确地进行诊断。
- 低延时性能：在内窥镜手术中，低延时是一个重要的考量因素。OV9734与SoC的组合可以提供超低延时的图像处理，确保医生能够实时观察到体内情况，进行精确操作。
- 适应多种线长：OV9734传感器能够适应多种信号线长，这为内窥镜的设计提供了灵活性，使得内窥镜可以根据不同的临床需求进行定制。
- 高安全性：OV9734与处理板之间的高电压隔离（超过2000V）提供了额外的安全性，降低了在医疗程序中发生电气故障的风险。
- 便携性和易用性：OV9734的尺寸和功耗设计使其适合便携式内窥镜设备，便于医生在不同环境下使用。同时，与PS2键盘的接口和录像功能等设计也提高了设备的易用性。
- 存储和接口：OV9734支持通过SD存储卡保存无损的静态图像，同时提供多种视频输出接口，如HDMI、DVI和S-VIDEO等，方便连接到不同的显示和记录设备。
OV9734传感器因其高清视频输出、实时图像处理能力、低延时性能、高安全性和便携性等特点，在医用内窥镜领域得到了广泛应用。
OH08A
OH08A是豪威科技推出的一款医疗级CMOS图像传感器，专为一次性和可重复使用的内窥镜设计。这款传感器采用1/2.5英寸光学格式和1.4微米PureCel®Plus-S像素技术，能够在7.1 x 4.6毫米的小尺寸封装内提供4K/2K分辨率，使其成为尖端芯片式（chip-on-tip）内窥镜的理想选择。
在医用内窥镜应用中，OH08A的主要特性和优势包括：
- 高分辨率成像：OH08A能够提供800万像素的Bayer静止帧或4K视频，这对于捕捉细节丰富的图像至关重要，尤其是在进行精细的医疗操作时。
- 优秀的图像质量：采用PureCel®Plus-S像素技术，OH08A能够在小尺寸封装中实现高性能，通过减少或消除固定模式噪声来提高图像质量，同时提供高满阱容量和优异的低光灵敏度。
- 高动态范围（HDR）：OH08A具备四合一（4-cell）三次曝光HDR和色调映射功能，在1080p60下实现优化的HDR，或者在原生的4K2K p60分辨率下实现2帧交错式HDR，有助于在高对比度场景中保持图像细节。
- 高帧率：60帧/秒的高帧率有助于减少拖尾现象，确保图像清晰稳定，这对于实时监测手术过程尤为重要。
- 广角和短焦距镜头支持：OH08A的15.5度主光线角（CRA）允许使用广角和短焦距镜头，这有助于在内窥镜设计中实现更广阔的视野和更高的成像灵活性。
- LED驱动器和MIPI输出：脉宽调制输出LED驱动器以及原始数据的四通道MIPI输出，为内窥镜系统提供了灵活的数据传输和控制选项。
- 立体功能和帧同步：OH08A具有立体功能，能够实现帧同步，这对于支持深度知觉应用程序非常重要。
- 高压灭菌能力：OH08A可进行高压灭菌，适用于可重复使用的内窥镜消毒，确保了设备的卫生安全。
OH08A图像传感器在医用内窥镜领域的应用提供了高分辨率、高图像质量、高动态范围和高帧率等关键特性，这些特性对于提升内窥镜检查和手术的准确性和效率至关重要。
OH08B
OH08B是豪威科技推出的一款高端医疗级CMOS图像传感器，专为一次性和可重复使用的内窥镜设计。作为首款采用豪威科技Nyxel®近红外技术的800万像素分辨率传感器，OH08B在医用内窥镜应用中展现出显著的优势和特点：
- 近红外成像能力：OH08B的Nyxel®技术显著增强了近红外光谱范围内的可视化效果，使得医生能够在近红外、荧光、色素内窥镜和虚拟内窥镜手术过程中看到更清晰的视频。这项技术特别适用于需要特殊照明条件的医疗程序，如荧光内窥镜检查。
- 高分辨率和高帧率：OH08B提供4K/2K的高分辨率（60帧/秒），大大提高了医生在重要手术中实现人体解剖结构可视化的能力。高帧率有助于减少拖尾现象，确保图像清晰稳定，对于实时监测手术过程尤为重要。
- 低功耗和减少热量：由于Nyxel®技术的高量子效率，OH08B可以实现低功率红外照明，从而显著降低内窥镜尖端的热量。这有助于保护患者组织免受过热损伤，同时提高手术安全性。
- 广角和短焦距镜头支持：OH08B的11度主光线角（CRA）允许使用广角和短焦距镜头，这有助于在内窥镜设计中实现更广阔的视野和更高的成像灵活性。
- 四通道MIPI输出：OH08B提供原始数据的四通道MIPI输出，为内窥镜系统提供了灵活的数据传输和控制选项。
- 立体功能和帧同步：OH08B具有立体功能，能够实现帧同步，这对于支持深度知觉应用程序非常重要，有助于提高手术的精确度。
- 高压灭菌能力：OH08B可进行高压灭菌，适用于可重复使用的内窥镜消毒，确保了设备的卫生安全。
- 集成到先进系统：OH08B图像传感器已被集成到新型MALYNA内窥镜摄像头系统中，该系统将实时、ICG和多光谱灌注成像集成到一个摄像头系统中，为内窥镜技术带来巨变。
OH08B图像传感器在医用内窥镜领域的应用提供了高分辨率、高帧率、低功耗、广角视野和深度知觉等关键特性，结合特殊成像技术，非常适合荧光内窥镜的开发。
先进的成像技术
荧光技术和血管增强技术是医用内窥镜领域中的重要技术，它们通过特殊的成像原理和图像处理算法来提高对病变组织的识别能力和手术的精准度。以下是这些技术的实现方式：
- 荧光技术： 荧光内窥镜技术主要依赖于荧光标记物与生物体内的小分子、蛋白质或抗体等结合，在特定波长的光激发下，标记的病变组织与正常组织在图像中呈现出高对比度。这种技术通常涉及以下几个步骤：
- 选择合适的荧光标记物，这些标记物能够特异性地结合到目标组织或细胞。
- 使用特定波长的光源（如激光）激发荧光标记物。
- 通过内窥镜的光学系统捕获荧光发射信号。
- 使用图像处理系统对捕获的荧光信号进行分析和显示，以突出显示病变区域。
- 血管增强技术： 血管增强技术旨在提高内窥镜图像中血管的可视化效果，使医生能够更清晰地识别血管结构。这通常通过图像处理算法实现，包括但不限于以下几种方法：
- 血管增强算法（如Frangi算法）：该算法利用图像的二阶导数信息来检测和增强血管结构。通过对图像的进行特征值分解，可以得到反映图像局部结构特征的信息，从而突出血管结构。
- 光谱变换方法：根据血管对光谱的吸收特性，调整图像中不同波长光的强度，以增强血管与周围组织的对比度。
- 导向滤波和多尺度分析：通过将图像分解为不同的尺度和方向，然后对每个分解后的图像进行滤波处理，以增强血管细节。
这些技术的实现需要综合考虑内窥镜的硬件设计（如光源、光学系统、传感器）和软件算法（如图像处理、数据分析）。通过这些技术的结合，医生可以在手术过程中更准确地识别病变组织和血管结构，从而提高手术的成功率和安全性。通过RK3576搭配OH08A或OH08B传感器，可以满足先进成像技术的功能需求。
多样化的sensor支持，打造不同形态的医用内窥镜
除了常规的手持探头，胶囊内窥镜是一种特殊的医用内窥镜，它设计为患者吞咽的小型胶囊形式，内含摄像系统和光源。胶囊内窥镜主要用于小肠等难以通过传统内窥镜到达的消化道区域的检查。RK3576平台支持多种无线模块，除了常规的WiFi、蓝牙、华为星闪，还可以搭载特定频率的收发模块，可以满足胶囊内窥镜的传输需求。
胶囊内窥镜的特点包括：
- 无创性：患者仅需吞咽胶囊，无需麻醉或手术切口。
- 舒适性：与传统内窥镜检查相比，胶囊内窥镜为患者提供了更加舒适的检查体验。
- 全面性：胶囊内窥镜能够对整个小肠进行连续的成像，有助于发现传统内窥镜可能遗漏的病变。
- 实时传输：胶囊内窥镜拍摄的图像可以实时传输至外部接收器，供医生分析和诊断。
- 自动推进：胶囊内窥镜在患者体内自动推进，无需外部操控。
提供闭环的AI衍生能力
AI对医学影像的判断能力突飞猛进，而高质量的医学影像对AI模型的迭代训练具有十分重要的作用。在医院中基于自有的影像数据训练迭代AI模型是一个复杂的过程，涉及到数据的采集、处理、标注、模型构建、训练、验证和优化等多个步骤。基于RK3576平台的医用内窥镜可以很好地完成数据采集、标记、模型推理应用，以保证AI模型的持续迭代，打造医院的优势医疗资源。
- 数据采集与处理：除了设备自有的文件存储系统，还可以通过网络进行医学影像存档，可快速高效的与医院自有的数据中心或远程数据中心通讯，收集大量的影像数据。可以进行原始数据、增强数据等多种数据的存储，为AI模型开发提供足够的数据标本。
- 数据标注：收集到的影像数据需要进行专业的标注，以便于AI模型能够学习到正确的诊断信息。由经验丰富的医护人员进行人工标注，根据影像特征标注出病灶、正常组织等关键信息，为模型训练提供数据支撑。
- 临床集成与应用：利用外部大算力服务器进行模型训练，经过充分训练和验证的AI模型可以部署到RK3576设备中，部署在端侧的AI模型效率更高，可辅助医生进行诊断和治疗规划。模型的应用可以帮助医生提高工作效率，减少误诊和漏诊，提升医疗服务质量。
- 强大的算力支撑：除了RK3576芯片自带的6TOPS算力，还可以通过标准接口进行AI算力拓展，目前国内50至500TOPS算力均有合适的拓展方案。强大的算力支撑，可以直接在端侧进行模型训练，方便快速推进探究性项目。
- 模型持续优化迭代：医学影像AI模型需要不断地用新的数据进行迭代和更新，以适应不断变化的医疗环境和疾病特征。根据验证结果对模型进行优化，可能包括调整网络结构、改进算法、使用数据增强技术等，以提高模型在实际应用中的性能。确保AI模型的长期有效性至关重要。
需要注意的是，医院在进行AI模型的训练和应用时，还需要考虑数据安全和隐私保护的问题，确保遵守相关的法律法规和伦理标准。此外，AI模型的应用也需要医生的监督和参与，以确保最终的医疗决策是基于准确的医学知识和临床经验。
结语
ScenSmart提供了基于瑞芯微RK3576平台的医用内窥镜解决方案，助力智慧医疗建设。这个平台支持安卓和Linux系统，提供ODM定制服务，行业客户能够根据自己的需求调整产品定义，并快速落地产品。ScenSmart拥有丰富的项目落地经验，并且可以根据客户的需求调整设计，以快速实现产品上市。可以为客户提供从硬件设计、软件开发到产品集成的一站式服务，帮助客户缩短研发周期，快速实现产品的市场推广。如果您有医用内窥镜的项目需求，可以点击提交，我们提供免费评估服务。
原创文章，转载须注明出处：ScenSmart智造平台。
