图像分析

经过 Benson Mbani
两个星期进入我的暑假,同时跳舞到耶路撒冷舞蹈挑战,通过这封电子邮件来通过这需要紧急行动。通常在度假时,我每隔几天只需检查电子邮件,只能回应紧急情况。这是来自蒂姆·斯明博士 - 我的主管和这个巡航的主要科学家。但为什么当他知道我度假时,他会给我发一封需要我的行动的电子邮件吗?

“你想在10月份在大西洋上加入我们的巡航'金属-ML'吗?…“部分阅读电子邮件。为什么我不想加入 任何 巡航到 任何 世界的一部分?特别是我不必支付的人?我想知道自己。 “当然,我想加入”当我部分跳到耶路撒冷舞时,我回应了“。你看到那些舞蹈的一部分,你必须用一些有趣的方式踢你的脚,因为你转弯。带我几点试图让它正确;)。无论如何,当这一天终于来了,我们从基尔到耶和华开车大约5个小时,这是船队停靠的离开港,等待我们作为它巡航进入大西洋的粗糙水域。正如所必需的,我们不得不遵循规定的标准健康指南。强制性严格的预巡航检疫期后,凭借负面的Covid试验结果,最后是时候乘坐麦莉亚S. Merian命名的第二个最现代海洋研究船。一块宏伟的工程。

但是我甚至在地理会上做了什么研究?大概来说,我的论文是关于水下电脑视觉,它涉及机器学习,应用统计模式识别和图像处理技术与与海底图像理解有关的挑战。但为什么我们甚至需要图像理解?什么意思是什么?我们不能只是盯着图像看看他们是什么?

事实证明,图像分析是对五岁以上的人类的一个相对容易和微不足道的任务。然而,什么并不明显,人类大脑如何是先进的“超级计算机”,它集成了通过眼睛的视觉感官信息与现有经验如现有经验,这使我们能够努力了解和解释图像内容,在某些情况下,即使是我们以前从未见过的图像。问题是人类真的很快遭受疲劳和偏见,所以尽管我们擅长图像解释,但依靠人类口译员依赖于人类解释器来分析在深度生成的图像和视频的人类口译员既不可行也不可扩展。 -sea探险。

明显的替代方案是培训计算机以模仿人类视觉系统,并自动对我们进行图像理解。相信与否,没有明显的方法可以像人类理解一样培训电脑。部分是因为人类视觉系统不完全理解,因此不容易概念化和程序作为算法。另外,计算机将图像视为作为矩阵表示的网格上的一组“数字”的事实也使得该任务相对不足。因此,培训计算机能够将这些“原始数字”转换为有用的信息是计算机视觉研究的核心。能够培训计算机实现这样的任务,允许海洋研究人员使用水下相机非侵入性地样本大型底栖栖息地,并依赖于计算机视觉算法进行图像解释任务 自动地 因为他们专注于科学。

回到巡航!正如预期的那样,我是处理海底观测系统(OFOS)的科学家团队的一部分。图2显示了我们在MSM96巡航期间使用的OSO。下面显示的OFO是一种系统,包括用于调查深海底的视频和静止照片摄像头。它通过一个由7公里的光纤连接到船舶,该电缆保持连续直接连接,我们依靠在4K的分辨率下实现实时海底视频流。此外,OFOS配备了一台照片摄像头,每秒捕获高分辨率仍然照片。下面的图3显示了在Maria Serian的MSM96巡航期间捕获和注释的静止照片样本。

在它触及水面之前的ofo ofo ofos将其下降到海底。

那么,在海上典型的一天发生了什么?首先,我们准备横断面,我们需要收集视频和照片。然后将这些信息发送到船员的船员,然后将船舶转向横断面的开始,并将其定位为静止,准备好部署。然后将OFO逐渐将5公里的水柱降低到水柱中。到达海底需要2个小时。一旦靠近海底,我们将远程优化相机设置,以便具有良好对比的清晰照片。从OFO的现场流在实验室中的一个大屏幕中,我们开始注释底线动物群,因为船正在沿横断面移动。由于它需要至少12小时来完成成像横断面,我们通过夜间工作。

在MSM96期间由OFOS捕获的动物的例子。

在我们对整个转换进行采样后,我们将数据存储和备份到我们的NAS设备上,并立即开始对新获取的图像序列和录制视频的初步映像分析。对于每个图像帧(在静止照片和视频中),我们提取特征 - 这意味着图像的属性/特征。例如,对于每个图像,我们将自动提取平均颜色和熵作为整个图像序列的代理。我们还可以进行激光点检测,以计算平方米的海底成像区域。

从我们离开基尔开始巡航后,这几乎已经5周,这意味着自从我做了耶路撒冷舞蹈以来已经超过六个星期,这不是一件好事,显然。在大西洋中巡航的事情是它有时会变得如此艰难。这意味着在船上做舞蹈可能不是一个好主意。但是Maria S的Merian是一座美丽的船只,因此在运动室内有很多选择可以安全地保持健康,在图像分析工作完成后,当然 -