数据清洗工具

有许多工具可以帮助清洗数据。“现在已经有了很多很棒的工具，比如大受欢迎的Matlab、Labview和Python。我们自己的MetaWear API可以在所有主要编码语言下帮助实现数据过滤器。我通常建议客户们使用它们最熟悉的工具，而不是强行兜售我们自己的API。Python是一个很棒的工具，它有许多机器学习库，开源、易用，而且有很好的文档记录。”MbientLab的Kassovic说。MbientLab还使用博世的FusionLab，因为它们不仅自己提供传感器，还销售提供博世的传感器。

MEMS市场领导者博世传感技术公司也会其传感器提供驱动程序和库，帮助传感器实现检测、解读、监控、感知情境并预测意图，负责MEMS产品组合业务开发的Marcellino Gemelli写道。意法半导体提供库、驱动程序和传感器设置工具，以及可帮助简化设计的微控制器。

寻找具备合适专业知识的专业人才并非易事。“你不能派一名软件工程师去干固件工程师的活。”Kassovic说。

在企业的角度来看，让数据科学家参与清洗数据将花费太多的时间。“现在，各种机器都在源源不断地产生数据，可能会产生比人类产生的脏数据还要复杂的新级别脏数据，这将成为脏数据清洗的重点对象。”Branigan说。“大数据市场里有很多数据清洗工具，但是这些工具都以数据科学家为中心。对于一个相对静态的数据集，数据科学家清洗它，分析它，然后可以找到一些有趣的东西。这种方式应对人类生成数据的速度确实很有效，但是很难甚至不可能应对机器生成数据的速度。你最终需要一个自动化的系统，它从设备上获得实时数据，流水化地进行分析，然后把分析结果输出到企业的某个业务系统中，以便自动化地执行业务操作。”

传感器转向数字化可能会有所帮助。“数字通信绝对有好处。那些你从中获取并收集优质数据的传感器，它的噪声是不是因为模拟才产生的？我看到传感器行业存在向数字化转变的自然趋势，你可以在其中内置一些错误检查功能。数字系统存在一定的噪声区间，如果这些噪声出现在数字电路通道中，谁会在乎它呢？因为数据要么是1，要么是0，基本不可能出现数据反转，你可以对数据传输加入校验机制，如果校验失败，你可以把数据丢掉。”Pohlen说。

“尽管原始数据可能被过滤、补偿、纠正，但是在大部分情况下，用户的操作也有一定的限制。”负责博世传感器MEMS产品组合的业务开发的Marcello Gemelli在最近的一篇文章中指出。

“克服这些挑战的第一步是实施和集成适当的清洗工具，”Liaison Technologies的Parikh说。“这些清洗工具不仅处理数据质量，还要从项目的角度验证数据源头身份、可信度、时间序列。每个项目都有各自独特的要求。项目实施者可以应用一些通用的技术手段，但是必须做好准备，根据需要进行大规模定制，以实现业务目标。”

Liaison Technologies提供数据清洗、过滤、管理以及重复数据删除检测等业务。“我们提供的一个关键功能是追踪数据的血统，即从数据原始源头到清洗过的结构化数据的链路跟踪。”

对于安全关键系统而言，冗余可能是一种优秀且昂贵的解决方案。TT电子公司的Pohlen表示，“每个人都希望达到更高的ASIL等级，但他们是否一定要承诺提供更多感应能力？同样，ASIL等级也可以归结为数据是否正确，以及在后端如何解读这些数据，除非您可以在传感器中进行某种自诊断，否则最好的方法是冗余。”