理解数据

那么，对脏数据到底如何处理呢？第一步是理解和解读传感器输出的数据。传感器数据的准确度往往是相对的，而不是绝对正确。现实世界中的传感器读取数据并非完美。

传感器制造商关注的是噪声、滤波器和算法这些基本问题，并给系统设计人员提供了相应的帮助性工具。一些系统设计者和平台供应商则站在系统用户端的视角上，关注的是填入其数据库中的数据是否有效，它们提供了一个监测工具来帮助鉴别数据是否出现错误。

“我在模拟信号链路中发现了脏数据，数字链路的数据是干净的，”TT Electronics的Pohlen说道。“许多不同的源头都会诱发噪声。你可以在线束中拾取电噪声，性能变坏的元件也会产生电气噪声。”

在Pohlen眼中，由某种对实际感应机制的外部影响造成的噪声不算是脏数据。“比如，对于一个光传感器，如果有一个环境光源的话，不能因为它给出的数据不是你真正想要测量的，就认为那是脏数据，因为不管是不是自然光源，它确实正确地测量了光强度。”

未经校准的传感器通常会比校准过的传感器产生更多脏数据。“我们通常所说的脏数据基本上是指未经校准的原始传感器数据，以及信号上有很多噪声的数据。”意法半导体的Chowdhary说。“除了使用某些现象机制感应信号的物理元件，比如测量科里奥利加速度以检测设备、人或者手机的旋转，系统里还有信号调理单元。这些信号调理模块可以工作在不同条件下，也可以在低功耗模式下工作，以尽量降低传感器的电流消耗。但是，如果工作在低功耗模式，传感器数据的噪声就会增加，因为显而易见的是，用于信号调理的功耗越大，数据就越干净。”

“考虑到所有这些不同层面，我们可以给脏数据下个定义，即未经校准的传感器输出的数据以及受到噪声影响的传感器数据，无论噪声来自于信号调理模块还是外部干扰，”Chowdhary说。 他将外部干扰（例如当磁力计受外部磁场影响时）也归类到了脏数据中。

即便是在同一批传感器中，不同传感器也可能存在制造上的差异。一旦被部署到应用现场，传感器就可能会损坏。比如，地勤人员可能会损坏飞机的传感器，甚至包括至关重要的迎角传感器。传感器可能会老化、性能变差，所以需要定期重新校准。

可以站在企业的角度来理解数据。“在基于传感器的设备网络中，脏数据可能是由单个或者多个问题共同产生的。问题可能来自于时间序列跳跃、传感器单元本身的测量有误、日期/时间未及时校准、传感器之间的不恰当关联、跨域数据点的不正确聚合等。也可能是仅仅因为产生的数据不符合业务目标，不稳定或者无法使用，就被认为是脏数据。”Liaison Technologies公司产品营销总监Pratikh表示。这家公司帮助把可用数据放到一个平台上，以供企业使用。

其它人也对脏数据给出了自己的具体定义。“脏数据是那些由您的设备按照正确的格式报告，但是在某种程度上无效的数据。我们甚至无法对这些数据做出解释，”物联网系统集成商Bright Wolf的联合创始人James Branigan说。“你完全可以读取它，但是你会发现，某些数据实际上是完全无效的。”

在智能物联网和物联网中，脏数据的风险在于它会污染公司的大数据库，引发其它危险行为，而且也浪费钱。“脏数据之所以会成为一个问题，是因为在所有这些物联网系统中，当你在数据中寻找价值，在这些输入的数据上进行某些程序化分析时，你会把分析结果在部分程度上反馈到企业系统中，”Branigan说。“对这些数据处理分析并反馈后，会发生一些有趣的事情。但是，如果你把分析建立在糟糕的假设-脏数据-上，那么，垃圾输入必然导致垃圾输出。脏数据可能会给你带来真正的伤害，因为这些实际上无效的数据会导致一些自动化操作被禁能，从而产生实际的经济成本。”

Branigan发现了三种脏数据。“第一种来自传感器的物理故障。它既无法检测环境的变化，也无法检测自身的故障，虽然它仍将向你提供格式良好的数据，但是这种数据完全是垃圾。第二种来自设备运行的固件的软件错误。即使是较新版本的固件也可能产生格式良好但完全错误的数据。第三种脏数据真正可恶，你需要对具体的机器操作非常了解，才能理解如何解释进来的数据。如果不了解这些，你会把错误的数据解释为有效数据，但是系统其它部分却会给出不同的解释。”

那么，脏数据能否被洗白白呢？