世界速讯：数据质量差的代价

你知道吗?原油的质量更多地取决于它是在哪里发现的，而不是它是在哪里提炼的。无论是来自马来西亚塔皮斯(Tapis)富含石油的油田，还是来自加拿大阿萨巴斯卡(Athabasca)艰苦开采的油砂，炼油商都是围绕着与他们最接近的原油特征来建造基础设施的，从而使他们的最终产品具有相似的质量。因此，原始产品远不如加工方法重要。

来和CPDA数据分析师一起了解一下，什么是数据质量差的代价

随着数据巩固其作为世界上最有利可图的商品的地位，数据的质量(以及如何处理数据)变得更加相关。与石油类似，原始数据当然很有价值。尽管如此，您必须完善它、保持其质量并将其分发给相关方的系统才是提取真正业务价值的系统。

(相关资料图)

衡量这个价值的方法有很多。专家估计，仅在美国，数据质量成熟度低的企业就可能损失约3.1万亿美元，相当于其收入的20%。但为什么数据质量差的代价如此之大?我们想探索数据质量的财务方面，并回答这个问题。

糟糕的数据质量浪费了每个人的时间

非管理数据对每个部门都是巨大的时间浪费:从核心数据人员(如数据科学家和工程师)到终端数据消费者(如销售人员)。根据高德纳(Gartner)的数据，数据质量对整体劳动生产率的影响高达20%。

数据科学家花费大约60%的时间来验证、清理、修正，甚至完全废弃和重做数据，或者像他们喜欢称之为“数据争论”、“数据篡改”或“数据看守工作”。他们还会花19%的时间寻找和追踪他们需要的信息。最后，测试和部署的机器学习模型更少，因为机器学习和数据质量是齐头并进的。

因此，对于任何数据驱动型公司来说，最大的痛点之一是以可行的格式将正确的数据提供给正确的人。

这是公司中普遍存在的问题，因为随着公司规模的扩大，他们的数据会被重新复制并分发到不同的应用程序、系统和部门。随着所有这些更改和分发的发生，关键业务数据可能变得不一致，没有人知道哪个应用程序或系统是最新的。例如，销售人员试图打电话给潜在客户，由于联系方式不正确或不完整，可能会浪费多达27%的时间。

有了更高的数据质量，您就可以交付在到达时就可以使用的数据。决策者可以实时应对问题和市场变化，而不是等待他们的数据得到验证和可操作。此外，高数据质量将使数据集成更容易自动化，因此随着公司的发展，在应用程序和系统之间交换数据时，DQ不会丢失。

糟糕的数据导致糟糕的分析

由于分析数据是从数据中提取价值的主要方法之一，因此尽可能准确地进行分析至关重要。毕竟，糟糕的数据质量会导致糟糕的业务决策和失败的项目/计划。企业已经优先考虑使用数据来推动决策。2008年金融危机之后，全球市场在决策中使用商业指标的情况增加了30%。现在，公司大约45%的商业决策都是基于他们收集到的数据。

如果你是基于肮脏的数据做出这些决定，它可能会给你的公司带来意想不到的成本和失败——比如浪费你的营销预算。营销人员因为糟糕的数据质量浪费了每一媒体美元的21美分。换句话说，五分之一的媒体预算的ROI为0。更具体地说，丢失或无效的客户联系信息平均会使大型公司每次活动损失高达23.8万美元。每个活动没有一个客户视图或主记录可能要花费85,000到425,000美元。

IT现代化项目失败是因为数据质量差

随着业务流程变得越来越自动化，数据质量成为成功计划与失败计划之间的主要障碍。更多的自动化意味着您将在公司现有的数据上构建机器学习和自给自足的应用程序。在数据质量较差的情况下实施这些系统将不可避免地导致挫折和失败。

IT和数据现代化项目也是如此，比如迁移到云端。

88%的数据集成项目由于数据质量差而完全失败或严重超出预算。

33%的组织因为同样的原因推迟或取消了新的IT系统。

当您认识到数据基础设施现代化对当代业务的重要性时，IT系统的这个问题就令人担忧了:70%的生产力增长来自IT项目。糟糕的数据质量将影响您从IT计划中获得的大约10%的节省，这意味着如果您在劳动生产率上节省了2170万美元，那么将损失220万美元。

风险和不合规

数据质量的一个重大财务风险来自合规性和监管报告。假设您存储的个人数据属于GDPR或其他数据保护法的管辖范围。在这种情况下，您需要保持与准确性和完整性相关的一定级别的数据质量。如果有人要求你的公司提供他们的个人资料，你需要立即以可接受的质量提供给他们，让他们能够理解。这也意味着你需要保存所有私人数据的主记录。

你还必须确保所有在GDPR管辖下的数据在进入和使用时都经过验证，因为70%的联系数据可能会随着人们更换工作、地址等而每年过期。根据GDPR规定，数据不符合这些标准的公司将面临2000万欧元或年营业额4%(以高者为准)的高额罚款。

在受监管的行业，如制药业或银行业，你也有可能因为糟糕的数据而歪曲你的报告，从而因提供虚假信息而被罚款。巴塞尔协议II是巴塞尔银行协议中关于银行监管的一部分，它要求“建立一个衡量和管理数据完整性的框架”，以及“量化和记录的目标以及测试数据准确性的稳健流程”。在制药行业，你将不得不处理大量的个人数据，特别是在药物试验中，这迫使你遵守GDPR和类似的法规，以进行适当的存储和保护。

以下是与不合规数据相关的其他相关财务数据:

•商业颠覆:510万美元

•生产力损失:380万美元

•收入损失:400万美元

•罚款、处罚及其他:200万美元

相反，你只需支付保持合规的平均成本:550万美元。提前支付合规费用比等待后果要便宜得多。

糟糕的数据质量会破坏客户体验

糟糕的数据质量会以多种方式破坏你的客户体验，让潜在的买家跑得远远的。请记住，客户数据质量通常以每月2%和每年25%的速度退化。Gartner认为CRM系统失败的首要原因是数据质量差。

你收集的关于客户的数据，他们的购买习惯，以及他们如何与你的产品和平台互动，都可以帮助你改善用户体验。为顾客量身定制你的业务会让他们对自己的喜好更有信心，更快地买到他们想买的商品。然而，如果你试图围绕不充分的数据来构建你的客户体验，它将产生相反的效果。个人会收到他们不感兴趣的报价，如果数据库中存在客户副本，有时会收到两到三次。

例如，假设你的组织或机构主要像大学一样靠捐款工作。你不希望再次向捐赠者提供或发送错误的报价，让他们感到被低估。

更好的数据质量还可以防止常见的零售问题，比如为产品支付过高的费用或送货时间过慢，这些问题可能会让客户望而却步。例如，送货司机提供的低质量地理位置数据可能会导致他们选择更长的路线，将物品送到错误的仓库等等。

其他损失可能来自您的催收部门，由于丢失或无效的客户数据以及与合同无关的抵押数据，因此无法重新评估，损失可能高达数十万美元。你可以在在线零售中看到同样的情况，公司可能会因为扫描错误的商品价格、库存数据不准确和虚幻的“缺货”而损失数百万美元。

不要赔钱!避免糟糕的数据质量

企业是如何因为糟糕的数据质量而平均每年损失970万美元的?这是生产力损失、糟糕的分析、项目失败、不重视数据质量作为一种资产、不合规的成本以及破坏的客户关系的组合。如果您想为自己节省数百万美元，您应该尽快投资于数据质量管理计划。

你可以从Ataccama开始。Ataccama ONE数据质量套件是一款自动驾驶数据质量解决方案。它可以让您了解数据的状态，验证和改进数据，防止坏数据进入系统，并持续监控数据质量。

通过使用元数据和人工智能，Ataccama ONE简化了解决方案的配置、部署和扩展。具有复杂数据环境的小型团队和企业范围的部署都可以看到快速的ROI和快速的生产时间。我们让任何人都能获得高质量的数据。