腾讯企业邮箱--数据准备工具：您的分析策略秘密武器

要从数据合成中取患上短处，首先必需豫备精确的数据。对于良多企业来说，这是一个很大的瓶颈，凭证Gartner*新钻研，全部数据合成历程中，多达70%的光阴都会集在数据豫备使命上。   “实时地查找、碰头、整理、转换以及同享数据，依然是数据规画以及合成中*耗时的拦阻之一。”Gartner数据合成团队低级合成师、Gartner数据豫备工具市场指南的主要作者Ehtisham Zaidi说。   Hitachi Vantara首席营销官Jonathan Martin说：“对于愿望经由数据合成来转变营业的企业而言，主要下场不在于把握家养智能，而在于把握数据管道。”   他以为，数据豫备是*具挑战性的使命。“我若何判断所需要的数据在哪里？我可能建树一个投资组合吗？我是否可能妄想管道，以自动、托管以及受管的方式将所有的数据衔接在一起，从而使咱们可能将这些数据用在精确的光阴、位置，以及适宜的人、适宜的机械？”   本文深入钻研数据豫备为甚么仍是重中之重的原因，新一代数据豫备工具的特色，以及为企业抉择数据豫备工具时需要留意的下场。       01数据豫备难在哪里？ 多种因素减轻了数据豫备的难度。   首先，合成妄想所需的数据源以及数据规范的数目以及重大性呈指数级削减。碰头这些数据，搜罗企业外部以及外部的数据源，需要大批的光阴、资源、本领以及工具。   “这是现今时期数据情景的重大性。”IDC数据集成以及残缺性软件效率钻研主管Stewart Bond说。“有多种差距的数据规范：事件性数据、主数据、社交媒体数据、妄想化数据、非妄想化数据、日志文件数据、图形数据。有林林总总的数据，也有林林总总的技术来贮存这些数据。”   其次，对于自助碰头数据以及集成的恳求数目猛增，让IT团队不胜重负——这是会集式IT模子以及数据集成再也不实用的一个迹象。“IT部份需要经由易于用户运用以及清晰的工具来配置装备部署数据碰头额集成，这是对于数据豫备的需要进一步回升的原因。”Zaidi说。   第三，数据需要不断变更。营业合成师、营业用户、数据工程师以及数据迷信家等等差距的脚色都有差距的数据需要。这后退了数据豫备的难度，咱们需要让一次数据豫备知足差距脚色不断变更的需要。   02新一代数据豫备工具 随着数据豫备工具的成熟，痛点已经大大修正。以前的痛苦在于衔接哪些数据源以及豫备哪些数据；如今的企业主要关注数据规画、因循、可跟踪性以及品质。他们还需要确保具备需要本领的职员，可能运用数据豫备工具碰头精确的数据。   Bond将此演绎为“数据智能”下场——对于数据的元数据。“清晰数据的位置、数据的寄义、谁在运用它、谁可能碰头它、为甚么咱们具备数据、需要多持久保存数据以及人们若何运用它，这是一种智能。”他说。   值患上欢喜的是，数据豫备工具市场正在不断睁开，泛起了处置上述下场的新功能。上一代工具仅限于反对于营业用户所需的重大数据转换，如今的新一代工具，具备与IT团队同享服从以及豫备模子的功能，以及诸如数据辑录之类的数据规画功能，运用户可能魔难以及搜查互联的数据资产。   Zaidi说：“某些工具如今还嵌入了低级数据品质功能，这些是上一代工具所不的。”这些功能搜罗功能合成、标志、诠释、反单数据删除了、迷糊逻辑立室、链接以及并吞功能。这些功能使IT以及数据规画团队可能更轻松地后退数据品质并确保数据规画的合规性，让数据更好地适用种种模子。   在这里，机械学习（ML）是关键。基于ML的功能不光可能使数据的立室、毗邻、合成、标志以及诠释自动化，而且一些工具可能突出展现敏感属性、颇为以及颇为值，并与元数据规画以及规画工具相助，以防止敏感数据被果真。   Zaidi批注说：“这些机械学习增强的数据豫备工具，应承差距本领水平的用户接管数据豫备，同时确保规画以及合规性。”       03数据豫备难在哪里？ 当评估数据豫备工具时，Zaidi以为企业理当追寻如下关键功能：   •数据摄入以及合成。追寻一种可视化情景，运用户可能交互式地摄入、搜查、采样以及豫备数据资产。   •数据分类以及根基元数据规画。工具应反对于您建树以及搜查元数据。   •数据建模以及转换。工具应反对于数据混搭以及混合、数据整理、过滤以及用户界说的合计、组以及条理妄想。   •数据清静。工具应搜罗清静性功能，好比数据屏障、平台身份验证以及用户/组/脚色级此外清静性筛选。   •根基数据品质以及规画反对于。数据豫备工具应与反对于数据规画/规画以及数据品质、用户权限以及数据因循功能的工具集成。   •数据空虚。工具应反对于根基的数据丰硕功能，搜罗实体提取以及从集成数据中捉拿属性。   •用户相助以及经营。这些工具应有助于同享查问以及数据集，搜罗宣告、同享以及推广具备规画功能的模子，好比数据集用户评分。   此外，Zaidi还夸张了要追寻的如下差距化功能：   •数据源碰头/衔接。工具应具备基于API以及基于尺度的衔接性，搜罗对于云运用挨次以及数据源确当地碰头，好比盛行的数据库PaaS以及云数据货仓、当地数据源、关连以及非妄想化数据以及非关连数据库。   •机械学习。工具应反对于运用机械学习AI来改善致使自动化数据豫备历程。   •混合以及多云部署选项。数据豫备工具需要反对于云、当地或者混合集成平台配置中的部署。   •特定规模或者垂直规模的产物或者模板。工具应提供针对于特定规模或者垂直规模的数据以及模子的打包模板或者产物，以减速数据豫备光阴。   请留意，您必需思考的主要下场之一是：抉择自力的数据豫备工具，仍是抉择将数据豫备嵌入到更普遍的合成/BI、数据迷信或者数据集成工具中的提供商。假如您有一个通用的用例，它依赖于一系列合成/BI以及数据迷信工具的数据集成，那末可能思考运用自力的工具。另一方面，假如惟独要在特定平台或者零星中豫备数据，那末运用这些工具的嵌入式数据豫备功能可能更分心义。   源头：Thor Olavsrud