數(shù)據(jù)湖部署中的五個數(shù)據(jù)治理挑戰(zhàn)

成功的數(shù)據(jù)治理計劃涉及部署策略、標(biāo)準(zhǔn)和流程，以有效、正確地利用整個企業(yè)的優(yōu)質(zhì)數(shù)據(jù)。如果您的企業(yè)有數(shù)據(jù)湖環(huán)境，并希望獲得高質(zhì)量的分析結(jié)果，您需要部署正確的數(shù)據(jù)湖治理作為整體治理計劃的一部分。

然而，數(shù)據(jù)湖給企業(yè)數(shù)據(jù)管理的各個方面帶來了挑戰(zhàn)，包括數(shù)據(jù)管理。在討論治理挑戰(zhàn)之前，有必要定義什么是數(shù)據(jù)湖：一個可容納大量原始數(shù)據(jù)的數(shù)據(jù)平臺，通常以自己的格式保留，直到需要分析。

傳統(tǒng)的數(shù)據(jù)倉庫將數(shù)據(jù)存儲在關(guān)系表中，而數(shù)據(jù)湖使用平面結(jié)構(gòu)。每個數(shù)據(jù)元素分配唯一的識別符，并標(biāo)記一組元數(shù)據(jù)標(biāo)簽。也就是說，數(shù)據(jù)湖沒有數(shù)據(jù)倉庫那么結(jié)構(gòu)化。當(dāng)訪問數(shù)據(jù)進行分析時，數(shù)據(jù)將被分類和整理，而不是在數(shù)據(jù)加載到數(shù)據(jù)湖中。

有效的數(shù)據(jù)管理使企業(yè)能夠提高數(shù)據(jù)質(zhì)量和一致性，并在很大程度上利用數(shù)據(jù)進行業(yè)務(wù)決策，從而提高業(yè)務(wù)規(guī)劃和財務(wù)績效。數(shù)據(jù)管理的支持數(shù)據(jù)管理學(xué)科包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理和數(shù)據(jù)安全，所有這些因素都影響到數(shù)據(jù)湖管理。

現(xiàn)在，讓我們來看看以下五個數(shù)據(jù)湖部署中的數(shù)據(jù)治理挑戰(zhàn)。

1.識別和維護正確的數(shù)據(jù)源

在很多數(shù)據(jù)湖部署中，源元數(shù)據(jù)沒有被獲取或根本不可用，這使得數(shù)據(jù)湖內(nèi)容的有效性令人質(zhì)疑。例如，可能未列出記錄系統(tǒng)或數(shù)據(jù)集的業(yè)務(wù)所有者，或者顯然冗余數(shù)據(jù)可能會給數(shù)據(jù)分析人員造成問題。至少應(yīng)記錄數(shù)據(jù)湖中所有數(shù)據(jù)的源元數(shù)據(jù)，并使用戶可以使用它來了解其出處。

2.元數(shù)據(jù)管理問題

元數(shù)據(jù)為數(shù)據(jù)集內(nèi)容提供背景信息，是應(yīng)用程序中易于理解和使用數(shù)據(jù)的重要組成部分。然而，許多數(shù)據(jù)湖部署忽略了正確定義收集到的數(shù)據(jù)應(yīng)用程序的需求。此外，由于原始數(shù)據(jù)通常被加載到數(shù)據(jù)湖中，許多企業(yè)沒有采取步驟來驗證數(shù)據(jù)或應(yīng)用企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)。缺乏適當(dāng)?shù)脑獢?shù)據(jù)管理使數(shù)據(jù)湖中的數(shù)據(jù)對分析沒有用。

3.數(shù)據(jù)處理和數(shù)據(jù)質(zhì)量缺乏協(xié)調(diào)

不協(xié)調(diào)的數(shù)據(jù)湖治理和數(shù)據(jù)質(zhì)量工作會導(dǎo)致劣質(zhì)數(shù)據(jù)進入數(shù)據(jù)湖。當(dāng)這些數(shù)據(jù)用于分析和驅(qū)動業(yè)務(wù)決策時，結(jié)果可能不準(zhǔn)確，導(dǎo)致對數(shù)據(jù)湖失去信心，整個企業(yè)普遍不信任數(shù)據(jù)。有效的數(shù)據(jù)湖部署需要數(shù)據(jù)質(zhì)量分析師和工程師與數(shù)據(jù)管理團隊和數(shù)據(jù)管理人員密切合作，部署數(shù)據(jù)質(zhì)量策略，分析數(shù)據(jù)，并采取必要措施提高質(zhì)量。

4.數(shù)據(jù)治理和數(shù)據(jù)安全缺乏協(xié)調(diào)

在這種情況下，如果數(shù)據(jù)安全標(biāo)準(zhǔn)和策略沒有正確納入治理過程，可能無法訪問受隱私法規(guī)和其他類型敏感數(shù)據(jù)保護的個人數(shù)據(jù)。雖然數(shù)據(jù)湖旨在成為一個相當(dāng)開放的數(shù)據(jù)源，但仍需要安全和訪問控制措施，數(shù)據(jù)管理和數(shù)據(jù)安全團隊?wèi)?yīng)共同完成數(shù)據(jù)湖的設(shè)計和加載過程，以及持續(xù)的數(shù)據(jù)管理。

5.使用相同數(shù)據(jù)湖的業(yè)務(wù)部門之間的沖突

不同的部門可能對類似的數(shù)據(jù)有不同的業(yè)務(wù)規(guī)則，這可能導(dǎo)致無法協(xié)調(diào)數(shù)據(jù)差異進行準(zhǔn)確分析。完善的數(shù)據(jù)治理方案應(yīng)具有企業(yè)對數(shù)據(jù)策略、標(biāo)準(zhǔn)、流程和定義的視角，包括企業(yè)業(yè)務(wù)詞匯表，可以減少多個業(yè)務(wù)部門使用同一數(shù)據(jù)湖時的問題。若企業(yè)有多個數(shù)據(jù)湖，則每個數(shù)據(jù)湖都應(yīng)包含在數(shù)據(jù)湖治理過程中，并為其分配業(yè)務(wù)數(shù)據(jù)管理員。簡而言之，通過在數(shù)據(jù)湖的設(shè)計、加載和維護過程中增加強大的數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全過程，并積極參與這些領(lǐng)域的經(jīng)驗豐富的專業(yè)人員，可以顯著提高數(shù)據(jù)湖的價值。否則，你的數(shù)據(jù)湖可能會變成數(shù)據(jù)沼澤。