Veri Gölü Evi Nedir?

Veri göl evi, şirketinizin verilerini depolamak ve düzenlemek için harika bir yoldur. İhtiyaç duyduğunuzda bilgiyi bulmayı ve kullanmayı kolaylaştırabilir. Bu kılavuz, bir veri göl evini tanımlayacak ve bir veri göl evi kullanmanın faydalarını açıklayacaktır.

Veri göl evi, yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri kendi yerel biçiminde uzun bir süre boyunca barındıran bir tesistir. En önemlisi, bir veri göl evinin amacı, bir analitik süreci veya uygulaması tarafından işlenmesi gerekene kadar verileri yerel biçiminde depolamaktır. Veriler, işlemeyi daha hızlı ve daha ucuz hale getirmek için uygun yapıya dönüştürülecek.

Bir veri göl evi ayrıca, mümkün olan her yerde otomasyon yoluyla rutin görevlere insan müdahalesini azaltmayı veya ortadan kaldırmayı amaçlar. Bu otomasyon, aşağı akış uygulamaları için meta veri etiketleme, çoğaltma, toplama ve ayıklamayı içerir. Planlanan işler genellikle Apache Oozie, Azkaban, Luigi veya Airflow gibi ayrı platformlarda çalıştırılır.

Veri göl evi, depolamayı ucuz bir meta olarak ele almasıyla diğer veri platformlarından farklıdır. Daha doğrusu, bilgi birimi başına yüksek maliyeti nedeniyle yapılandırılmış depolamanın verimsiz olduğunu düşünür. Bunun yerine, o sırada gerekli olan işleme veya sorguları kolaylaştırmak için toplanabilen daha ucuz yapılandırılmamış depolamaya odaklanır.

“veri gölü” uzun süreler boyunca kendi yerel biçiminde veri içeren herhangi bir depo ile eş anlamlı hale gelmiştir. Bu talihsiz bir durumdur çünkü bazı kuruluşlar dönüştürülmemiş ham verileri depolamak için daha geleneksel ilişkisel veritabanları veya NoSQL uygulamaları kullanmaya başlamışlardır, çünkü yanlış bir şekilde onları “göl" olarak tanımlamışlardır. Dolayısıyla, Hadoop'un Büyük Veri Gölü olarak kullanılmasından veya Dosya Sisteminin Veri Gölü olarak kullanılmasından bahseden insanları bulacaksınız. Bu yanlış. Hadoop başlangıçta, analitiği hızlandırmak için sorgu zamanında dönüştürülen ham günlükler için bir depolama alanı olarak düşünülmüştü.

Data Lakehouse Understanding

Veri göl evi, veri göllerinin esnekliğini, maliyet verimliliğini ve ölçeğini veri ambarlarının veri yönetimi ve ACID işlemleriyle birleştiren, tüm veriler üzerinde iş zekası (BI) ve makine öğrenimi (ML) sağlayan bir veri çözümü konseptidir.

Ayrıca “veri gölü analitiği” Bu, işletmelerin ham verilerinden içgörüler elde etmelerini ve bunlara göre hızla harekete geçmelerini kolaylaştıran kapsamlı bir sistemi ifade eder. Veri bilimi ekipleri daha sonra bulgularını, iş kararlarını bildirmek ve büyüme girişimlerini yönlendirmek için bu yeni içgörüyü kullanabilecek şirket liderleriyle paylaşır. Doğru şekilde uygulandığında işletmeler daha iyi çeviklik ve daha iyi karar verme süreci elde edebilir.

Veri gölü analitiği, birden fazla sektördeki şirketler tarafından çeşitli şekillerde kullanılır. Bir örnek, dijital pazarlama optimizasyonundaki rolüdür. Pazarlamacılar, teknolojisiyle, ister web sitelerinde ister sosyal medya sayfalarından birinde olsun, her bir müşteri etkileşimi hakkında bilgi toplayabilir. Ayrıca, gelecekteki reklam kampanyalarını bilgilendirebilecek kalıplar için bu verileri benimserler. Uygun şekilde uygulandığında, veri gölü analitiği, şirketlerin müşteriler için daha iyi bir deneyim sağlamasına ve daha fazla gelir elde etmesine yardımcı olur. Yüksek performanslı birçok kuruluşun bu yaklaşımı neden uygulamaya koyduğuna şaşmamak gerek.

Veri göl evi analitiğini uygulamanın en iyi yollarından biri, ön uç planlamadan operasyonelleştirmeye kadar rehberlik ve destek sağlayabilecek güvenilir, deneyimli bir profesyonel hizmet ortağıyla çalışmaktır. Zorlayıcı bir iş gerekçesi oluşturacaklar, gereksinimleri tanımlayacaklar, zaman çizelgelerini yönetecekler ve tüm süreç boyunca proje başarısını sağlayacaklar. Kısacası, her şeyi onlar halleder, böylece sizin yapmanıza gerek kalmaz.

Ayrıca bu uzmanlar, sistem tasarımı, geliştirme ve uygulama için kanıtlanmış metodolojileri, teknolojileri ve sektördeki en iyi uygulamaları kullanarak veri gölü analizi yatırımınızı en üst düzeye çıkarmanıza yardımcı olur ve sonuç olarak daha kısa sürede daha iyi sonuçlar sağlar. Ayrıca, veri gölü girişimlerinizi Hadoop gibi açık kaynaklı bir platformda veya kurumsal bir bulutta oluşturmak için genellikle sistem entegrasyon hizmetleri ve bulut mühendisliği yetenekleri sağlarlar.

Herhangi bir veri gölü analizi çalışması için temel bileşenler, tümü kullanımı kolay birleşik bir mimaride bulunan bulut tabanlı depolama, ölçeklenebilir işleme motorları ve kurumsal ana veri yönetimi (MDM) çözümünü içerir. Bu uzmanlar, ihtiyaçlarınız için doğru sistemi tasarlarken tüm bunları göz önünde bulundurur ve buna göre inşa eder. Hatta kuruluşunuzdaki herkesin bu en iyi uygulamaları sistem yayına girdikten sonra uygulamaya koymaya hazır olmasını sağlamak için kullanıma sunma, organizasyonel değişim yönetimi ve uzun vadeli destek için planlama yapmanıza bile yardımcı olurlar.

Temelde Teknoloji. Veri Gölü Evi

Bir veri göl evi, “göl” veri yönetimi paradigmasının bir parçasıdır. Tarihsel olarak, depolama maliyetleri, gecikme süresi, ağ bant genişliği vb. ile ilgili çeşitli nedenlerle tüm verileri bir gölde tutmak zor olmuştur. Veri göl evi hareketi, işletme değerini tescilli sistemlerden BT tarafından yönetilen açık kaynak altyapısına kaydırmakla ilgilidir. Bu geçişin temeli, ticari donanım ve Teradata Aster veya IBM Netezza gibi mevcut EDW platformlarının yanında veya bunların yerine çalışan Apache Hadoop yazılım yığınlarıyla oluşturulmuş yüksek performanslı bilgi işlem kümeleridir. Bu teknolojiler, analistlerin ve bilim adamlarının, veri yönetimi çözümünü destekleyen temel depolama ve bilgi işlem kaynaklarına erişmeden veya bu konuda sorumluluğa ihtiyaç duymadan, geniş ölçekte üretim kullanım senaryoları oluşturmasına olanak tanır.

Bir Veri Gölü Evinin Temel Özellikleri

Aşağıdakiler veri göl evlerinin temel özellikleridir:

• Bir veri göl evi, Hadoop Dağıtılmış Dosya Sistemi (HDFS), Hive, Pig, Oozie, dahil olmak üzere diğer Hadoop bileşenleriyle entegre edilebilir. Storm, Flume, Sqoop, Spark, Zeppelin vb.
• Verileri göle yüklemeden önce şemaları tanımlamak için gereken ek yükü azaltan, kendi kendine bildirilen veya kendi kendini yöneten şemaları destekler. Ayrıca şema tanımı dosyalarının birden çok sürümünü depolamak ve yönetmek için gereken ek yükü de ortadan kaldırır.
• Veri göl evleri, meta veri yönetimi için destek sağlar. Bu, hem gölün içeriği hakkındaki verileri hem de bu veri kümesine ne sıklıkta erişildiği, son altı ayda kimin kullandığı vb. harici meta verileri içerir.
• Bir “veri kataloğu” şeklinde düzenlenen verileri depolar. kullanılabilir veri kümelerinin bir listesi ve her bir veri kümesiyle ilgili ayrıntılar. Örneğin, bir veri kataloğu, bir sistem yöneticisi tarafından sağlanan veya üzerinde anlaşmaya varılan bir arayüz spesifikasyonu kullanılarak diğer bulut sistemlerinden veri göl evi tarafından otomatik olarak toplanan açıklayıcı bilgileri içerebilir.
• Birçok durumda, veri göl evleri federe sistemlerdir. bu, birden fazla kaynaktan gelen verileri birleştirebilecekleri anlamına gelir. Örneğin, bir veri göl evi, kullanıcı profili bilgi dosyalarını barındırmak için HDFS'yi kullanırken, arama ayrıntı kayıtları (CDR'ler) için başka bir bulut tabanlı hizmeti kullanabilir.
• Depolanan verilere erişmek için uygulama programlama arayüzlerini (API'ler) destekler. Örneğin, açık kaynaklı Hadoop Dosya Sistemi (HDFS) API'si ile uyumlu bir API içerebilir, böylece kullanıcılar, verilerin nasıl depolandığına ilişkin temel ayrıntıları anlamadan MapReduce işlerini gönderebilir. API'ler, iş zekası araçları ve harici verilere erişmesi gereken diğer sistemler tarafından da kullanılır.
• Birden çok kuruluş arasındaki iş ilişkilerinin yönetilmesini destekler. Örneğin, bazı veri kümeleri, tek bir kuruluş içindeki birkaç departman arasında paylaşılabilir. Buna karşılık, diğer veri kümeleri birden fazla kuruluşla ilgili bilgileri (ör. müşteri ve potansiyel müşteri verileri) içerebilir veya veri gölünü paylaşan tüm kuruluşlar tarafından kullanılabilir.
• Etkinlik aboneliklerini yönetmek için bir veri göl evi kullanılabilir. Sürekli olarak, insanlar veya sistemler data lakehouse'a ilgilenilen konularda yeni verilerin mevcut olup olmadığını sorabilir. En son kontrol edildikten sonra yeni veriler geldiyse, talep edene teslim edilir.

Data Lakehouse Mimari Tasarımları

Yeni self servise göre veri hazırlama iş akışı, modern siloların oluşturulması devam ediyor. Veri göl evi mimarisi şu kavramlar üzerine kurulmuştur:

• Yüksek ölçeklenebilirlik ile büyük verilere erişimi, aramayı ve analizi basitleştirme;
• Kurumun altyapısını modernleştirme veri gölü işlemi;
• Self servis veri hazırlama yoluyla uyumluluğu mevcut analiz ortamına sorunsuz bir şekilde entegre etme;
• Veri gölleri için geleneksel depolama sistemlerini modern sistemlerle değiştirme;
• Teknoloji ve uygulamalarda mevcut kurumsal yatırımlardan yararlanma.
• li>

Veri göl evleri hızla popülerlik kazanıyor, ancak bunların gerçek tanımları konusunda piyasada büyük bir kafa karışıklığı var. Bu kavramı açıklığa kavuşturmak için, veri göl evinin ne olduğu, nasıl çalıştığı ve bir veri göl evi için kullanılabilen farklı mimari tasarımların kısa bir açıklaması bulunmaktadır.

Veri Ambarı ve Veri Gölü ve Veri Gölü Evi karşılaştırması

Tipik bir veri ambarı, yapılandırılmış operasyonel verileri, iş analistlerinin raporlar çalıştırabileceği ve geçici sorguları yanıtlayabileceği merkezi bir havuzda yakalayan bir sistemdir. Günlük işlem verilerini, büyük ilişkisel veritabanı yönetim sistemlerinde (RDBMS) birkaç normalleştirilmiş tablodan oluşan merkezi depoya yükler. Bu normalleştirilmiş tablolar ayrıca ETL araçları kullanılarak yüklenen daha küçük düz dosyalardan oluşur. Veri ambarları, daha hızlı raporlama ve analiz için genellikle OLAP küplerinde dağıtılır. Bu, geleneksel bir veri ambarının tipik dağıtım modelidir.

Bir veri gölü genellikle, yapılandırılmış operasyonel verilerin yanı sıra yarı yapılandırılmış ve yapılandırılmamış bilgiler de dahil olmak üzere her türlü ham veriyi yerel biçiminde depolayan yalnızca ek bir depolama sistemidir. Bir veri gölü, RDBMS'leri veya normalleştirmeyi kullanmaz, bunun yerine dosya sistemlerini veya nesne depolarını kullanır. Önceden tanımlanmış bir yapısı yoktur ve bir meta veri şeması tarafından yönetilmez.

Son olarak, bir veri göl evi, veri gölünün üzerine oturan ve yönetim, iyileştirme, arama ve güvenlik sağlayan bir sistemdir. verilere erişim. Şirketin çeşitli havuzlarında (örneğin, ERP sistemleri ve Hadoop) ham, yarı yapılandırılmış ve yapılandırılmamış operasyonel verileri tek bir yerde depolamak için bir kurumsal veri merkezi olarak kullanılabilir. Bu model, kendi bilgi silolarını kullanan departmanlar arasında bilgi alışverişini kolaylaştırır.

Bir veri göl evinin amacı, SQL Server, Oracle vb. gibi ilişkisel veritabanları, Hadoop Dağıtılmış Dosya Sistemi (HDFS), Amazon S3 nesne depoları veya diğer dosya sistemleri dahil olmak üzere, içinde rafine edilmemiş verilerin bulunduğu farklı sistemler arasında orkestrasyon yapmaktır. /veya mevcut veri ambarları. Ayrıca tüm bilgiler (meta veriler dahil) için merkezi bir arama dizini görevi görür. Bu nedenle, kullanıcılar bu ortak Arama arayüzü aracılığıyla heterojen veri havuzlarında farklı şemaları aynı anda görüntüleyebilir.

Göl evinin, daha yaygın olarak geleneksel veritabanı olarak bilinen yapısı, büyük miktarda veriyi başarıyla depolayan, ancak bu bilgileri analiz için işleme veya alma zamanı geldiğinde genellikle başarısız olan bir depodan daha iyi olduğu düşünülmektedir. Bu tuzaklardan kaçınmak için şirketler veri göl evlerine yöneliyor. Bu yapının mimarisi Apache Hadoop'a dayanmaktadır. Bu açık kaynaklı yazılım çerçevesi, kullanıcıların ihtiyaç duydukları bilgileri hızla bulurken, büyük miktarlarda yapılandırılmamış verileri ucuz ticari sunucularda depolamasına olanak tanır. Ayrıca hem toplu işlemeyi hem de gerçek zamanlı analizi destekler; bu, işletmeniz için gerekli veya uygun olduğunda her tür veriyi analiz edebileceğiniz anlamına gelir.

Data Lakehouse'un Avantajları

Veri göl evlerinin avantajları çoktur. İlk olarak, bir veri göl evi, veri girişi için tek bir noktadan değer kazanır. İkinci olarak, saklanan tüm veriler, ona ihtiyaç duyan tüm araçlar ve uygulamalar tarafından kullanılabilir. Üçüncüsü, “tezgah” kullanıcıların veri gölünde bilgi paylaşmasına ve yapılar oluşturmasına olanak tanıyan paylaşılan bir kaynaktır.

Veri göl evleri, bilgileri geçici raporlama için kullanılabilecek diğer havuzlar, veri ambarları veya veritabanları ile paylaşır. Gerektiğinde değiştirmenize olanak tanıyan açık bir yapıları vardır. Ayrıca, kullanıcılar farklı kaynaklardan sürekli olarak yeni verileri içe aktarabilir.

Statik veri ambarlarına kıyasla, veri göl evleri bir kaynak veri gölüne dayandıklarından gerçek zamanlı olarak güncellenebilir. Son olarak, bir veri göl evinde bilgi depolama ve alma basitleştirilmiştir.

Sonuç

Veri göl evi, son yıllardaki en yeni veri merkezi türüdür. Bilgi teknolojisi, açık kaynaklı yazılım, bulut bilişim ve dağıtılmış depolama protokolleri dahil olmak üzere birçok farklı disiplini birleştirir. Şirketlerin herhangi bir konumdan her tür veriyi tek bir yerde depolamasına olanak vererek yönetimi ve analizi kolaylaştırır.