Büyük Veri ve NoSQL Sistemleri
Büyük veri ve NoSQL sistemleri, ilişkisel veritabanlarının hacim, hız ve çeşitlilik gibi konularda zorlandığı durumlarda, katı ilişkisel garantileri yatay ölçeklenebilirlik, esnek şemalar ve yüksek erişilebilirlik ile takas ederek geliştirilmiş veri yönetimi teknolojileridir.
Tanım
Büyük veri sistemleri, geleneksel tek düğümlü veritabanları için çok büyük, hızlı veya çeşitli olan veri kümeleri için tasarlanmış veri yönetimi platformlarıdır; NoSQL sistemleri ise yatay ölçeklenebilirlik ve erişilebilirlik elde etmek amacıyla esnek veri modellerini ve gevşek tutarlılığı benimseyen ilişkisel olmayan depolardır.
Kapsam
Bu alan, büyük ölçek için tasarlanmış veri sistemlerini kapsamaktadır: NoSQL depoları (anahtar-değer, belge, geniş sütunlu ve grafik) ve bunların esnek veri modelleri; MapReduce'dan türeyen veri-paralel işleme çerçeveleri; CAP teoremi tarafından yakalanan tutarlılık-erişilebilirlik ödünleşimleri ve tutarlılık modellerinin spektrumu; ve büyük ölçekli analitik için veri ambarı ve OLAP. Bu sistemlerin ölçek için ilişkisel varsayımları nasıl gevşettiği veya yeniden düzenlediği ele alınmaktadır. Dağıtılmış taahhüt ve paralel sorgu yürütmenin iç işleyişleri bu kapsamın dışındadır; bunlar dağıtılmış ve paralel veritabanları alanında ele alınmaktadır.
Alt konular
Temel sorular
- İlişkisel veritabanlarının ötesine geçişi hangi ölçeklenebilirlik ve esneklik ihtiyaçları tetiklemiştir?
- Başlıca NoSQL kategorileri hangi veri modellerini sunmaktadır?
- Veri-paralel çerçeveler, kümeler arasında büyük veri kümelerini nasıl işlemektedir?
- CAP teoremi hangi tutarlılık-erişilebilirlik ödünleşimlerini tanımlamaktadır?
- Veri ambarları ve OLAP, büyük ölçekli analitik sorguları nasıl desteklemektedir?
Anahtar kavramlar
- anahtar-değer, belge, geniş sütunlu, grafik depolar
- yatay ölçeklenebilirlik
- şema esnekliği
- MapReduce ve veri-paralel işleme
- CAP teoremi
- nihai tutarlılık
- BASE ve ACID
- veri ambarı ve OLAP
Temel kuramlar
- Yatay ölçeklenebilir NoSQL depoları
- NoSQL sistemleri, tek düğümlü ilişkisel modeli terk ederek, ticari kümeler arasında parçalara ayıran ve çoğaltan anahtar-değer, belge, geniş sütunlu veya grafik modellerini benimsemektedir; bu sayede zengin sorgulama ve güçlü tutarlılık yerine ölçeklenebilirliği ve erişilebilirliği önceliklendirmektedir.
- Veri-paralel işleme
- MapReduce modelini takip eden çerçeveler, büyük ölçekli hesaplamaları, bölümlenmiş veriler üzerinde paralel haritalama (map) ve indirgeme (reduce) aşamaları olarak ifade etmektedir; bu sayede dağıtım, zamanlama ve hata toleransı karmaşıklığını programcıdan gizlemektedir.
- CAP ödünleşimi
- CAP teoremi, dağıtılmış bir veri deposunun aynı anda tutarlılık, erişilebilirlik ve bölüm toleransını garanti edemeyeceğini belirtmektedir; bu durum, tasarımcıları bir ağ bölümlemesi sırasında tutarlılık ve erişilebilirlik arasında seçim yapmaya zorlamaktadır.
Klinik önem
Büyük veri ve NoSQL sistemleri, modern web'in veri altyapısını güçlendirmektedir: anahtar-değer ve geniş sütunlu depolar yüksek trafikli hizmetleri desteklemekte, veri-paralel çerçeveler günlükleri ve tıklama akışlarını büyük ölçekte işlemekte ve veri ambarları iş analitiğine hizmet etmektedir; bu da söz konusu sistemleri veri mühendisliği ve büyük ölçekli uygulamalar için merkezi hale getirmektedir.
Tarihçe
2000'li yıllarda internet ölçeğindeki iş yükleri, tek düğümlü ilişkisel veritabanlarının kaldırabileceğinden fazlaydı. Google'ın MapReduce'u (2004/2008) ve açık kaynak Hadoop ekosistemi, küme ölçeğinde veri işlemeyi mümkün kıldı; Amazon'un Dynamo'su (2007) ve Google'ın Bigtable'ı, bir NoSQL deposu dalgasına ilham verdi; ve Brewer'ın CAP teoremi, bu sistemlerin barındırdığı tutarlılık-erişilebilirlik ödünleşimlerini çerçeveledi.
Tartışmalar
- Güçlü ve nihai tutarlılık
- NoSQL sistemleri, bölümlemeler altında duyarlı kalmak için genellikle erişilebilirliği ve nihai tutarlılığı tercih etmektedir, ancak bu durum, çakışma yönetimini uygulamalara yüklemektedir; alan, nihai tutarlılığın ne zaman kabul edilebilir olduğu ile yeni sistemlerin ne zaman daha güçlü garantileri geri getirmesi gerektiği konusunda tartışmaktadır.
Öne çıkan isimler
- Jeffrey Dean
- Sanjay Ghemawat
- Eric Brewer
- Werner Vogels
İlgili konular
Temel eserler
- dean2008
- decandia2007
- brewer2012
Sıkça sorulan sorular
- NoSQL, hiç SQL olmadığı anlamına mı gelmektedir?
- Hayır. NoSQL genellikle 'sadece SQL değil' olarak okunmaktadır. İlişkisel model üzerine inşa edilmemiş ve SQL'i merkeze almayan veri depolarını ifade etmektedir, ancak birçok NoSQL sistemi SQL benzeri sorgu arayüzleri sunmaktadır ve bu terim, tek bir teknoloji yerine geniş bir aileyi (anahtar-değer, belge, geniş sütunlu ve grafik veritabanları) kapsamaktadır.
- İlişkisel bir veritabanı yerine ne zaman bir NoSQL sistemi seçmeliyim?
- NoSQL sistemleri, birçok makine arasında yatay olarak ölçeklenmeniz, esnek veya hızla gelişen verileri depolamanız veya basit erişim modelleri için erişilebilirliği en üst düzeye çıkarmanız gerektiğinde cazip hale gelmektedir. İlişkisel veritabanları ise zengin sorgulara, karmaşık birleştirmelere ve yapılandırılmış veriler üzerinde güçlü işlemsel tutarlılığa ihtiyacınız olduğunda tercih edilmeye devam etmektedir.