[]
50-60 milyon satır veride SQL çalıştırmak?
Çok uzun sürüyor mu basit select sorgusu ya da daha kompleks join yapıları, veri temizleme işleri yapılacak diyelim, zaman sıkıntı olur mu, yoksa big data teknolojilerine yönelmek mi gerek?
Sisteme ve cektigin seylere bagli. 250 milyonda tek satir count komutunun 3 saatte geldigi de oluyor. Ayni tablodan saniyede 50 satir cektiginde sorunsuz aldigin da oluyor.
- acemi
(10.02.19 01:19:32)
kolon sayisina, nasil bir sorgu olduguna ve indexlere bagli. eger index varsa ve normal bir select sorgusu ise aninda donmesi lazim. 50-60M satir cok da buyuk bir database sayilmaz
- crucio
(10.02.19 01:20:56)
Gunluk en az o kadar verinin geldigi tablolara dogru indexleme - partitionlama ve guclu sistem (exadata) ile birkac saniyede istedigimiz sorgunun cevabini gorebiliyoruz. İcindeki veri de onemli tabi.
- fakyoras (10.02.19 06:02:42)
50-60m satir buyuk sayilmaz.
- kaptankedi (10.02.19 08:27:46)
index alanlarından sorgu kriteri yazarsanız sorun olmaz. yaklaşık 500 gb'lık, 180 milyar satırlı bir tablodan doğru sorgulanırsa 1 saniyede sorgulayabiliyoruz örneğin. joinler de index olursa sorun olmaz.
bir de veritabanı ne? altyapısı ne? bunlar da önemli. yukarıdaki örnek oracle & exadata.
bunun yannı sıra, sorgulanan alanın tipi de önemli. örneğin bir alanın char olması ile varchar olması arasında da, büyük verilerde ciddi performans farkı bulunur.
bir de veritabanı ne? altyapısı ne? bunlar da önemli. yukarıdaki örnek oracle & exadata.
bunun yannı sıra, sorgulanan alanın tipi de önemli. örneğin bir alanın char olması ile varchar olması arasında da, büyük verilerde ciddi performans farkı bulunur.
- altinci nesil caylak (10.02.19 11:21:33)
aggregation yapacağsan başka durumlar da var ;)
- kaptankedi (10.02.19 18:51:39)
1
