[]
Laravel - milyon satırlık veriler hk.
arkadaşlar selam. daha önce böyle yüksek miktarda verilerle çalışmadığım için, gelecekte bu işin şişerek problem olmasını engellemek ve bu işi en doğru yöntemle yapmak için size danışmmak istedim.
işlemleri tüm detaylarıyla yazacağım ki, sizden tavsiyeler alabileyim.
-----
1. sisteme bazı exceller import edilecek. bu exceller upload edildiğinde, içindeki bilgiler bizdeki EXCEL isimli bir tabloya kaydedilecek. excellerin içinde 80bin ile 3 milyon arası satır olacak.
2. bu satırlar sisteme aktarıldıktan sonra, ben bunları arayüzde göstereceğim. (bir sayfada 300-400 satır olacak şekilde)
3. kişiler bu listeden satırları inceleyip satırlara ait açıklama girebilecekler (yani update işlemi) ve diledikleri satırları ONAYLA şeklinde işaretleyebilecekler.
4. kişiler bu milyonluk işlemleri incelemeyi tamamladığında "İNCELEMEYİ TAMAMLA" tuşuna basacak ve yalnızca ONAYLA olarak işaretlenmiş veriler kalacak, diğer tüm veriler yok edilecek.
a. şimdi buraya aktarılacak 1 milyon satırlık veriden geriye 20-30bin satır, 80binlik veriden geriye 500-1000 satırlık veri kalacak.
b. ve bu import işlemi binlerce kez yapılabilir. yani bir sefer 1 milyonluk bir excel aktarıp bitmeyecek iş. her işleri bittiğinde yenisini yükleyip onu da işleyecekler. her seferinde tekrar tekrar yükleyecekler.
-------
ben şöyle düşündüm; ilk taslak olarak import edilen verileri atıyorum TASLAK_EXCEL diye bir tabloya kaydedip, buradan ONAYLA olarak işaretlenmiş verileri EXCEL isimli bir tabloya aktarırım. ardından TASLAK_EXCEL içindeki, "İNCELEMEYİ TAMAMLA" olarak işaretlenmiş tüm verileri yok ederim. bu sayede gerçek exceldeki veriler hiçbir zaman şişik olarak durmaz.
ama benimki tamamen tecrübesiz bir düşünce.
sizce bu verilerle nasıl çalışmalıyım?
işlemleri tüm detaylarıyla yazacağım ki, sizden tavsiyeler alabileyim.
-----
1. sisteme bazı exceller import edilecek. bu exceller upload edildiğinde, içindeki bilgiler bizdeki EXCEL isimli bir tabloya kaydedilecek. excellerin içinde 80bin ile 3 milyon arası satır olacak.
2. bu satırlar sisteme aktarıldıktan sonra, ben bunları arayüzde göstereceğim. (bir sayfada 300-400 satır olacak şekilde)
3. kişiler bu listeden satırları inceleyip satırlara ait açıklama girebilecekler (yani update işlemi) ve diledikleri satırları ONAYLA şeklinde işaretleyebilecekler.
4. kişiler bu milyonluk işlemleri incelemeyi tamamladığında "İNCELEMEYİ TAMAMLA" tuşuna basacak ve yalnızca ONAYLA olarak işaretlenmiş veriler kalacak, diğer tüm veriler yok edilecek.
a. şimdi buraya aktarılacak 1 milyon satırlık veriden geriye 20-30bin satır, 80binlik veriden geriye 500-1000 satırlık veri kalacak.
b. ve bu import işlemi binlerce kez yapılabilir. yani bir sefer 1 milyonluk bir excel aktarıp bitmeyecek iş. her işleri bittiğinde yenisini yükleyip onu da işleyecekler. her seferinde tekrar tekrar yükleyecekler.
-------
ben şöyle düşündüm; ilk taslak olarak import edilen verileri atıyorum TASLAK_EXCEL diye bir tabloya kaydedip, buradan ONAYLA olarak işaretlenmiş verileri EXCEL isimli bir tabloya aktarırım. ardından TASLAK_EXCEL içindeki, "İNCELEMEYİ TAMAMLA" olarak işaretlenmiş tüm verileri yok ederim. bu sayede gerçek exceldeki veriler hiçbir zaman şişik olarak durmaz.
ama benimki tamamen tecrübesiz bir düşünce.
sizce bu verilerle nasıl çalışmalıyım?
microsoft sql server yüzlerce TB bilgiyi bile şişmeden işleyebilir.
indexleri doğru oluşturursanız ve mümkünse SSD kullanır ve yüksek miktarda RAM takarsanız zaten şişme yaşamamanız gerekir.
tek tablo işinizi görür.
indexleri doğru oluşturursanız ve mümkünse SSD kullanır ve yüksek miktarda RAM takarsanız zaten şişme yaşamamanız gerekir.
tek tablo işinizi görür.
- aslindasorunumpsikolojik
(07.12.19 18:06:55)
1
