Selamlar, 50 milyon satır 50 sütunluk bir pkl veri tabanım var diyelim, 10-15 GB kadar. bu veritabanından sorgu için pandas kullanıyorum (chatgpt'nin önerisi ile). hızlı sorgu ve verimlilik açısından doğru yapıyor muyum, dask veya sql de öneriyor.
python'a yeni başladım bu arada, yanlış bir ifadem varsa kusura bakmayın.
python'a yeni başladım bu arada, yanlış bir ifadem varsa kusura bakmayın.
amaç ne ona bağlı. ben de çok detaylarına hakim olmamakla birlikte benzer bir alanda çalışan biri olarak sadece sorguysa mevzu bir sql veritabanından yapılır gördüğüm kadarıyla bu işler. eğer python'ın başka nimetlerine de ihtiyaç varsa (sql'de yapılamayacak şekilde veri analizi veya tahminleme algoritması modelleme) o zaman python kullanılır (pandas, numpy ve diğer ilgili kütüphanaler). zaten tutulmak istenen bir veriyse elindeki muhakkak bir veritabanına aktarılmalı .pkl, .py, .ipynb, .csv, .xlsx falan durması bir şey ifade etmez yani.
pietro crespi
1