python ile olmaz o iş, çünkü veriler Javascript ile yükleniyor. Senin yaptığın istekte javascriptler çalışmayacağı için o veriler yüklenmemiş olacak.
seleniuma bir göz atabilirsin.
timer thread interval ile yapabilirsin www.geeksforgeeks.org
bu thread belli bir milisaniyede bir fonksiyon calistirir, ornegin 100 milisaniyede bir. bir fonksiyon yazarsin, bu fonksiyon da sayfa uzerindeki gerekli veriyi cekmeye calisir. veri orada degilse birsey yapmaz, ve thread 100 milisaniye sonra yine ayni fonksiyonu calistiracaktir. yine hala yuklenmediyse bir 100 milisaniye sonra tekrar calistiracaktir. bu veri yukleninceye kadar bu sekilde gider, yuklenince fonksiyon veriyi ceker ve timer intervali sonlandrirsin. ama bir tarafdan da sunu eklemen lazim veri hic yuklenmeyebilir de, o zaman sonsuza kadar interval calismasi durumu olur. o durum icin de ekstra timeout eklemen gerekli, yani yuklenmese de 10 saniye sonra herseyi sonlandir gibi.
selenium kütüphanesinde wait diye bir komut vardı diye hatırlıyorum. dolmasını bekledikten sonra çekebilirsin sanırım.
phantomjs kullan.
