luni, 3 decembrie 2007

Web Crawler

Pentru tema 2 la laboratorul de IE am avut de implementat un WebCrowler. Un Web Crawler este un programel (mai mare sau mai mic ) care trimite mesaje request catre un server web cu intentia de a descarca pagini dinamice generate automat de catre acel server. Astfel posesorul unui astfel de web crawler isi poate popula o eventuala baza de date cu informatiile publicate pe anumite situri. Insa sa dezvolti un astfel de web crawler nu este tocmai usor pentru ca nu toate paginile web sunt la fel si astfel programul trebuie sa cunoasca formatul paginilor web pe care le inspecteaza. Astfel se folosesc biblioteci de expresii regulate sau limbaje de parsat fisiere xml si xhtml.
Interesant despre acest tip de program este folosirea lui in scopuri "necurate" cum ar fi fraudarea unor situri de pariuri online sau jocuri de noroc. Datele despre aceste pariuri (curse de cai , ruleta, blackjack samd) pot fi inregistrate in baze de date si apoi dezvoltarea unei strategii de castig pe baza patternului de generare a numerelor pseudo-aleatoarii. Strategia de pariere este de a pune la bataie sume mici insa pe foarte multe bilete astfel in eventualitatea unor calcule gresite suma pierduta nu este foarte mare.

Niciun comentariu: