Un web crawler(sau web spider, web robot) este o aplicatie/ script automatizat care urmareste ceva pe internet. In alte cuvinte daca ii dam ca target un anumit site, acest crawler va aduna informatii si le va structura.
Internetul este o sursa nelimitata de informatii, dar in ultimul timp a devenit si un loc de joaca, fara sa iti incarce sistemul cu aplicatii mari, costisitoare si mai ales scumpe. O noua strategie in aceasta privinta o reprezinta jocurile online multiplayer sau MMOG (Massive multiplayer online game).
Aparut relativ de curand in Romania, Travian, a reusit intr-un timp destul de scurt sa isi stranga fani, fiind disponibile 5 servere : s1 (7900), s2 (9300), s4 (13760),s3(9500), s5(13100) - ultimul a fost lansat pe 5.11.2007 si are deja peste 13000 utilizatori.
Ce legatura are Travian cu un crawler web? Simplu: EU!
Am facut un parser care poate scoate orice informatie de pe server. As vrea totusi sa ma opresc asupra unuei singure facilitati: aceea de a structura toate aliantele din top 20. Cu alte cuvinte, dandu-i-se o alianta de pe server, gaseste toate relatiile sale : Razboi, PNA sau Ally. Un asemenea tool este de ajutor pentru cei din conducerea aliantelor, pentru a vedea cine ce a mai schimbat in relatiile de alianta, si mai ales, cine cu cine se razboieste!
Sa incepem descrierea tacticii de atac a crawler-ului:
1. Conectarea la server. (How to login to travian web site)
Conectarea din pacate a fost una dintre cele mai dificile taskuri, din cauza autentificarii care nu este documentata (evident) si a trebuit sa fac putin de reverse engineering :)
Asadar am folosit un tool de sniffing :WIREshark - care este free dar e destul de dificil de utilizat - tip puteti folosi IEWatch care se integreaza de minune cu InternetExplorer (pentru fainii acestui program), dar din pacate ca orice creeat de Microsoft nu este gratuit. Folosind Wireshark, am descoperit secventa de POST HTML care este trimisa la login. Spre fericirea mea userul si password-ul se trimit in plain text, deci e destul de simplu sa indentific secventa, in schimb partea mai grea a fost restul de campuri. Dau un indiciu mic mic, restul pe privat.
TIP:
Cam atat!!! Asteptam comentarii si sugestii.
Se afișează postările cu eticheta tema 2. Afișați toate postările
Se afișează postările cu eticheta tema 2. Afișați toate postările
marți, 4 decembrie 2007
luni, 3 decembrie 2007
Comunitati online
Datorita usurintei cu care se poate intra in ziua de azi pe Internet, tot mai multa lume petrece ore intregi in fata calculatorului, navigand pe Internet. Ei pot comunica cu prietenii sau isi pot face noi prieteni folosind comunitatile online.
In cadrul acestor comunitati, fiecare utilizator se poate prezenta, poate participa la discutii pe diverse teme sau pur si simplu poate afla informatiile dorite.
Comunitatile pot fi de mai multe tipuri : forumuri( in general folosite pentru schimb de informatii), blog-urile( utilizatorii comenteaza stirile din ultima devreme, lucrurile din viata lor, etc) , wiki(publicare de informatii, la editarea carora pot participa mai multi utilizatori), chat(nu mai are nevoie de nici o prezentare in acest context: oricine citeste acest articol are un id de messenger) si retelele de socializare, care vor fi prezentate in detaliu in cele ce urmeaza.
Retelele de socializare sunt pagini de web pe care utilizatorii publica anumite informatii despre ei(prieteni din cadrul comunitatii, date pesonale si nu in ultimul rand poze). Acestea sunt folosite in genera, dupa cum le spune si numele, pentru a cunoaste noi oameni, dar si pentru a comunica cu prietenii din lumea reala(comentarii la informatiile publicate, jocuri online si ,evident, simple mesaje).
Una dintre cele mai populare comunitati online la aceasta ora este hi5.com. Desi nu e la fel de complexa precum facebook.com, care ofera pe langa facilitatile hi5-ului multe jocuri, teste de compatibilitate si alte diverse aplicatii create chiar de utilizatori, el e mult mai popular printre prietenii mei si prietenii lor samd. Poate din cauza simplitatii sale: vezi pozele cuiva, iti place, il/o adaugi in lista ta de prieteni sau ii lasi un comentariu. Continuarea e in functie de imaginatia fiecaruia :).
Dar scopul acestui articol nu este publicitatea pentru acest site( ar fi fost, daca ar fi facut si ei publicitate site-ului aplicatiiweb.esk.ro, care e super misto, btw).Scopul e unul mai putin moral, sa zicem.
Datorita faptului ca paginile sitului sunt generate automate, ele sunt construite folosind anumite sabloane, care de altfel nu sunt foarte complicate. De ce conteaza acest lucru? Pentru ca folosind aceste sabloane putem face o baza cu utilizatorii acestui site, carora le putem trimite mesaje publicitare apoi.
Patternurile sunt simple:
- paginile de start pentru utilizatori au urmatoarea forma : http://hi5.com/friend/UserId--NumeUtilizator--Profile-html
- paginile cu prieteni:
http://hi5.com/friend/profile/displayFriends.do?userid=UserId&offset=NumarDeOrdine&page=next
(prietenii sunt indexati in lista utilizatorului; pagina va afisa 12 utilizatori plecand de la prietenul de la pozitii NumarDeOrdine)
- prietenii sunt trecuti in sursa acestei pagini in urmatorul fel: intalnim linia
In cadrul acestor comunitati, fiecare utilizator se poate prezenta, poate participa la discutii pe diverse teme sau pur si simplu poate afla informatiile dorite.
Comunitatile pot fi de mai multe tipuri : forumuri( in general folosite pentru schimb de informatii), blog-urile( utilizatorii comenteaza stirile din ultima devreme, lucrurile din viata lor, etc) , wiki(publicare de informatii, la editarea carora pot participa mai multi utilizatori), chat(nu mai are nevoie de nici o prezentare in acest context: oricine citeste acest articol are un id de messenger) si retelele de socializare, care vor fi prezentate in detaliu in cele ce urmeaza.
Retelele de socializare sunt pagini de web pe care utilizatorii publica anumite informatii despre ei(prieteni din cadrul comunitatii, date pesonale si nu in ultimul rand poze). Acestea sunt folosite in genera, dupa cum le spune si numele, pentru a cunoaste noi oameni, dar si pentru a comunica cu prietenii din lumea reala(comentarii la informatiile publicate, jocuri online si ,evident, simple mesaje).
Una dintre cele mai populare comunitati online la aceasta ora este hi5.com. Desi nu e la fel de complexa precum facebook.com, care ofera pe langa facilitatile hi5-ului multe jocuri, teste de compatibilitate si alte diverse aplicatii create chiar de utilizatori, el e mult mai popular printre prietenii mei si prietenii lor samd. Poate din cauza simplitatii sale: vezi pozele cuiva, iti place, il/o adaugi in lista ta de prieteni sau ii lasi un comentariu. Continuarea e in functie de imaginatia fiecaruia :).
Dar scopul acestui articol nu este publicitatea pentru acest site( ar fi fost, daca ar fi facut si ei publicitate site-ului aplicatiiweb.esk.ro, care e super misto, btw).Scopul e unul mai putin moral, sa zicem.
Datorita faptului ca paginile sitului sunt generate automate, ele sunt construite folosind anumite sabloane, care de altfel nu sunt foarte complicate. De ce conteaza acest lucru? Pentru ca folosind aceste sabloane putem face o baza cu utilizatorii acestui site, carora le putem trimite mesaje publicitare apoi.
Patternurile sunt simple:
- paginile de start pentru utilizatori au urmatoarea forma : http://hi5.com/friend/UserId--NumeUtilizator--Profile-html
- paginile cu prieteni:
http://hi5.com/friend/profile/displayFriends.do?userid=UserId&offset=NumarDeOrdine&page=next
(prietenii sunt indexati in lista utilizatorului; pagina va afisa 12 utilizatori plecand de la prietenul de la pozitii NumarDeOrdine)
- prietenii sunt trecuti in sursa acestei pagini in urmatorul fel: intalnim linia
<div class="user-profile">
dupa care urmatoarea linie contine un link spre respectivul
prieten
<a name="&lid=ProfileFriends_Name" title="Ionel" href="/friend/NewUserId--NumePrietem--Profile-html" class="username_dark">
Si uite asa, cu un programel foarte simplu, poti gasi multi utilizatori ai acestui domeniu. Cum sunt folosite
aceste informatii ramane la latitudinea fiecaruia. Deocamdata eu am pus utilizatorii
intr-o baza de date MySQL pe care am prezentat-o la laborator :).
Programelul il gasiti pe site-ul de interes general pentru studentii de anul 5 de la Calculatoare(sau cel putin
pentru majoritatea dintre ei) aplicatiiweb.esk.ro( mai multa lume a spus ca e util situl, nu numai eu :) ).
aceste informatii ramane la latitudinea fiecaruia. Deocamdata eu am pus utilizatorii
intr-o baza de date MySQL pe care am prezentat-o la laborator :).
Programelul il gasiti pe site-ul de interes general pentru studentii de anul 5 de la Calculatoare(sau cel putin
pentru majoritatea dintre ei) aplicatiiweb.esk.ro( mai multa lume a spus ca e util situl, nu numai eu :) ).
Abonați-vă la:
Postări (Atom)