Studivz ist ein soziales Netzwerk für (und von) Studenten. Obwohl es für seine Sicherheitsmängel sowie durch seine Macher des öftern in Kritik geraten ist, wurde die Kopie des amerikanischen Facebooks für mehrere Millionen Euro an den Holzbrinck Verlag verkauft.
Sinn und Zweck des StudiVZ ist es potentielle Werbekunden... pardon... die Studenten Europas zu vernetzen. Zumindest in Deutschland hat dies bisher mit etwa 1,5 Millionen angelegten Studentenprofilen (Quelle: Studivz) ziemlich gut funktioniert.
Das tolle am StudiVZ ist, dass die Nutzer sich mit ihrem realen Namen anmelden, und die meisten ihre Angaben sehr gewissenhaft machen. Somit ist es leicht seine Freunde darin aufzuspüren (Oder demnächst Zielgruppen orientierte Werbung zu schalten). Man fügt die Freunde seiner Freundesliste hinzu, schreibt ihnen Grüße auf die Pinnwand, und gruschelt sie. Natürlich ist es wichtig ein Profil mit möglichst orginellem Inhalt incl. Fotos aus dem letzten Urlaub oder von der letzten Sauftour für die andern Studenten bereitzustellen.
Da uns im Studivz schnell langweilig wurde, begannen wir das System zu ergründen, und herauszufinden was man damit so alles anstellen kann. Die erste Idee war natürlich: Daten sammeln. Also scripteten wir uns einen Crawler, der folgendermaßen funktioniert:
Der Crawler speichert alle User-IDs (jeder Student hat eine User-ID) ab, die er im ersten Profil findet, welches man ihm angegeben hat. Nun spielt er dem StudiVZ-Server vor, er sei ein ganz normaler Student mit einem Webbrowser. So loggt er sich in das StudiVZ-System ein und ruft das erste Profil auf, dessen User-ID er zu beginn gespeichert hat.
Nun liest er alle Daten, die auf dem Profil zu sehen sind aus. Er speichert den Namen, das Foto, den Studiengang, die Handy Nummer, einfach alles. Auch die Freunde. Denn Die werden als nächstes besucht :-)
Bereits im Dezember 2006 wurde das komplette StudiVZ gecrawlt und ausgewertet (siehe http://studivz.irgendwo.org/ ). Mittlerweile haben die Betreiber des Studivz einen sog. "Captacha" eingebaut, der alle 50 Profilaufrufe das Crawlen unterbricht, indem er den User zwingt den Text eines Bildes abzutippen.
Da die Auswertung des StudiVZs also schon von jemand anders erledigt wurde, gaben wir uns mit den Daten von knapp 10.000 Studenten und den dazugehörigen Fotos zufrieden. Wir wollten nicht nur die Daten speichern, sondern aktiv werden. Also schufen wir 2 Bots mit Unterschiedlichen Eigenschaften und Funktionen.