FTP Search
Posted: Fri Jun 29, 2007 11:59 pm
Στο
http://zion.pwn/ffsearch ή
http://zion.pwn.gr/ffsearch ή
http://10.143.4.1/ffsearch
λειτουργει το πρωην FTP Search του PWN, και πλεον του PWMN.
Μπορει ο καθενας να βάλει το FTP του έτσι ωστε ο crawler να το ψαχνει και αυτο!
Αντε να μπουν ολα τα TerraBytes!
ΠΡΟΣΟΧΗ:
Τα μεγαλα ftp καλό ειναι να βρουν ενα τροπο να βγαζουν το filelist σε καποιο dir του ftp server και να το δηλωσουν αυτο στο ffsearch, ετσι ωστε ο crawler να μη ψαχνει ωρες το ftp σπαταλοντας αδικα πορους και ισχυ απο το zion και το δικτυο.
Παράδειγμα:
Στον ftp server στο pc μου (linux) εχω το παρακατω cron job
* */3 * * * root cd /jail/glftpd/site ; ls -lR | gzip -9 > ls-lR.gz
Το οποιο καθε 3 ωρες κανει ενα ls -lR στον καταλογο του ftp και το συμπιεζει με gzip.
Στη συνεχεια στο interface του ffsearch δηλώνουμε εκει που λεει List of Files: /ls-lR.gz οποτε ο crawler απλα μπαινει οταν ειναι να μπει και περνει μονο αυτο και βγαινει
USE IT!
====================
Αναλυτικότερα η λειτουργεια του FFSearch:
Υπαρχουν 3 τροποι να παρει ο crawler (το robot του ffsearch) τη λιστα με τα αρχεια:
1ος τροπος
O κατοχος του ftp server να φροντισει να εχει σε καποια θεση μεσα στο ftp το listing των αρχειων. To listing αυτο μπορει να ειναι σε μορφη ασυμπιεστη ή μετα απο εφαρμογή Gzip, Bzip2 ή compress.
To listing αυτο θα πρεπει απαραιτητα να ειναι σε μορφη unix, δηλαδη να εχει παραχθει χρησιμοποιώντας την εντολη
"ls -lR >file" ή "ls -alR >file" ή "ls -alLR >file"
Για συστηματα με windows προσπαθω να βρω λυση για δημιουργια του αρχειου ακομα.
===> Υπαρχουν καποιοι FTP Servers για win και linux οι οποιοι δημιουργουν αυτοματα αυτο το αρχειο με καποιο τροπο, μπορουμε να ψαξουμε προς αυτη την κατευθυνση.
Γενικα ο τροπος αυτος ειναι απο πολλες αποψεις ο ιδανικοτερος για ολους.
Πρωτον ο crawler χρειαζεται ελαχιστο χρονο, απλα μπαινει, περνει ενα αρχειο και βγαινει και το αρχειο αυτο ειναι μικρό σχετικα οχι πανω απο 3-4 mb ακομα και για τεραστια ftp.
2ος τροπος
O FTP server να υποστηρίζει την εντολη ls -lR. Αυτο μπορει να δοκιμαστει πολυ ευκολα. Σε ενα παραθυρο dos δινεται ftp IPtouServer, login username, δινεται password, και ειστε μεσα στον server.
Τωρα αν τρεξετε ls -lR και αρχισει να βγαζει τη λιστα για ολους τους φακελους του ftp, ειστε ενταξει, δουλευει. Αν βγαλει λαθος πεταχτε τον ftp server ειναι gtp
Πως μας χρησιμευει αυτο? O 2ος τροπος να παρει το listing ο crawler ειναι να μπει απλα και να τρεξει αυτη την εντολη, και να παρει το αποτελεσμα και να το επεξεργαστει.
Ο τροπος αυτος ειναι λιγο χειροτερος απο τον πρωτο, με την εννοια οτι τελικα αυτο που περνει ο crawler ειναι αρκετα μεγαλυτερο σε μεγεθος για μεγαλα ftp, και αυτο επειδη δεν ειναι συμπιεσμενο, ειναι σε μορφη text.
3ος τροπος
Ο 3ος τροπος ειναι ο κλασσικός, μπαινει ο crawler και γυριζει ολα τα directories του ftp ενα ενα, και σε καθε ενα μεσα τρεχει ενα ls για να παρει το αποτελεσμα και να το αποθηκευση στη βαση του.
Δραματικά αργός τροπος, ο οποιος φορτώνει πολυ τοσο το δικτυο οσο και τον ftp, αλλα και το zion στο οποιο τρεχει το ffsearch.
Αποφυγετε τον!!
============================================
Οταν βαζουμε εναν ftp server στο ffsearch, υπαρχει η επιλογη να δηλωσουμε το listing αρχειο.
Αν ειναι στο κεντρικο (root) φακελο του ftp, το δινουμε ως εξης:
/onomaArxeiou
ΠΡΟΣΟΧΗ: Αν δηλωσουμε οτι εχουμε listing αρχειο, τοτε ο crawler το μονο που θα κανει ειναι να προσπαθησει να το παρει. Αν για καποιο λογο δεν υπαρχει είτε δεν ειναι συμβατο είτε υπαρχει καποιο αλλο προβλημα, ο crawler ΔΕΝ θα κανει κατι αλλο, απλα δε θα το παρει και θα βγει απο το ftp.
Επισης υπαρχει η επιλογη use recursive ls -lR.
Αυτο ειναι για να προσπαθησει ο crawler να εφαρμοσει τον 2ο τροπο που περιεγραψα παραπανω.
ΠΡΟΣΟΧH: Αν δε τα καταφερει θα συνεχισει με κανονικο crawl αυτη τη φορα.
=======================================
Καθε ποτε γινεται crawl?
Ολοκληρωμενο (complete) crawl (ψαξιμο) ΟΛΩΝ των ftp στη λιστα, γινεται ΚΑΘΕ ΜΕΡΑ νωρις το πρωι. Αν σε καποιο ftp εμφανιστει προβλημα και δεν ολοκληρωθει το crawl, τοτε αυτο σημειώνεται με ενα flag.
Incremental Crawl, γινεται ανα 5-6 ωρες καθε μερα. Σε αυτο το crawl το ffsearch προσπαθει απλα να ψαξει οσα ftp εχουν μαρκαριστει με το flag, δηλαδη δε μπορεσε να μπει οταν εκανε το complete crawl.
==> Ο κατοχος του ftp, μπορει να προσδιορισει καποιες παραμετρους. Πχ βαζοντας period = 10, τοτε λεει στο ffsearch να μπει να ψαξει μια φορα ανα 10 complete crawls, δηλαδη μια φορα τις 10 μερες.
==========================================
Αυτααααα
http://zion.pwn/ffsearch ή
http://zion.pwn.gr/ffsearch ή
http://10.143.4.1/ffsearch
λειτουργει το πρωην FTP Search του PWN, και πλεον του PWMN.
Μπορει ο καθενας να βάλει το FTP του έτσι ωστε ο crawler να το ψαχνει και αυτο!
Αντε να μπουν ολα τα TerraBytes!
ΠΡΟΣΟΧΗ:
Τα μεγαλα ftp καλό ειναι να βρουν ενα τροπο να βγαζουν το filelist σε καποιο dir του ftp server και να το δηλωσουν αυτο στο ffsearch, ετσι ωστε ο crawler να μη ψαχνει ωρες το ftp σπαταλοντας αδικα πορους και ισχυ απο το zion και το δικτυο.
Παράδειγμα:
Στον ftp server στο pc μου (linux) εχω το παρακατω cron job
* */3 * * * root cd /jail/glftpd/site ; ls -lR | gzip -9 > ls-lR.gz
Το οποιο καθε 3 ωρες κανει ενα ls -lR στον καταλογο του ftp και το συμπιεζει με gzip.
Στη συνεχεια στο interface του ffsearch δηλώνουμε εκει που λεει List of Files: /ls-lR.gz οποτε ο crawler απλα μπαινει οταν ειναι να μπει και περνει μονο αυτο και βγαινει
USE IT!
====================
Αναλυτικότερα η λειτουργεια του FFSearch:
Υπαρχουν 3 τροποι να παρει ο crawler (το robot του ffsearch) τη λιστα με τα αρχεια:
1ος τροπος
O κατοχος του ftp server να φροντισει να εχει σε καποια θεση μεσα στο ftp το listing των αρχειων. To listing αυτο μπορει να ειναι σε μορφη ασυμπιεστη ή μετα απο εφαρμογή Gzip, Bzip2 ή compress.
To listing αυτο θα πρεπει απαραιτητα να ειναι σε μορφη unix, δηλαδη να εχει παραχθει χρησιμοποιώντας την εντολη
"ls -lR >file" ή "ls -alR >file" ή "ls -alLR >file"
Για συστηματα με windows προσπαθω να βρω λυση για δημιουργια του αρχειου ακομα.
===> Υπαρχουν καποιοι FTP Servers για win και linux οι οποιοι δημιουργουν αυτοματα αυτο το αρχειο με καποιο τροπο, μπορουμε να ψαξουμε προς αυτη την κατευθυνση.
Γενικα ο τροπος αυτος ειναι απο πολλες αποψεις ο ιδανικοτερος για ολους.
Πρωτον ο crawler χρειαζεται ελαχιστο χρονο, απλα μπαινει, περνει ενα αρχειο και βγαινει και το αρχειο αυτο ειναι μικρό σχετικα οχι πανω απο 3-4 mb ακομα και για τεραστια ftp.
2ος τροπος
O FTP server να υποστηρίζει την εντολη ls -lR. Αυτο μπορει να δοκιμαστει πολυ ευκολα. Σε ενα παραθυρο dos δινεται ftp IPtouServer, login username, δινεται password, και ειστε μεσα στον server.
Τωρα αν τρεξετε ls -lR και αρχισει να βγαζει τη λιστα για ολους τους φακελους του ftp, ειστε ενταξει, δουλευει. Αν βγαλει λαθος πεταχτε τον ftp server ειναι gtp
Πως μας χρησιμευει αυτο? O 2ος τροπος να παρει το listing ο crawler ειναι να μπει απλα και να τρεξει αυτη την εντολη, και να παρει το αποτελεσμα και να το επεξεργαστει.
Ο τροπος αυτος ειναι λιγο χειροτερος απο τον πρωτο, με την εννοια οτι τελικα αυτο που περνει ο crawler ειναι αρκετα μεγαλυτερο σε μεγεθος για μεγαλα ftp, και αυτο επειδη δεν ειναι συμπιεσμενο, ειναι σε μορφη text.
3ος τροπος
Ο 3ος τροπος ειναι ο κλασσικός, μπαινει ο crawler και γυριζει ολα τα directories του ftp ενα ενα, και σε καθε ενα μεσα τρεχει ενα ls για να παρει το αποτελεσμα και να το αποθηκευση στη βαση του.
Δραματικά αργός τροπος, ο οποιος φορτώνει πολυ τοσο το δικτυο οσο και τον ftp, αλλα και το zion στο οποιο τρεχει το ffsearch.
Αποφυγετε τον!!
============================================
Οταν βαζουμε εναν ftp server στο ffsearch, υπαρχει η επιλογη να δηλωσουμε το listing αρχειο.
Αν ειναι στο κεντρικο (root) φακελο του ftp, το δινουμε ως εξης:
/onomaArxeiou
ΠΡΟΣΟΧΗ: Αν δηλωσουμε οτι εχουμε listing αρχειο, τοτε ο crawler το μονο που θα κανει ειναι να προσπαθησει να το παρει. Αν για καποιο λογο δεν υπαρχει είτε δεν ειναι συμβατο είτε υπαρχει καποιο αλλο προβλημα, ο crawler ΔΕΝ θα κανει κατι αλλο, απλα δε θα το παρει και θα βγει απο το ftp.
Επισης υπαρχει η επιλογη use recursive ls -lR.
Αυτο ειναι για να προσπαθησει ο crawler να εφαρμοσει τον 2ο τροπο που περιεγραψα παραπανω.
ΠΡΟΣΟΧH: Αν δε τα καταφερει θα συνεχισει με κανονικο crawl αυτη τη φορα.
=======================================
Καθε ποτε γινεται crawl?
Ολοκληρωμενο (complete) crawl (ψαξιμο) ΟΛΩΝ των ftp στη λιστα, γινεται ΚΑΘΕ ΜΕΡΑ νωρις το πρωι. Αν σε καποιο ftp εμφανιστει προβλημα και δεν ολοκληρωθει το crawl, τοτε αυτο σημειώνεται με ενα flag.
Incremental Crawl, γινεται ανα 5-6 ωρες καθε μερα. Σε αυτο το crawl το ffsearch προσπαθει απλα να ψαξει οσα ftp εχουν μαρκαριστει με το flag, δηλαδη δε μπορεσε να μπει οταν εκανε το complete crawl.
==> Ο κατοχος του ftp, μπορει να προσδιορισει καποιες παραμετρους. Πχ βαζοντας period = 10, τοτε λεει στο ffsearch να μπει να ψαξει μια φορα ανα 10 complete crawls, δηλαδη μια φορα τις 10 μερες.
==========================================
Αυτααααα
