Site Grabber aussen vor halten

Gibt es eine Möglichkeit, Sitegrabber auszusperren und so den Traffic der Website etwas herabzusetzen ?

Jo, das würd mich auch interessieren!

Oder daß man mit nem FileManager nicht auf die Verzeichnisse zugreifen kann.....


Fg

da bin ich wenigstens nicht der einzige, dem es so geht

[x] Ja, ich möchte mehr Infos über "robots.txt".

Erstellt eine Datei namens "robots.txt" und schiebt diese ins Root-Verzeichnis eures Webservers.

Möglicher Inhalt:
Hier wird z.B. allen Spidern (*) verboten, die angegebenen Verzeichnisse zu durchsuchen. ABER: Nur seriöse Spider halten sich an die Angaben, Spammer-Bots scheren sich einen Dreck drum.

O Love

die robots.txt hab ich schon ne ganze weile "am laufen", das dumme ist nur, wenn man zum beispiel die seite via teleport (oder ähnliche programme) saugt, nützt diese datei auch nix ...

Wenn Du vollen Zugriff auf die Server-Konfiguration hast kannst Du glaub ich bestimmte Clients ausschließen.
Die meisten Site-Grabber oder Download-Manager (wir meinen damit ja beide keine Spider, oder?) bieten aber die Möglichkeit, sich als Netscape oder IE auszugeben.
Wenn Du die sperren würdest, wären ja auch alle "richtigen" Benutzer ausgeschlossen.

Wenn Du auf Deiner site große Downloads anbietest hilft Dir vielleicht ein PHP-Gateway oder was mit Java, das nur direkte, "echte" Downloads über den Browser ermöglicht. Solche Dinge (oder ein Script, das nicht mit den Seiten verlinkte Download-Links verschickt) gibt's wie Sand am Meer.

Wenn es die wie Sand am Meer gibt, diese Skripte......dann sehe ich den Wald vor lauter Bäumen nicht!


Gib dann mal ne URL!


Fg

Gut, wie Sand am Meer war vielleicht die falsche Formulierung.
Ich wollte nur sagen, daß solche Scripts nicht schwer zu finden sind.

Hier z.B. ein Script, um - wie ursprünglich gewünscht - bestimmte Browser/Clients zu blocken.
Wie gesagt macht das aber wenig Sinn, weil viele Progs sich mit anderem Namen ausgeben.

Sehr effektiv ist es, (wie z.B. bei Lycos oder Yahoo) einen Code abzufragen, der in einem Bild angezeigt wird, das von den Maschinen nicht gelesen werden kann:
http://www.hotscripts.com/Detailed/17979.html
http://www.hotscripts.com/Detailed/15726.html

Eine professionelle Variante ist Netpumper/Anti-Leech:
http://www.anti-leech.com/ (das Plugin und die Online-Version sind kostenlos)

Sonstige PHP-Scripts, die Abhilfe schaffen könnten:
http://www.21code.com/alfgate/index.php

http://www.php-free.de/Datei-Management/Datei-Download/

http://www.hotscripts.com/Detailed/21815.html
http://www.hotscripts.com/Detailed/19252.html
http://www.hotscripts.com/Detailed/18863.html
http://www.hotscripts.com/Detailed/18459.html
http://www.hotscripts.com/Detailed/2254.html
http://www.hotscripts.com/Detailed/14768.html
http://www.hotscripts.com/Detailed/16404.html
http://www.hotscripts.com/Detailed/14938.html
http://www.hotscripts.com/Detailed/17682.html
http://www.hotscripts.com/Detailed/9194.html
http://www.hotscripts.com/Detailed/5499.html

Ebenso unter FAQ´s verwiegt...

ist ja eine ganze menge hier zusammengekommen. mal schauen, was sich heute abend beim testen so ergibt ...

Kannst du deine Erfahrungen mal posten?

MatMike

also ich habe das ganze jetzt via .htaccess gelöst

wenn das bild nicht angezeigt wird, funktioniert es:



wie es geht steht hier: disable hotlinking

ich denke es sollte auch bei sitegrabbern funktionieren

Stimmt, mit FlashGet geht das nicht....da wird nur die html Datei runtergeladen.


Danke für den LINK!!!!


Fg

oki, np ...

Einfach und wirkungsvoll!
Gefällt mir!

es ist zwar effektiv, aber einen nachteil hat es doch: viele grafiken, die zum "inventar" der homepage gehören, werden zum beispiel bei opera, nicht geladen ;/

ich werd mal weitersehen, was es noch für möglichkeiten gibt

Es ist nicht leicht, jedem etwas Recht zu machen. Wenn man Sperren einbaut bleibt immer wehr draussen...

ja leider ...

ich denke mal, das ich mich an den zusatztraffic gewöhnen werde, soviel ist es ja nun auch wieder nicht

aber der ehrgeiz kratzt weiter

ich habe gerade noch eine lösung via .htaccess gefunden:

###STOP ROBOT DOWNLOADERS - BEGIN
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GoZilla.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^wget.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCapture.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Scooter-W3.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGe.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Webdupe.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^DiscoPump.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetNinja.* [NC,OR]
RewriteRule .* - [F,L]
###STOP ROBOT DOWNLOADERS - END

Tja Meister, wie gesagt geben sich Sitegrabber oft unter anderem Namen aus.
Bei FlashGet kann man z.B. einstellen, daß er die Browser-Kennung des IE oder von Netscape sendet.
Dadurch wird das ganze wohl wirkungslos.
Die wenigsten Namen die Du hier aufführst sind übrigens Robots.