<p>S<br>
On Jul 24, 2013 1:15 PM, "Brian Koontz" <<a href="mailto:brian@pongonova.net">brian@pongonova.net</a>> wrote:<br>
><br>
> On Wed, Jul 24, 2013 at 10:56:25AM +0200, Jacob Dahl Pind wrote:<br>
> > user-agent: Lightspeed<br>
> > user-agent: SISTRIX Crawler<br>
> > user-agent: Baiduspider<br>
> > user-agent: YandexBot<br>
> > user-agent: Ezooms<br>
> > user-agent: Exabot<br>
> > user-agent: AhrefsBot<br>
><br>
> AhrefsBot is relentless. They don't seem to obey robots.txt, and<br>
> will just hammer a server for non-existent links.  So are you<br>
> suggesting that it's the proxy that should be responsible for<br>
> filtering this in some way?</p>
<p>Some of them already do. The floodgap proxy, for instance, has a blackhole for bots to wander about in.<br>
><br>
>   --Brian<br>
><br>
> --<br>
> Don't have gopher?  Visit the world's first wiki-based gopher proxy!<br>
> <a href="http://www.pongonova.org/gopherwiki">http://www.pongonova.org/gopherwiki</a><br>
> IRC: Freenode.net channel #gopherproject<br>
><br>
> _______________________________________________<br>
> Gopher-Project mailing list<br>
> <a href="mailto:Gopher-Project@lists.alioth.debian.org">Gopher-Project@lists.alioth.debian.org</a><br>
> <a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/gopher-project">http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/gopher-project</a><br>
</p>