<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
</head>
<body text="#000000" bgcolor="#ffffff">
<br>
<br>
4/20/11 1:10 PM, <a class="moz-txt-link-abbreviated" href="mailto:nginx-ru-request@nginx.org">nginx-ru-request@nginx.org</a> пишет:
<blockquote
cite="mid:mailman.4785.1303294214.33141.nginx-ru@nginx.org"
type="cite">
<table class="header-part1" width="100%" border="0"
cellpadding="0" cellspacing="0">
<tbody>
<tr>
<td>
<div class="headerdisplayname" style="display: inline;">Тема:
</div>
Re: Подскажите - как бороться с парсерами</td>
</tr>
<tr>
<td>
<div class="headerdisplayname" style="display: inline;">От:
</div>
Igor Sysoev <a class="moz-txt-link-rfc2396E" href="mailto:igor@sysoev.ru"><igor@sysoev.ru></a></td>
</tr>
<tr>
<td>
<div class="headerdisplayname" style="display: inline;">Дата:
</div>
Wed, 20 Apr 2011 14:03:05 +0400</td>
</tr>
</tbody>
</table>
<table class="header-part2" width="100%" border="0"
cellpadding="0" cellspacing="0">
<tbody>
<tr>
<td>
<div class="headerdisplayname" style="display: inline;">Кому:
</div>
<a class="moz-txt-link-abbreviated" href="mailto:nginx-ru@nginx.org">nginx-ru@nginx.org</a></td>
</tr>
</tbody>
</table>
<br>
<div class="moz-text-plain" wrap="true" graphical-quote="true"
style="font-family: -moz-fixed; font-size: 13px;"
lang="x-cyrillic">
<pre wrap="">On Wed, Apr 20, 2011 at 01:54:33PM +0400, Sergey Shepelev wrote:
</pre>
<blockquote type="cite" style="color: rgb(0, 0, 0);">
<pre wrap=""><span class="moz-txt-citetags">> </span>2011/4/20 maxim <a moz-do-not-send="true" class="moz-txt-link-rfc2396E" href="mailto:maxim@della.ua"><maxim@della.ua></a>:
</pre>
<blockquote type="cite" style="color: rgb(0, 0, 0);">
<pre wrap=""><span class="moz-txt-citetags">> > </span>У нас портал. На нем обьявления.
<span class="moz-txt-citetags">> > </span>И возникает ситуация когда конкуренты начинают парсить скриптами сайт и
<span class="moz-txt-citetags">> > </span>копипастить обьявления.
<span class="moz-txt-citetags">> > </span>поставил в настройках nginx
<span class="moz-txt-citetags">> ></span>
<span class="moz-txt-citetags">> > </span>http {
<span class="moz-txt-citetags">> > </span>.....
<span class="moz-txt-citetags">> > </span> limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
<span class="moz-txt-citetags">> > </span> limit_zone two $binary_remote_addr 1m;
<span class="moz-txt-citetags">> > </span>.....
<span class="moz-txt-citetags">> ></span>
<span class="moz-txt-citetags">> > </span>server {
<span class="moz-txt-citetags">> > </span> listen 80;
<span class="moz-txt-citetags">> > </span>......
<span class="moz-txt-citetags">> > </span>limit_req zone=one burst=35 nodelay;
<span class="moz-txt-citetags">> > </span>limit_conn two 5;
<span class="moz-txt-citetags">> ></span>
<span class="moz-txt-citetags">> > </span>Но не помогло. Вчера была такая картина
<span class="moz-txt-citetags">> > </span>Айпи Время Хиты
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:07 - 20:28:07 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:06 - 20:28:06 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:05 - 20:28:05 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:05 - 20:28:05 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:04 - 20:28:04 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:04 - 20:28:04 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:04 - 20:28:04 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:03 - 20:28:03 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:28:02 - 20:28:02 1
<span class="moz-txt-citetags">> > </span>....
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:26:52 - 20:26:52 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:26:51 - 20:26:51 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:26:51 - 20:26:51 1
<span class="moz-txt-citetags">> > </span>93.126.72.176 20:26:51 - 20:26:51 1
<span class="moz-txt-citetags">> ></span>
<span class="moz-txt-citetags">> > </span>Тоесть с этого айпи каждую секунду происходит одно соединение.
<span class="moz-txt-citetags">> > </span>Понятно что это не человек.
<span class="moz-txt-citetags">> > </span>Подскажите как с таким боротся? Возможно я неверно указал настройки? Или
<span class="moz-txt-citetags">> > </span>это не силами nginx делается?
<span class="moz-txt-citetags">> ></span>
</pre>
</blockquote>
<pre wrap=""><span class="moz-txt-citetags">> </span>
<span class="moz-txt-citetags">> </span>Кажется, limit_req и limit_conn вместе не работают.
</pre>
</blockquote>
<pre wrap="">Работает. Только один запрос в секунду вполне вписывается в 25r/s.
Поставить 1r/s ?
<div class="moz-txt-sig">--
Igor Sysoev
</div></pre>
</div>
</blockquote>
</body>
</html>