Re: Тест nginx -- сколько сообщений в log syslog без потерь?

[Anatoliy Melnik]

Фиксировал разными средствами. 
Этот "порог" наблюдается и на rsyslog, и на syslog-ng 
Сливал с 2-х nginx в один syslog -- получилось, расхождения в статистике пошли с 100тыс/сек, т.е. вероятнее всего nginx теряет на этапе генерации сообщения, а не на этапе транспортировки или приема rsyslog-ом. 

Результат не зависит от того, идет ли передача по udp или в unixSocket. 
Если сделать 2 записи аccess_log 
access_log syslog:server=unix:/tmp/syslog01,nohostname,facility=local5,severity=debug,tag=nginx_sts02 st01 if=$var0; 
access_log syslog:server=unix:/tmp/syslog02,nohostname,facility=local5,severity=debug,tag=nginx_sts02 st01 if=$var1; 

С условием "if" так, что бы половина уходила в один syslog, а половина в другой (2 независимых rsyslog-а на одном сервере, слив хоть по UDP, хоть по unix:socket в любой комбинации) 
Все равно примерно на уровне 50тыс/сек начинается расхождение в количестве. 


От: "Илья Шипицин" <chipitsine на gmail.com> 
Кому: "nginx-ru" <nginx-ru на nginx.org> 
Отправленные: Среда, 17 Январь 2024 г 15:31:49 
Тема: Re: Тест nginx -- сколько сообщений в log syslog без потерь? 



ср, 17 янв. 2024 г. в 12:49, Anatoliy Melnik via nginx-ru < [ mailto:nginx-ru на nginx.org | nginx-ru на nginx.org ] >: 



Здравствуйте. 
Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам. 
Логи льются в syslog (слив в файлы напрямую из nginx не желателен). 
По косвенным методам контроля вылезла проблема: 
До примерно 50 тыс/сек сообщений статистика прокси и бекэндов сходится, а вот начиная примерно с 50тыс/сек начинаются расхождения. nginx->syslog фиксирует меньше событий, чем сумма по бекэндам. 
Чем выше интенсивность запросов, тем больше расходятся данные. 
Сначала грешил на syslog, но детальные разборы полетов говорят, что скорее всего проблема в nginx. 



а можно раскрыть, что имеется в виду под "детальные разборы полетов говорят" ? 
по идее, проведя детальное расследование, которое что-то скажет, вы уже получили ответ 

BQ_BEGIN

У кого-то что-то такое наблюдалось или нет? 
При сливе логов с 2-х nginx-ов в один syslog все хорошо до примерно 100тыс/сек, т.е. скорее всего syslog не виноват. 
Кто-то с таким сталкивался? 
_______________________________________________ 
nginx-ru mailing list 
[ mailto:nginx-ru на nginx.org | nginx-ru на nginx.org ] 
[ https://mailman.nginx.org/mailman/listinfo/nginx-ru | https://mailman.nginx.org/mailman/listinfo/nginx-ru ] 

BQ_END


----------- следующая часть -----------
Вложение в формате HTML было извлечено…
URL: <http://mailman.nginx.org/pipermail/nginx-ru/attachments/20240118/a379e5dd/attachment.htm>