Current time: 11-13-2024, 05:22 PM Hello There, Guest! (LoginRegister)


Post Reply 
 
Thread Rating:
  • 0 Votes - 0 Average
  • 1
  • 2
  • 3
  • 4
  • 5
Ротация логов Apache
Author Message
DragonZX Offline
Moderator
*****
Moderators

Posts: 441
Joined: Aug 2010
Reputation: 5
Post: #11
RE: Ротация логов Apache
Так от этого места на жестком диске врятли прибавится (всмысле существенно), на такую наргрузку ему минимум нужно либо на дедике делать 2 VPS и разбивать бд/фронтэнд, либо архивировать логи и отправлять на файловое хранилище раз недели в 2. Как у него апач выдерживает - непонятно.
(This post was last modified: 09-19-2011 07:02 PM by DragonZX.)
09-19-2011 07:02 PM
Visit this user's website Find all posts by this user Quote this message in a reply
willrain Offline
Junior Member
*

Posts: 62
Joined: Jul 2010
Reputation: 1
Post: #12
RE: Ротация логов Apache
На данный момент мы:
- ничего не знаем про общее число сайтов
- ничего не знаем про общее число посещений и нагрузку на сервисы
- ничего не знаем про возраст логов
- ничего не знаем про работоспособность logrotate

В общем, ТС, научись выражась свои мысли и начни сначала.
09-19-2011 07:06 PM
Visit this user's website Find all posts by this user Quote this message in a reply
plastilin Offline
Junior Member
*

Posts: 82
Joined: Jan 2010
Reputation: 1
Post: #13
RE: Ротация логов Apache
Ну раз такая "петрушка" - то поехали:

1. ISPCP крутится на виртуальной машине Debian Lenny под управлением Citrix XenServer 5.6 SP2
2. В виртуалке 3 виртуальных диска с следующими точками монтирования:

1. /
2. /var/www
3. /var/log/apache2

3. Общее число доменов 50 (40 только что удалил - мертвые), средняя посещаемость за все домены в сутки около 10 000 уникальных хостов, судя по Awstats
4. Лог сайтов с расширением .1 - данные за 7 дней (с 11 сентября по 18 сентября)
5. Про logrotate - ничего не скажу тк сам пришел сюда разобраться с этим вопросом.

Информация по нагрузке из панели:
   
Если нужно могу дать статистику Cacti
(This post was last modified: 09-19-2011 09:59 PM by plastilin.)
09-19-2011 09:58 PM
Find all posts by this user Quote this message in a reply
willrain Offline
Junior Member
*

Posts: 62
Joined: Jul 2010
Reputation: 1
Post: #14
RE: Ротация логов Apache
Уже что-то.

Quote: 4. Лог сайтов с расширением .1 - данные за 7 дней (с 11 сентября по 18 сентября)
Т.е., текущий лог - с 18-го по сегодняшний день, а логов старее 11 сентября нет? Судя по тому, что лог с расширением ".1" в принципе появился - logrotate работает, ибо для логов Апача он делается как раз раз в неделю:
Code:
ls -lt /var/log/apache2/linuxoid.in-combined.log* | head -n4
-rw-r----- 1 root adm  1560449 Sep 19 11:58 /var/log/apache2/linuxoid.in-combined.log
-rw-r----- 1 root adm  9299092 Sep 18 06:25 /var/log/apache2/linuxoid.in-combined.log.1
-rw-r----- 1 root adm   342336 Sep 11 06:25 /var/log/apache2/linuxoid.in-combined.log.2.bz2
-rw-r----- 1 root adm   346615 Sep  4 06:26 /var/log/apache2/linuxoid.in-combined.log.3.bz2
Но тогда непонятно - что именно занимает место, так как при таком посещении логи вряд ли могут занимать такой объем - судя по скриншоту с Midnight Commander, для некоторых сайтов размер лога вообще мизерный.

В каталоге действительно есть такие большие файлы или это какой-то глюк?
(This post was last modified: 09-19-2011 10:09 PM by willrain.)
09-19-2011 10:05 PM
Visit this user's website Find all posts by this user Quote this message in a reply
plastilin Offline
Junior Member
*

Posts: 82
Joined: Jan 2010
Reputation: 1
Post: #15
RE: Ротация логов Apache
Достаточно много занимает, например:

Code:
-rw-r-----  1 root     adm      322M Сен 19 15:17 other_vhosts_access.log
-rw-r-----  1 root     adm      823M Сен 18 06:26 other_vhosts_access.log.1

Основные пожиратели:

Code:
12M ****.ru-traf.log.1                                                                                                                
20M ****.ru-combined.log                                                                                                          
25M ****.com-combined.log                                                                                                              
29M ****.com-combined.log.1                                                                                                            
38M ****.com-combined.log                                                                                                            
39M ****.ru-combined.log.1                                                                                                        
59M ****.xn--p1ai-combined.log                                                                                                        
112M ****.com-combined.log.1                                                                                                          
152M ****.ru-combined.log                                                                                                              
157M ****.xn--p1ai-combined.log.1                                                                                                      
325M other_vhosts_access.log                                                                                                                
404M ****.ru-combined.log.1                                                                                                            
824M other_vhosts_access.log.1

То же самое в директории /users/

Но даже с таким учетом 10 Гиг сложно забить, а уже 7,8
(This post was last modified: 09-19-2011 10:34 PM by plastilin.)
09-19-2011 10:20 PM
Find all posts by this user Quote this message in a reply
willrain Offline
Junior Member
*

Posts: 62
Joined: Jul 2010
Reputation: 1
Post: #16
RE: Ротация логов Apache
Если таких файлов много, то, похоже, тебе действительно стоит подумать насчет выделения большего места под логи. Считай, для каждого сайта существует текущая копия лога, несжатый файл для прошлой недели и 51 архив за прошедший год, после чего они удаляются. Плюс это все для чего-то в двойном экземпляре - я тут задавал вопрос на эту тему, пока никто не ответил зачем это.

Насколько понимаю, панель недавно работает, раз архивов до сих пор нет?

Quote: other_vhosts
Это подстановка? Ибо у меня такого файлика нет.
Quote: Но даже с таким учетом 10 Гиг сложно забить, а уже 7,8
Ну вот, так все же: ты глазами видишь на диске файлы, которые в сумме столько занимают или все, что есть из крупных - только тот other_vhosts*, а все остальное на уровне десятков Мб?
(This post was last modified: 09-19-2011 10:48 PM by willrain.)
09-19-2011 10:45 PM
Visit this user's website Find all posts by this user Quote this message in a reply
plastilin Offline
Junior Member
*

Posts: 82
Joined: Jan 2010
Reputation: 1
Post: #17
RE: Ротация логов Apache
Панель работает 2 года, но проблема начала проявляться недавно. Архивы пришлось удалить из-за нехватки свободного места.

У меня есть пару доменов, для субдоменов которых в ДНС прописано *, вот туда и сыпятся (other_vhosts) все субдоменные запросы.

Если посмотреть на диск:

Code:
/dev/xvdc1            9,9G  7,7G  2,3G  78% /var/log/apache2

А если проссумировать количество папок и файлов:


Code:
golf:/var/log/apache2# du -h
16K    ./lost+found
1,1G    ./users
4,0K    ./backup
3,3G    .

Code:
golf:/var/log/apache2# ls -RSshl
.:
итого 2,2G
./users:
итого 1,1G
./lost+found:
итого 0
./backup:
итого 0

Вот тут то у меня и затык...
(This post was last modified: 09-19-2011 11:02 PM by plastilin.)
09-19-2011 11:00 PM
Find all posts by this user Quote this message in a reply
willrain Offline
Junior Member
*

Posts: 62
Joined: Jul 2010
Reputation: 1
Post: #18
RE: Ротация логов Apache
Quote:
Если посмотреть на диск:
/dev/xvdc1 9,9G 7,7G 2,3G 78% /var/log/apache2

А если проссумировать количество папок и файлов:
golf:/var/log/apache2# du -h
3,3G .
Во. С этого и надо было начинать. Проверку файловой системы не пробовал делать?
09-19-2011 11:02 PM
Visit this user's website Find all posts by this user Quote this message in a reply
plastilin Offline
Junior Member
*

Posts: 82
Joined: Jan 2010
Reputation: 1
Post: #19
RE: Ротация логов Apache
Пробовал, процедура перезагрузки сервера, типа 60 дней не проверялась, прочекал и все то же самое. А может как то в онлайне проверить?
09-19-2011 11:13 PM
Find all posts by this user Quote this message in a reply
willrain Offline
Junior Member
*

Posts: 62
Joined: Jul 2010
Reputation: 1
Post: #20
RE: Ротация логов Apache
Quote:А может как то в онлайне проверить?
Разве что остановить Апач, когда нагрузка будет поменьше, отмонтировать раздел и проверить.

А что за файловая система там?
09-19-2011 11:16 PM
Visit this user's website Find all posts by this user Quote this message in a reply
Post Reply 


Forum Jump:


User(s) browsing this thread: 5 Guest(s)