Ротация логов Apache

[DragonZX]

Так от этого места на жестком диске врятли прибавится (всмысле существенно), на такую наргрузку ему минимум нужно либо на дедике делать 2 VPS и разбивать бд/фронтэнд, либо архивировать логи и отправлять на файловое хранилище раз недели в 2. Как у него апач выдерживает - непонятно.

[willrain]

На данный момент мы:
- ничего не знаем про общее число сайтов
- ничего не знаем про общее число посещений и нагрузку на сервисы
- ничего не знаем про возраст логов
- ничего не знаем про работоспособность logrotate

В общем, ТС, научись выражась свои мысли и начни сначала.

[plastilin]

Ну раз такая "петрушка" - то поехали:

1. ISPCP крутится на виртуальной машине Debian Lenny под управлением Citrix XenServer 5.6 SP2
2. В виртуалке 3 виртуальных диска с следующими точками монтирования:

1. /
2. /var/www
3. /var/log/apache2

3. Общее число доменов 50 (40 только что удалил - мертвые), средняя посещаемость за все домены в сутки около 10 000 уникальных хостов, судя по Awstats
4. Лог сайтов с расширением .1 - данные за 7 дней (с 11 сентября по 18 сентября)
5. Про logrotate - ничего не скажу тк сам пришел сюда разобраться с этим вопросом.

Информация по нагрузке из панели:
   
Если нужно могу дать статистику Cacti

[willrain]

Уже что-то.

Quote: 4. Лог сайтов с расширением .1 - данные за 7 дней (с 11 сентября по 18 сентября)

Т.е., текущий лог - с 18-го по сегодняшний день, а логов старее 11 сентября нет? Судя по тому, что лог с расширением ".1" в принципе появился - logrotate работает, ибо для логов Апача он делается как раз раз в неделю:

Code:

ls -lt /var/log/apache2/linuxoid.in-combined.log* | head -n4
-rw-r----- 1 root adm  1560449 Sep 19 11:58 /var/log/apache2/linuxoid.in-combined.log
-rw-r----- 1 root adm  9299092 Sep 18 06:25 /var/log/apache2/linuxoid.in-combined.log.1
-rw-r----- 1 root adm   342336 Sep 11 06:25 /var/log/apache2/linuxoid.in-combined.log.2.bz2
-rw-r----- 1 root adm   346615 Sep  4 06:26 /var/log/apache2/linuxoid.in-combined.log.3.bz2

Но тогда непонятно - что именно занимает место, так как при таком посещении логи вряд ли могут занимать такой объем - судя по скриншоту с Midnight Commander, для некоторых сайтов размер лога вообще мизерный.

В каталоге действительно есть такие большие файлы или это какой-то глюк?

[plastilin]

Достаточно много занимает, например:

Code:

-rw-r-----  1 root     adm      322M Сен 19 15:17 other_vhosts_access.log
-rw-r-----  1 root     adm      823M Сен 18 06:26 other_vhosts_access.log.1

Основные пожиратели:

Code:

12M ****.ru-traf.log.1                                                                                                                
20M ****.ru-combined.log                                                                                                          
25M ****.com-combined.log                                                                                                              
29M ****.com-combined.log.1                                                                                                            
38M ****.com-combined.log                                                                                                            
39M ****.ru-combined.log.1                                                                                                        
59M ****.xn--p1ai-combined.log                                                                                                        
112M ****.com-combined.log.1                                                                                                          
152M ****.ru-combined.log                                                                                                              
157M ****.xn--p1ai-combined.log.1                                                                                                      
325M other_vhosts_access.log                                                                                                                
404M ****.ru-combined.log.1                                                                                                            
824M other_vhosts_access.log.1

То же самое в директории /users/

Но даже с таким учетом 10 Гиг сложно забить, а уже 7,8

[willrain]

Если таких файлов много, то, похоже, тебе действительно стоит подумать насчет выделения большего места под логи. Считай, для каждого сайта существует текущая копия лога, несжатый файл для прошлой недели и 51 архив за прошедший год, после чего они удаляются. Плюс это все для чего-то в двойном экземпляре - я тут задавал вопрос на эту тему, пока никто не ответил зачем это.

Насколько понимаю, панель недавно работает, раз архивов до сих пор нет?

Quote: other_vhosts

Это подстановка? Ибо у меня такого файлика нет.

---

Quote: Но даже с таким учетом 10 Гиг сложно забить, а уже 7,8

Ну вот, так все же: ты глазами видишь на диске файлы, которые в сумме столько занимают или все, что есть из крупных - только тот other_vhosts*, а все остальное на уровне десятков Мб?

[plastilin]

Панель работает 2 года, но проблема начала проявляться недавно. Архивы пришлось удалить из-за нехватки свободного места.

У меня есть пару доменов, для субдоменов которых в ДНС прописано *, вот туда и сыпятся (other_vhosts) все субдоменные запросы.

Если посмотреть на диск:

Code:

/dev/xvdc1            9,9G  7,7G  2,3G  78% /var/log/apache2

А если проссумировать количество папок и файлов:

Code:

golf:/var/log/apache2# du -h
16K    ./lost+found
1,1G    ./users
4,0K    ./backup
3,3G    .

Code:

golf:/var/log/apache2# ls -RSshl
.:
итого 2,2G
./users:
итого 1,1G
./lost+found:
итого 0
./backup:
итого 0

Вот тут то у меня и затык...

[willrain]

Quote:
Если посмотреть на диск:
/dev/xvdc1 9,9G 7,7G 2,3G 78% /var/log/apache2

А если проссумировать количество папок и файлов:
golf:/var/log/apache2# du -h
3,3G .

Во. С этого и надо было начинать. Проверку файловой системы не пробовал делать?

[plastilin]

Пробовал, процедура перезагрузки сервера, типа 60 дней не проверялась, прочекал и все то же самое. А может как то в онлайне проверить?

[willrain]

Quote:А может как то в онлайне проверить?

Разве что остановить Апач, когда нагрузка будет поменьше, отмонтировать раздел и проверить.

А что за файловая система там?