adm-lib.ru
http://adm-lib.ru/forum/

Парсинг логов апача для статистики
http://adm-lib.ru/forum/viewtopic.php?f=3&t=41
Страница 1 из 1

Автор:  serg-php [ 13 ноя 2011, 15:49 ]
Заголовок сообщения:  Парсинг логов апача для статистики

Шеф дал вопрос продумать в аспекте админинга. Нагрузка. Узкие места. ...
Он хочет на каждую страницу новости повесить статистику посещений, кто, откуда, страна, прочее
и авторам в их кабинете показывать графиками.

Есть программер, который может реализовать с помощью пхп.

А я вот думаю, а не проще ли парсить логи ?

Т.е. парсер пробегает по логу текущего дня, собирает данные и заносит в мускульную базу!
База такая за полгода разрастется до нескольких гигов. Днем авторы смотрят статистику
по своим статьям и появляестя несколько дополнительных запросов в скрипте, хотя и к базе
другой, но на текущем же сервере.

Вопрос тогда целесообразности подключения срипта-модуля, который будет брать статистику из базы физически находящейся на другом сервере.

Автор:  serg-php [ 13 ноя 2011, 18:09 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

_http://www.webloganalyzer.biz/rus/web-log-analyzer.html
_http://www.analog.cx/
_http://linesoft.org/ru/projects/lslogs/
_http://en-demo.cnstats.com/cnstats/index.php?st=attendance&stm=1321131600&ftm=1321217999
_http://www.fri-stats.com/


Пример, первоначальной задумки
_http://allforjoomla.ru/info/38-joomla-statistics

Автор:  Victor [ 13 ноя 2011, 20:56 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

serg-php писал(а):
Шеф дал вопрос продумать в аспекте админинга. Нагрузка. Узкие места. ...
Он хочет на каждую страницу новости повесить статистику посещений, кто, откуда, страна, прочее
и авторам в их кабинете показывать графиками.


Под "прочее" попадает статистика по гендерному возрастному признаку? По каким еще? Посекундно или другие интервалы? Время хранения, то есть на протяжении какого времени она актуальна? Посекундную статистику хранить 75 лет?

Для чего это все? "Шоб было"? "Шоб было круто и красиво!"? Маркетинговые какие цели? Бухгалтерские, типа, чем больше читают твою статью с учетом коэфициента за страну, тем больше тебе, автор, денежек платим?

Иными словами, нет постановки задачи, даже, не сформулирована цель этого мероприятия. Типа: "Пойди туда, не знаю куда, но щто б красиво было и с графиками!"

serg-php писал(а):
Т.е. парсер пробегает по логу текущего дня, собирает данные и заносит в мускульную базу!
База такая за полгода разрастется до нескольких гигов.


Поскольку нет постановки задачи, оценить размер базы не представляется возможным. Например, если статистика нужна за несколько последних секунд, данные можно держать в мемкеше :)

Автор:  serg-php [ 13 ноя 2011, 21:31 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

Благодарю за исчерпывающий ответ. Вы прямо анкету составили!

В свою очередь ответ такой:


Цитата:
Под "прочее" попадает статистика по гендерному возрастному признаку?


1. Кто? Из какой страны? Какой браузер? С какого поисковика пришел?
2. Статистика будет вестись по страницам статей.
4.
Цитата:
Посекундную статистику хранить 75 лет?
От 3 до 12 мес.
5.
Код:
Посекундно или другие интервалы?

Допустим интервал 20 мин.

6.
Цитата:
Для чего это все?

Пользователям будет интересно, как часто и статьи читают, что будет стимулировать их к дальнейшему написанию.
7.
Цитата:
Маркетинговые какие цели? Бухгалтерские, типа, чем больше читают твою статью с учетом коэфициента за страну, тем больше тебе, автор, денежек платим?


Мысль хорошая!

8. Самое главное - ни на йоту не хочеться потерять в произвоидтельности и скорости загрузки страниц!

Автор:  Victor [ 14 ноя 2011, 09:54 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

Это Ваше видение задачи, или шефа? Дело в том, что шеф может это представлять слегонца по другому :)

[quote="serg-php"
8. Самое главное - ни на йоту не хочеться потерять в произвоидтельности и скорости загрузки страниц![/quote]

А как же философский принцип, что "за все нужно платить"?

Суммируя:
1) постановка цели ( то есть, ответ на вопрос зачем );
2) выбор средств, необходимых и достаточных.

К слову, ко второму пункту, также, относится выбор способа хранения данных. Если статистика только для авторов, не факт, что mysql правильный выбор. Но, если вдруг шефу захочется возле каждой статьи вывести, что ее, мол, за последние полгода, или с начала публикации, прочло x человек из y стран мира, а потом и вывести топ самых читаемых статей, то, естественно, эти ДВЕ цифры (грубо, конечно) придется хранить в базе, в одной строке со статьей, что приведет к увеличению этой самой строки аж на целых 0,000х процента :).

http://forum.ru-board.com/topic.cgi?forum=8&topic=0948
http://www.opennet.ru/prog/sml/50.shtml
http://www.bog.pp.ru/work/analog.html
http://www.10-strike.com/rus/log-analyzer/

Автор:  Victor [ 14 ноя 2011, 10:13 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

Присмотритесь к http://www.cn-software.com/ru/cnstats-pro/
Возможно, это будет дешевле и надежнее, чем оплата услуг программиста.

Автор:  serg-php [ 14 ноя 2011, 19:41 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

Цитата:
Это Ваше видение задачи, или шефа? Дело в том, что шеф может это представлять слегонца по другому


Шеф подает идею.

Моя задача - совместить его фантазию с реальной ситуацией.

Код:
А как же философский принцип, что "за все нужно платить"?


Вот и взвешиваю все за и против!

Цитата:
Если статистика только для авторов, не факт, что mysql правильный выбор


Да. Статистика только для авторов. Автор может видеть статистику только по своим статьям.


Цитата:
Но, если вдруг шефу захочется возле каждой статьи вывести, что ее, мол, за последние полгода, или с начала публикации, прочло x человек из y стран мира, а потом и вывести топ самых читаемых статей, то, естественно, эти ДВЕ цифры (грубо, конечно) придется хранить в базе, в одной строке со статьей, что приведет к увеличению этой самой строки аж на целых 0,000х процента


Примерно так он и хочет. http://top.net.ru/stat.php?id=1330 Вот примерно, какая статистика должна быть по каждой статьи отдельно.
Сей пример ресурсозатратный.

За ссылки спасибо!


Цитата:
Присмотритесь к http://www.cn-software.com/ru/cnstats-pro/


Насколько я понимаю, там нет возможности давать статистику исключительно по отдельным страницам и разграничить доступ пользователям к статистике.

Автор:  Victor [ 15 ноя 2011, 10:26 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

serg-php писал(а):

Цитата:
Присмотритесь к http://www.cn-software.com/ru/cnstats-pro/


Насколько я понимаю, там нет возможности давать статистику исключительно по отдельным страницам и разграничить доступ пользователям к статистике.


А Вы напишите разработчикам и спросите их :)

Автор:  serg-php [ 17 ноя 2011, 17:06 ]
Заголовок сообщения:  Re: Парсинг логов апача для статистики

Цитата:
Присмотритесь к _http://www.cn-software.com/ru/cnstats-pro/

Возможность организации как гостевого входа для просмотра статистики, так и аккаунтов с различным уровнем доступа;


Попробую изучить!

Страница 1 из 1 Часовой пояс: UTC + 3 часа
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/