Форумы Форум www.proxomitron.ru
Все о программе Proxomitron
Главная  • FAQ для форума  •  Поиск  •  Пользователи  •  Группы   •  Регистрация  •  Профиль  •  Личные сообщения  •  Вход
 Википедия
 Сайт -> Форумы » Фильтры
Следующая тема
Предыдущая тема

Новая тема  Ответить
Автор Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Вс, Июл 30 2006 22:57 Цитировать |  |  | 

При просмотре "Различий между версиями" в Википедии (например, [url]ru.wikipedia.org/w/index.php?title=Proxomitron&diff=878233&oldid=552329 ) после списка изменений выдаётся текст статьи. Это неудобно при просмотре частых небольших изменений длинной статьи (особенно это касается форума). При каждом таком просмотре приходиться грузить вёсь текст статьи, что сжирает кучу трафика.

Может кто помочь написать фильтр, обрезающий такие страницы и экономящий таким образом трафик?


Последний раз редактировалось: Kink (Пн, Июл 31 2006 21:59), всего редактировалось 1 раз
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2625
Откуда: SPb

СообщениеДобавлено: Вс, Июл 30 2006 23:24 Цитировать |  |  | 

Не получится: сервер сам прилепляет статью. Только если подобрать GET-параметр, чтобы он этого не делал.
К началу Профиль Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Пн, Июл 31 2006 10:06 Цитировать |  |  | 

chAlx писал(а):
Не получится: сервер сам прилепляет статью. Только если подобрать GET-параметр, чтобы он этого не делал.


А разве нельзя, после того как встретилось "<hr /><h2> Версия", отрубить соеденение? Как например в фильтре ограничения размера изображений.


PS: А что за GET-параметр? Как его подобрать?
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2625
Откуда: SPb

СообщениеДобавлено: Пн, Июл 31 2006 17:09 Цитировать |  |  | 

Kink:

Да, соединение рвать можно, но это не значит, что сервер мгновенно перестанет слать данные. Да, до браузера они не дойдут, но как трафик вероятнее всего засчитаются (особенно на быстрых коннектах).

Но попробовать можно. Кидай свой фильтр, исправим ;)
К началу Профиль Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Пн, Июл 31 2006 22:43 Цитировать |  |  | 

chAlx писал(а):
Да, до браузера они не дойдут, но как трафик вероятнее всего засчитаются (особенно на быстрых коннектах).

Но попробовать можно. Кидай свой фильтр, исправим ;)


Вот попробовал:

---
[Patterns]
Name = "Wikipedia Diff Lighter [Kink]"
Active = TRUE
URL = "ru.wikipedia.org/w/index.php\?title=*\&diff="
Limit = 256
Match = "<hr /><h2>"
Replace = "\k</body></html>"
---

Связка Opera->Proxomitron->Coolproxy->CProxy->Outpost

Итог: С выключеным фильтром страница тестовая страница [url]ru.wikipedia.org/w/index.php?title=%D0%92%D0%B8%D0%BA%D0%B8%D0%BF%D0%B5%D0%B4%D0%B8%D1%8F:%D0%93%D0%BE%D0%BB%D0%BE%D1%81%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F/%D0%93%D0%BE%D0%BC%D0%BE%D1%81%D0%B5%D0%BA%D1%81%D1%83%D0%B0%D0%BB_vs_%D0%B3%D0%BE%D0%BC%D0%BE%D1%81%D0%B5%D0%BA%D1%81%D1%83%D0%B0%D0%BB%D0%B8%D1%81%D1%82&curid=261897&diff=1602895&oldid=1602501 грузит ~124kb со включеным ~70-75. Из них нужных ~10kb, остальные 60kb идут в пустоту. Причём эти 60kb грузятся когда и opera и coolproxy показывают, что соединения уже нет. CProxy тоже показывает, что движения трафика нет и этот трафик в соей статистике не считает.

PS: Ты писал про подбор запроса GET, можно поподробнее?
К началу Профиль Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Пн, Июл 31 2006 22:55 Цитировать |  |  | 

Аутпост показывает, что эти 60k CProxy получил, хотя он их не видит и не учитывет.

Есть идеи как уменьшить эти 60k?

PS: Скорость невысокая, GPRS.
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2625
Откуда: SPb

СообщениеДобавлено: Вт, Авг 01 2006 09:11 Цитировать |  |  | 

Kink:

Фильтр хороший, по-существу править нечего ;)

Отказываться принимать "лишний" хвост страницы -- это противоестественно природе HTTP. Запрос сервер получил и честно отправляет данные до полной отправки либо до получения сигнала разрыва. По GPRS задержка большая, поэтому разрыв происходит нескоро. Ну а на локальном хосте софт определяет, что пришёл ненужный ответ на закрытый запрос, и отбразывает.

Теоретически, можно на более низком уровне рвать соединение, например, TCP-сессию. Или для начала попробовать запретить keep-alive (использовать фильтр Connection: Close all connections (In+Out) или переключиться на HTTP/1.0).

Про параметры GET (то, что перечисляется в УРЛе через &) ничего сказать не могу, т.к. не видел исходников MediaWiki. Обычно такие сложные интерфейсы снабжаются возможностью кастомизации, т.е. выбора нужных элементов. В данном случае это помогло бы немного разгрузить сервера и ускорить работу модераторов. Так что вероятность есть.

Но как именно найти нужный параметр, не знаю. Проще всего посмотреть исходники, но трудно разобраться, какие именно. Можно покопаться во всяких служебных ссылках, или по форумам полазить, или спросить кого-нибудь.. Ищите и обрящете. В конце-концов можно запросить это как фичу, чтобы её добавили в интерфейс всей Википедии.
К началу Профиль Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Сб, Авг 05 2006 13:00 Цитировать |  |  | 

Цитата:
Фильтр хороший, по-существу править нечего ;)

Ну как минимум ещё надо из файла конец страницы с меню и прочим добавлять. Но это неглавное и поэтому это делоть неохота.


Цитата:
для начала попробовать запретить keep-alive (использовать фильтр Connection: Close all connections (In+Out) или переключиться на HTTP/1.0).

Ни первое не второе не помогло. Sad Возможно дело в CProxy? Есть ещё способы? Может проги какие?


Цитата:
В конце-концов можно запросить это как фичу, чтобы её добавили в интерфейс всей Википедии.

Во первых это надо делать на английском, во вторых дождаться когда они среагируют не реально. Sad
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2625
Откуда: SPb

СообщениеДобавлено: Сб, Авг 05 2006 14:31 Цитировать |  |  | 

Kink:

Значит, ищи исходник нужной страницы -- это ведь OpenSource.
К началу Профиль Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Сб, Авг 05 2006 15:41 Цитировать |  |  | 

А что делать с резкой изображений по размеру? Smile
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2625
Откуда: SPb

СообщениеДобавлено: Вс, Авг 06 2006 23:30 Цитировать |  |  | 

Kink:

Цитата:
А что делать с резкой изображений по размеру?

Не надо оффтопить; этот вопрос обсуждается в другой теме.
К началу Профиль Сообщение
Kink
Junior Member
Junior Member


Зарегистрирован: 30.07.2006
Сообщения: 25

СообщениеДобавлено: Пн, Авг 07 2006 10:06 Цитировать |  |  | 

Я имел ввиду, что у этих задач общая проблема
К началу Профиль Сообщение
Показать сообщения:      
 
Новая тема  Ответить

 Перейти:   




Следующая тема
Предыдущая тема
Вы можете начинать темы
Вы можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


P o w e r e d b y p h p B B © p h p B B G r o u p :: T h e m e b a s e d o n FI T h e m e :: Часовой пояс: GMT + 3