Форумы Форум www.proxomitron.ru
Все о программе Proxomitron
Главная  • FAQ для форума  •  Поиск  •  Пользователи  •  Группы   •  Регистрация  •  Профиль  •  Личные сообщения  •  Вход
 WebWarper - как средство для экономии трафика.
 Сайт -> Форумы » Фильтры
Следующая тема
Предыдущая тема

Новая тема  Ответить
Автор Сообщение
Dirk Diggler
Гость





СообщениеДобавлено: Вс, Авг 07 2005 17:14 Цитировать |  |  | 

Блин, дали бы комментарии к фильтрам 8-) Мы ж не гении. Хотя бы в общих чертах.
К началу
Dirk Diggler
Гость





СообщениеДобавлено: Вс, Авг 07 2005 17:18 Цитировать |  |  | 

Блин, дали бы комментарии к фильтрам 8-) Мы ж не гении. Хотя бы в общих чертах. Ну и еще не решенные вопросы - типа где чего может глючить....Чтобы знать с чем бороцца, если что.

85.232.96.252
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Вс, Авг 07 2005 23:06 Цитировать |  |  | 

Вот, что-то набросал, но доки мне точно никогда не писать

Цитата:

Cannot view WW [warp]
Добавляет адреса сайтов, которые не могут быть обработаны WW, в список NonWarped

Script UnWebWarper [warp]
Удаляет “ненужные” скрипты WW

Links UnWebWarper [warp]
Возвращает обработанным WW ссылкам их исходный вид.
Вышеуказанные вэб-фильтры должны находиться в самом верху списка

Location: WW Redirect (in) [warp]
В случае, когда WW не смог сжать документ, находящийся в домене, входящем в список Warped, и выдал перенаправление на “прямой” URL, адрес попадает в список TWarp, что исключает бесконечный редирект

WW Redirect 302 (in) [warp]
Обработка редиректа, не связанного с невозможностью сжатия страницы.

Set-cookie: Correct (in) [warp]
Коррекция кукис (для работы с почтой yandex etc.)

URL: Not Warp (in) [warp]
Добавление сайтов, с включенным gzip в список NonWarped

URL: UnWebWarper (out) [warp]
Удаление префиксов и суффиксов WW для адресов и типов файлов, входящих в список NonWarped

URL: Warp it! (in) ? [warp]
Проверка возможности сжатия страницы WW’ом (для URL со знаком ‘?’ в имени),
и добавлением в список warped в положительном случае

URL: Warp it! (in) [warp]
То же для URL без знака ‘?’

URL: WebWarper (out) [warp]
Добавление префикса и суффикса WW к URL без знака ‘?’ в имени

URL: WebWarper ? (out) [warp]
То же для URL со знаком ‘?’ в имени


Сам набор здесь http://www.proxomitron.ru/board/viewtopic.php?p=1193#1193
К началу Профиль Сообщение
Dirk Diggler
Гость





СообщениеДобавлено: Пн, Авг 08 2005 22:30 Цитировать |  |  | 

А как нащщот кукисов? Не сохраняюцца. Куда копать?

85.232.96.243
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Пн, Авг 08 2005 23:19 Цитировать |  |  | 

Насколько я понимаю, фильтр set-cookie может быть применен только один раз, со всеми вытекающими последствиями. Т.е копать здесь Exclamation

Кстати, лучше задавать вопросы, снабженные ссылками на проблемные страницы.
К началу Профиль Сообщение
Dirk Diggler
Гость





СообщениеДобавлено: Ср, Авг 10 2005 19:58 Цитировать |  |  | 

экспериментирую тут . Не дает мне WebWarper на форумах регистрироваться, ибо на них это происходит методом POST, например, здесь
http://www.russky.net/bbs/index.asp
И если здесь я могу IP в тексте письма послать, то там - нет.
Вот, думал, написать фильтр для заголовков, чтобы оно мне обрезало исходящие заголовки в обычный вид. Не работает. В чем дело? Фильтра срабатывает раньше, чем происходит редирект на WW?
Код:
In = TRUE
Out = TRUE
Key = "URL: Redirect POST"
URL = "(http://|)(www.|)webwarper.net/ww/*"
Match = "((http://|)(www.|)webwarper.net/ww/[^/]++/\1)  & $OHDR(Content-Type: application/x-www-form-urlencoded)"
Replace = "$RDIR(http://\1)"

Вот что в логе

Код:

*** Log Reset ***
BlockList 21: in Warped, line 8
RedirectTo: http://webwarper.net/ww/~fz/www.russky.net/bbs/login.asp?action=chk&*

+++GET 21+++
POST /ww/~fz/www.russky.net/bbs/login.asp?action=chk&* HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-excel, application/msword, */*
Referer: http://www.russky.net/bbs/login.asp?action=chk
Accept-Language: ru
Content-Type: application/x-www-form-urlencoded
Host: webwarper.net


85.232.96.234
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Чт, Авг 11 2005 00:12 Цитировать |  |  | 

Либо заноси URL в nonWarped, что проще всего, либо согласуй работу своего фильтра с основными, что, по-видимому, легче сделать через добавление в список для временных адресов TWarp. Пример ниже. Недостаток - требуется перезагрузка страницы.

Цитата:

In = TRUE
Out = FALSE
Key = "URL: Redirect POST"
URL = "(www.|)webwarper.net/ww/*"
Match = "(\1http://(www.|)webwarper.net/ww/~fz/\2(\3(\?|\&)\*|\4))&(^($LST(TWarp)))&(^($LST(NonWarped)))&$OHDR(Content-Type: (application/x-www-form-urlencoded|multipart/form-data))&($ADDLST(TWarp,$WESC(\3)))"
К началу Профиль Сообщение
Bonart
Filter Developer
Filter Developer


Зарегистрирован: 29.11.2004
Сообщения: 78
Откуда: Самара

СообщениеДобавлено: Чт, Авг 11 2005 06:47 Цитировать |  |  | 

Можно проще. Добавить в nonWarped строку:
Цитата:

$OHDR(Content-Type: (application/x-www-form-urlencoded|multipart/form-data))

Тогда фильтр UnWebWarper все сделает на автомате.
К началу Профиль Сообщение
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Чт, Авг 11 2005 11:31 Цитировать |  |  | 

Голова! Проще простого Smile
К началу Профиль Сообщение
Dirk Diggler
Гость





СообщениеДобавлено: Чт, Авг 11 2005 20:34 Цитировать |  |  | 

Добавил. Тестирую 8-)
Цитата:
Либо заноси URL в nonWarped, что проще всего


Проще-то проще, но вот смысл?? я ведь в основном по форумам...
К началу
Dirk Diggler
Гость





СообщениеДобавлено: Чт, Авг 11 2005 20:54 Цитировать |  |  | 

Поставил одну из сборок, какую - не помню 8-) Захожу на сайте [url]mail.sina.com [/url] в свой почтовый ящик.
У меня срабатывает вот такой фильтр:

Код:
Name = "Stop JavaScript Timers"
Active = TRUE
URL = "(^LST(AllowJava)) & $TYPE(htm)"
Limit = 4096
Match = " (<!DOCTYPE*> |)\1"
Replace = "$STOP()\1\r\n"
"<!--//--><script> function setTimeout(x,y){return(null);} </script>\r\n"

хотя не должен бы, ибо в листе AllowJava есть строки:

Код:
[^/]++sina.com[:/]
[^/]++sina.com.cn[:/]

Выяснилось, что это из-за того, что фильтру передается URL от webwarper, т.е. содержащий в начальной части слэш. Почему фильтру попадает такой урл, вроде не должен???
К началу
Bonart
Filter Developer
Filter Developer


Зарегистрирован: 29.11.2004
Сообщения: 78
Откуда: Самара

СообщениеДобавлено: Ср, Авг 17 2005 09:48 Цитировать |  |  | 

Новая редакция набора фильтров для сжатия текстового трафика с помощью WebWarper. Фильтры существенно упрощены. Основной упор сделан на реализацию одной функции одним и только одним фильтром. Сделано автодобавление суффиксов WW, как у vitaly mogilny.

Цитата:


[Blocklists]
# URL с несжимаемым контентом
List.NonWarped = "..\Lists\NonWarped.txt"
# Суффиксы URL с несжимаемым контентом
List.UnCompress = "..\Lists\Uncompressible.txt"
# Сайты, нуждающиеся в WW-сжатии
List.Warped = "..\Lists\Warped.txt"

[HTTP headers]

# WebWarper (out) - основной фильтр набора.
# Только этот фильтр осуществляет прозрачное перенаправление запросов браузера на WebWarper для сайтов, помещенных в список Warped

In = FALSE
Out = TRUE
Key = "URL: WebWarper (out) [BON]"
URL = "(^$LST(NonWarped)) & ($LST(Warped))"
Match = "(http://(*\1.ru(^?) | (*\1))) & ((*\?) $SET(2=\&\*) | $SET(2=\?\*)) & ($LOG(BWebWarper: \1))"
Replace = "$RDIR(http://www.webwarper.net/ww/~fz/\1\2)"

# WW Bypass (in) - помечает URL, который WW отказывается сжимать, суффиксом

In = TRUE
Out = FALSE
Key = "Location: WW Bypass (in) [BON]"
URL = "(www.|)webwarper.net/ww/"
Match = "($RESP((301|302)*)) & (^http://(www.|)webwarper.net/ww/*) & (http://(^$LST(NonWarped))) & (http://\2) & ($LOG(BWWBypass: \2))"
Replace = "http://\2\&WWBypass"

# WW Redirect (in) - корректирует URL для браузера в перенаправлениях от WW, не связанных с отказом сжимать содержимое страницы

In = TRUE
Out = FALSE
Key = "Location: WW Redirect (in) [BON]"
URL = "(www.|)webwarper.net/ww/"
Match = "($RESP((301|302)*)) & (http://(www.|)webwarper.net/ww/(~\1/|)*\2) & ($LOG(BWWRedirect: \2))"
Replace = "http://\2"

# Cookie UnWebWarper (in) - исправляет пути в куках для браузера
# Необходим в частности для возможности авторизации на большинстве ресурсов при использовании данного набора фильтров

In = TRUE
Out = FALSE
Key = "Set-Cookie: Cookie UnWebWarper (in) [BON]"
URL = "*"
Match = "\1path=/ww/(~([^/])++/|)[^/]++/\2"
Replace = "\1path=/\2"

# Don't warp it (in) - добавляет сайты, возвращающие сжатый контент в список несжимаемых

In = TRUE
Out = FALSE
Key = "URL: Don't warp it (in) [BON]"
URL = "(^(www.|)webwarper.net/ww/*)"
Match = "($IHDR(Content-Encoding: gzip)) & (http://(^$LST(NonWarped)))&(\2) & ($URL(http://([^/]++/)\1)) & ($ADDLST(NonWarped,\1)) & ($LOG(BDon\'t warp: \1))"

# WW Bypass (out) - блокирует сжатие для URL, помеченных суффиксом

In = FALSE
Out = TRUE
Key = "URL: WW Bypass (out) [BON]"
Match = "\1\&WWBypass"
Replace = "$RDIR(\1)"

# UnWebWarper (out) - перенаправляет запрос заведомо несжимаемого контента с WW на исходный адрес. Не должен срабатывать никогда при нормальной работе.

In = FALSE
Out = TRUE
Key = "URL: UnWebWarper (out) [BON]"
URL = "(www.|)webwarper.net/ww/(~\3/|)$LST(NonWarped)"
Match = "(\1//(www.|)webwarper.net/ww/(~\3/|)*\2) & ($LOG(BUnWarped: \1//\2))"
Replace = "$RDIR(\1//\2)"

# Warp it! (in) - при получении несжатого тескта заносит сайт в список сжимаемых и заставляет браузер повторить запрос

In = TRUE
Out = FALSE
Key = "URL: Warp it! (in) [BON]"
URL = "(^(www.|)webwarper.net/ww/*)"
Match = "($RESP(200*)) & (^$IHDR(Content-Encoding:(^(deflate|(^?))))) & ($IHDR(Content-Type: text/*))&(http://(^$LST(NonWarped))) & (http://(^$LST(Warped))) & ($URL(http://([^/]++/)\1)) & ($ADDLST(Warped,\1)) & ($LOG(BWarp: \1))"
Replace = "$JUMP(\u)"

[Patterns]

# Cannot view WW - при отказе WW сжимать содермое сайта, добавляет его в список несжимаемых

Name = "Cannot view WW [BON]"
Active = TRUE
URL = "(www.|)webwarper.net/ww"
Bounds = "<!--\s~~~~WWMESSAGE -91*-->"
Limit = 512
Match = "(*Web\ssite:\s\1\scannot*)&($URL(http://(www.|)webwarper.net/ww/(~\3/|)([^/]+)\2/))&($ADDLST(NonWarped,\2/))"

# Links UnWebWarper - возвращает ссылки, модифицированные корректором WW, в исходное состояние (без префиксов и суффиксов WW)

Name = "Links UnWebWarper [BON]"
Active = TRUE
Multi = TRUE
URL = "(www.|)webwarper.net/ww/"
Bounds = "<\w\s*(www.|)webwarper.net/ww/*>"
Limit = 512
Match = "(\#([\?\&]\*|(www.|)webwarper.net/ww/(~?++/|)))+\#"
Replace = "\@"

# Script UnWebWarper - режет рекламу WW и его корректор ссылок для JavaScript

Name = "Script UnWebWarper [BON]"
Active = TRUE
URL = "(www.|)webwarper.net/ww/"
Bounds = "<script\s*</script>"
Limit = 128
Match = "*(~clientscript|WWServ)*"
Replace = "<script language="WWScript"></script>"

Начальное содержимое списка NonWarped
Цитата:

www.proxomitron.ru/
*\&WWBypass
[^\?]++.($LST(UnCompress))((^?)|\?)
$OHDR(Content-Type: (application/x-www-form-urlencoded|multipart/form-data))

Содержимое списка Uncompressed
Цитата:

avi
mpg
mp3
ppt
ico
img
bat
mpg
css
jpeg
jpg
gif
pic
png
rar
zip
exe
pdf
swf
jpe
К началу Профиль Сообщение
Unknown Mystic
Platinum Member
Platinum Member


Зарегистрирован: 26.09.2005
Сообщения: 471
Откуда: г. Мытищи, Московская обл.

СообщениеДобавлено: Ср, Авг 17 2005 15:01 Цитировать |  |  | 

*\1 работает также, как и просто \1 (во всяком случае в этих фильтрах), так что думаю * стоит убрать.

Думаю [^/]++/ стоит заменить на [^/]+/

Цитата:
...&(http://(^$LST(NonWarped))) & (http://(^$LST(Warped))) & ($URL(http://([^/]++/)\1)) &...

Зачем в заголовочном фильтре URL: ... использовать комманду $URL() ?
Не лучше ли записать это как:
Код:
...&(http://(^$LST(NonWarped))(^$LST(Warped))([^/]+/)\1) &...


Цитата:

Содержимое списка Uncompressed

Это имеется ввиду сорержимое списка UnCompress (файл Uncompressible.txt)?

И почему все так не любят $NEST() ?! Smile)

// Предлагаемые замены я не проверял. Пока вообще не использую WW. А вообще полезный набор Smile
К началу Профиль Сообщение ICQ
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2635
Откуда: SPb

СообщениеДобавлено: Чт, Авг 18 2005 08:54 Цитировать |  |  | 

Unknown Mystic
Наконец-то ты до них добрался ;) Даёшь весь сервис двумя фильтрами!

_________________
Как правильно задавать вопросы
К началу Профиль Сообщение
Unknown Mystic
Platinum Member
Platinum Member


Зарегистрирован: 26.09.2005
Сообщения: 471
Откуда: г. Мытищи, Московская обл.

СообщениеДобавлено: Чт, Авг 18 2005 14:06 Цитировать |  |  | 

Цитата:

Наконец-то ты до них добрался ;)

Это я так - мимо проходил ;)

Цитата:

Даёшь весь сервис двумя фильтрами!

Не, двумя это слишком круто Smile) Да и что бы что-то радикальное менять, надо у себя их поставить и тестить. А нормально оттестить я все равно не смогу - у меня пакеты POST не проходят из-за NTLM авторизации, так что сообщения приходиться отправлять напрямую из IE. Надо бы что-то с этим сделать, да руки как-то не доходят...
К началу Профиль Сообщение ICQ
AlexeyPetrov
Гость





СообщениеДобавлено: Пт, Авг 19 2005 02:05 Цитировать |  |  | 

Попробовал было вариант Proxomitron + WebWarper... но почти сразу же наткнулся на другой аналогичный сервис:
www.tcompressor.com - Traffic Compressor

...после чего WebWarper был нещадно удалён!

Traffic Compressor сейчас находится в стадии тестирования - потому абсолютно бесплатен и без какой-либо рекламы. И в отличие от WebWarper'а может сжимать абсолютно весь Интернет-трафик (не только HTTP); работает прозрачно для любых программ; держит постоянное соединение с сервером, через которое передаются все данные (повышает скорость); может распределять нагрузку в несколько потоков, подсчитывать сэкономленный трафик и есть множество тонких настроек.
Если WebWarper предназначался в основном для мелких пользователей (на сайте сразу предупреждают, что программа бесполезна уже на каналах больше 10 кбайт/с), то Traffic Compressor можно с успехом использовать для трафика в несколько мегабит (с настройками на 10-20 потоков) и устанавливать его централизованно на прокси-сервера организаций, что позволит прозрачно сжимать сразу весь трафик со множества машин.

В общем, рекомендую попробовать всем, кто интересуется сжатием Интернет-трафика. Для меня это стало настоящим открытием! За пару дней сэкономил им 50 МБ трафика.

Русский форум поддержки тут:
http://forum.ru.tcompressor.com
К началу
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2635
Откуда: SPb

СообщениеДобавлено: Пт, Авг 19 2005 09:10 Цитировать |  |  | 

AlexeyPetrov

Ты явно поторопился. TC не заменит WW: нужно регистрироваться, устанивливать клиентскую программу (только под винды; неизбежны проблемы с файрволами).. Кроме того:
Цитата:
На период бета-тестирования сервис TrafficCompressor является бесплатным. После выхода финальной версии TrafficCompressor станет платным.

_________________
Как правильно задавать вопросы
К началу Профиль Сообщение
Bonart
Filter Developer
Filter Developer


Зарегистрирован: 29.11.2004
Сообщения: 78
Откуда: Самара

СообщениеДобавлено: Пт, Авг 19 2005 09:42 Цитировать |  |  | 

AlexeyPetrov,
Про "абсолютно весь" - не надо, поддерживается сжатие трафика только для жесткого списка портов и программ, что в общем-то правильно. С настраиваемостью - не фонтан: авторы не планируют давать пользователям самим добавлять новые программы и порты для сжатия. Только прозрачная работа опять-таки хороша не всегда. Протокол общения клиента с сервером, насколько я понял, закрытый. Настройки для bypass - откровенно недостаточные. Доверие к хозяевам сервиса необходимо абсолютное: весь нешифрованный инет-трафик пойдет через них.
Вывод: попробовать стоит, но для WW это не замена.
К началу Профиль Сообщение
AlexeyPetrov
Гость





СообщениеДобавлено: Пт, Авг 19 2005 16:22 Цитировать |  |  | 

Обо всём по-порядку:
- Список программ, исключённых по умолчанию, можно редактировать (как уменьшать, так и дополнять). В частности, режим Preferences -> Programs -> Any program будет гонять трафик от всех программ (даже системных служб: таких как Автообновление Windows или антивирусов)
- Список поддерживаемых протоколов (обрабатываемых портов) можно дополнять в реестре:
HKEY_CURRENT_USER\Software\TrafficCompressor\Preferences\Protocols2
В настройки программы это выносить не будут - эдакая "защита от дурака". Теоретически так можно сжимать трафик даже от другого внешнего прокси-сервера.
- Скоро обещают добавить настраиваемые исключения для обрабатываемых файлов по форматам (расширениям) - возможно, даже, "маски названий файлов/адресов"

Таким образом, можно будет легко регулировать "обрабатывать ли трафик TCompressor'ом" по: названиям программ, протоколам (портам), расширениям файлов, DNS-именам серверов и IP-адресам. Кстати, все настройки хранятся в открытом виде в реестре и могут изменяться в обход клиента.

Кроме того, возможно, добавятся такие вкусности как: кэширование, баннерорезка, сжатие графики (с потерей качества) - всё, естественно, тоже опционально. И в отличие от WebWarper'а, TCompressor сжимает даже исходящий трафик.
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Сб, Авг 20 2005 14:41 Цитировать |  |  | 

Остается только дождаться выхода релиза. Даже если ценник окажется скромнее, чем у GPRSbooster'a http://gprsbooster.com/rus/prices.php, все равно это будет малоинтересно. Confused Лично для меня, по крайней мере.
К началу Профиль Сообщение
Показать сообщения:      
 
Новая тема  Ответить

 Перейти:   




Следующая тема
Предыдущая тема
Вы можете начинать темы
Вы можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


P o w e r e d b y p h p B B © p h p B B G r o u p :: T h e m e b a s e d o n FI T h e m e :: Часовой пояс: GMT + 3