Форумы Форум www.proxomitron.ru
Все о программе Proxomitron
Главная  • FAQ для форума  •  Поиск  •  Пользователи  •  Группы   •  Регистрация  •  Профиль  •  Личные сообщения  •  Вход
 WebWarper - как средство для экономии трафика.
 Сайт -> Форумы » Фильтры
Следующая тема
Предыдущая тема

Новая тема  Ответить
Автор Сообщение
GZip master
Гость





СообщениеДобавлено: Пт, Янв 13 2006 12:26 Цитировать |  |  | 

Есть рац. предложение. Сервис WebWarper может работать нестабильно, инагда такое случалось. Мы можем сделать свой "варпер" на основе практитески любого хостинга с PHP. Сам скрипт выгладит так:
Код:
<?php
ob_start('ob_gzhandler');
$url = $_GET['url'];
$bufer = file_get_contents($url);
print $bufer;
?>

Конечно, бъются ссылки. Но Proxomitron нам на что?! Smile
И если не затруднит сразу вопрос: можно ли использовать Proxomodo вместо Proxomitron под ваш фильтр WebWarper и что в этом случае придётся поменять в фильтре?
К началу
rokir
Admin


Зарегистрирован: 28.04.2004
Сообщения: 295
Откуда: Msk

СообщениеДобавлено: Пт, Янв 13 2006 14:53 Цитировать |  |  | 

Как вариант можно пользовать несколько кривоватый - http://gzip.softoroom.net/
И вообще-то там не все так просто как кажется....
К началу Профиль Сообщение ICQ
Zombiek
Newbee
Newbee


Зарегистрирован: 25.01.2006
Сообщения: 2

СообщениеДобавлено: Ср, Янв 25 2006 00:57 Цитировать |  |  | 

Всем Прива!Мне эта прога нужна чисто для экономии трафика(тоесть вариант Proxomitron + WebWarper)...Нужно ли мне читать 15 страниц этого форума,чтобы корректно поставить прогу,или можно просто ограничится вот этой инструкцией :

Прежде всего надо создать три списка (Block lists). Для этого создаешь в папке со списками (каталог Proxomitron\Lists) три текстовых файла (Warped.txt, NonWarped.txt и Uncompressible.txt). Первый оставляешь пустым, во второй и третий заносишь соответствующие строки отсюда.
Затем в диалоге (главное окно Proxomitron, кнопка Config, вкладка Blockfile) добавляешь три списка с именами Warped, NonWarped и UnCompress, связывая их с ранее созданными файлами.
Затем добавляешь фильтры заголовков: выделяешь в тексте с фильтрами все, что между [HTTP Headers] и [Patterns], копируешь в буфер, в редакторе фильтров заголовков щелкаешь правой кнопкой мыши на списке фильтров, выбираешь Import filters from clipboard.
Далее добавляешь фильтры страниц: выделяешь в тексте с фильтрами все, что ниже [Patterns], копируешь в буфер, в редакторе Web-фильтров щелкаешь правой кнопкой мыши на списке фильтров, выбираешь Import filters from clipboard
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2635
Откуда: SPb

СообщениеДобавлено: Ср, Янв 25 2006 10:04 Цитировать |  |  | 

Кстати да, прошу авторов фильтров напоминать нам обновлять первый пост, если ссылки там устаревают. Только с информацией, на что обновлять ;)
К началу Профиль Сообщение
Zombiek
Newbee
Newbee


Зарегистрирован: 25.01.2006
Сообщения: 2

СообщениеДобавлено: Ср, Янв 25 2006 10:59 Цитировать |  |  | 

Ответьте мне пожалуста...
К началу Профиль Сообщение
chAlx
Moderator
Moderator


Зарегистрирован: 30.06.2004
Сообщения: 2635
Откуда: SPb

СообщениеДобавлено: Ср, Янв 25 2006 11:05 Цитировать |  |  | 

Zombiek:
Потерпи, придёт кто-нибудь компетентный в Варпере и ткнёт курсором, где читать. Ну а если торопишься -- читай весь топик с конца. Вот прямо на этой странице, где ты писал, есть вариант полного списка фильтров -- попробуй.
К началу Профиль Сообщение
taimael
Junior Member
Junior Member


Зарегистрирован: 22.01.2005
Сообщения: 34

СообщениеДобавлено: Сб, Фев 18 2006 01:59 Цитировать |  |  | 

поделитесь, пжалста, рабочим набором фильтров...
последний от vital mogilny не пашет Sad
К началу Профиль Сообщение
arsvrn
Member
Member


Зарегистрирован: 07.10.2005
Сообщения: 69

СообщениеДобавлено: Сб, Фев 18 2006 13:15 Цитировать |  |  | 

taimael
У меня стоит вот этот. Работает, но есть проблемы с авторизацией на форумах - приходится прописывать в NonWarped. Насколько я знаю, vital mogilny как раз и делал вариант с устранением этих проблем. Видимо, не совсем доведен.
К началу Профиль Сообщение
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Пн, Фев 20 2006 01:54 Цитировать |  |  | 

taimael, а что именно "не пашет"?

С авторизацией действительно все неблагополучно.
Впрочем, не работает авторизация даже "напрямую" через WW, так что надеяться на измение ситуации в лучшую сторону я бы не стал.
К началу Профиль Сообщение
Dan Brown
Гость





СообщениеДобавлено: Ср, Фев 22 2006 01:19 Цитировать |  |  | 

ОБъясните мне как эти фильтры добавлять, куда их нужно копировать. Только не заставляйте читать мануал, времени нет.
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Ср, Мар 08 2006 22:56 Цитировать |  |  | 

Обновление набора. Авторизация по-прежнему не работает, но исправлен существенный недостаток: удалялись ссылки на пользовательские скрипты вида <script language="JavaScript" src="http://webwarper/ww/~clientscriptgz/www.server.com/script.js"></script>.
К тому же выяснилось, что префикс "~clientscriptgz", отдает сжатую страницу практически не изменяя ее содержимое. В конец вставляется небольшой фрагмент кода, который легко вычищается фильтром "Clean WW code". Все адреса списка warped теперь обрабатываются через префикс "~clientscriptgz".
Для обработки новых адресов, не входящих в списки, оставлен старый алгоритм.
Цитата:
[Patterns]
Name = "Cannot view WW [warp]"
Active = TRUE
URL = "(www.|)webwarper.net/ww/"
Bounds = "<!--\s~~~~WWMESSAGE -91*-->"
Limit = 512
Match = "(*Web\ssite:\s\1\scannot*)&($URL(http://(www.|)webwarper.net/ww/([^/]+)\2/))&($ADDLST(NonWarped,$WESC(\2)))"

Name = "Script UnWebWarper [warp]"
Active = TRUE
URL = "(www.|)webwarper.net/ww/"
Bounds = "$NEST(<script\s,</script>)"
Limit = 512
Match = "*WWServiceScript*"
Replace = "<script language="WWScript"></script>"

Name = "Script UnWebWarper II [warp]"
Active = TRUE
URL = "(www.|)webwarper.net/ww/"
Bounds = "$NEST(<script\s,</script>)"
Limit = 512
Match = "*clientscriptgz/\1("|)>*"
Replace = "<script type="text/javascript" language="JavaScript" src="http://\1"></script>"

Name = "clean WW code [warp]"
Active = TRUE
URL = "(www.|)webwarper.net/ww/~clientscriptgz/"
Limit = 50
Match = "if \(window.___ww\) ___ww_flush\(\);"

Name = "Links UnWebWarper [warp]"
Active = TRUE
Multi = TRUE
URL = "(www.|)webwarper.net/ww/"
Bounds = "<\w\s*>"
Limit = 1024
Match = "\1(www.|)webwarper.net/ww/\2"
Replace = "\1\2"

[HTTP headers]
In = TRUE
Out = FALSE
Key = "Location: WW Redirect (in) [warp]"
URL = "(www.|)webwarper.net/ww/"
Match = "(^http://(www.|)webwarper.net/ww/*)&($RESP(302*))&(http://\1)&(^($LST(TWarp)))&(http://([^\?\&]+{5,80})\2)($ADDLST(TWarp,$WESC(\2)))&($LOG(BTWarp: http://\1))"
Replace = "http://\1"

In = TRUE
Out = FALSE
Key = "Location: WW Redirect 302 (in) [warp]"
URL = "(www.|)webwarper.net/ww/"
Match = "(\1http://(www.|)webwarper.net/ww(/~clientscriptgz|)/\2)&($RESP((302|301)*))"
Replace = "\1http://\2"

In = TRUE
Out = FALSE
Key = "Set-cookie: Correct (in) [warp]"
Match = "\0(path=/)\1ww/([^.]+.|)\2([a-z0-9\-\_]+.[^/]+)\3/\4(;|)"
Replace = "\0\1\4; domain=.\3"

In = TRUE
Out = FALSE
Key = "URL: Not Warp (in) [warp]"
URL = "(^(www.|)webwarper.net/ww/*)"
Match = "($IHDR(Content-Encoding: gzip))&(http:// (^$LST(NonWarped)))&($ADDLST(NonWarped,\h))"

In = FALSE
Out = TRUE
Key = "URL: UnWebWarper (out) [warp]"
URL = "(www.|)webwarper.net/ww/$LST(NonWarped)"
Match = "\1//(www.|)webwarper.net/ww(/~clientscriptgz|)/\2"
Replace = "$RDIR(\1//\2)"

In = TRUE
Out = FALSE
Key = "URL: Warp it! (in) [warp]"
URL = "(^(www.|)webwarper.net/ww/*)"
Match = "($RESP(200|302*))&(^$IHDR(Content-Encoding: (^(deflate|(^?)))))&($IHDR(Content-Type: text/*))&(http://(^$LST(NonWarped)))&(http://(^$LST(Warped)))&(http://\1)&($ADDLST(Warped,\h))"
Replace = "$RDIR(http://webwarper.net/ww/\1)"

In = FALSE
Out = TRUE
Key = "URL: WebWarper (out) [warp]"
URL = "(^(www.|)webwarper.net/ww/*)&(^$LST(NonWarped))&(^$LST(TWarp))&($LST(Warped))"
Match = "(http://\1)"
Replace = "$RDIR(http://webwarper.net/ww/~clientscriptgz/\1)"

К началу Профиль Сообщение
FreeLancer
Гость





СообщениеДобавлено: Вс, Мар 19 2006 20:55 Цитировать |  |  | 

здесь
http://proxomitron.ru/board/viewtopic.php?t=110&postdays=0&postorder=asc&start=151
и здесь
http://proxomitron.ru/filters/webwarper.htm
дважды в списке несжимаемых прописано MPG

и как все-таки узнать, работает через варпер или нет?
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Вс, Мар 19 2006 23:17 Цитировать |  |  | 

Можно сформулировать вопрос более четко? Что работает через ворпер?
К началу Профиль Сообщение
FreeLancer
Гость





СообщениеДобавлено: Чт, Мар 23 2006 20:56 Цитировать |  |  | 

как что, обращение к конкретному сайту с использованием Proxomitron и этих фильтров
и сколько траффика на этом экономится
К началу
vital mogilny
Advanced Member
Advanced Member


Зарегистрирован: 24.03.2005
Сообщения: 89

СообщениеДобавлено: Чт, Мар 23 2006 21:45 Цитировать |  |  | 

Для того чтобы измерить сжатие конкретной страницы, следует зайти по адресу
http://webwarper.net/ww?lang=ru, ввести в окне интересующий веб-адрес и нажать на правую часть надписи
Цитата:
Хотите измерить выигрыш, обеспечиваемый WebWarper? Откройте эту ссылку!
К началу Профиль Сообщение
FreeLancer
Гость





СообщениеДобавлено: Чт, Мар 23 2006 22:09 Цитировать |  |  | 

Если мне нужно для каждой посещенной страницы знать, то этот подход не годится, ибо тогда не экономия, а растраты одни Sad

А как все-таки узнать, что подключаясь к сайту через проксомитрон, происходит это обращение через варпер или нет.
А то ведь эффект не измеришь: статистики сжатия - нет, наличия сжатия вообще - нет.
К началу
unreal666
Silver Member
Silver Member


Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток

СообщениеДобавлено: Чт, Мар 23 2006 23:31 Цитировать |  |  | 

FreeLancer
Цитата:
А как все-таки узнать, что подключаясь к сайту через проксомитрон, происходит это обращение через варпер или нет.

В журнале прокса смотри по URL.
Цитата:
А то ведь эффект не измеришь: статистики сжатия - нет, наличия сжатия вообще - нет.

И кто тебе будет выдавать эту статистику?
К началу Профиль Сообщение
FreeLancer
Гость





СообщениеДобавлено: Пт, Мар 24 2006 11:37 Цитировать |  |  | 

ну, где-то раньше в этой ветке говорилось, что варпер пишет (то ли вверху, то ли внизу страницы), сколько сэкономлено
К началу
arsvrn
Member
Member


Зарегистрирован: 07.10.2005
Сообщения: 69

СообщениеДобавлено: Пт, Мар 24 2006 19:22 Цитировать |  |  | 

FreeLancer
Цитата:
А как все-таки узнать, что подключаясь к сайту через проксомитрон, происходит это обращение через варпер или нет.

Посмотри вот здесь. Я там приводил фильтр для Проксомитрона, информирующий о наличии GZIP.
К началу Профиль Сообщение
FreeLancer
Гость





СообщениеДобавлено: Пт, Мар 24 2006 23:03 Цитировать |  |  | 

vital mogilny Мар 08 2006 22:56
Это вместо фильтров [BON] или в дополнение? А то не пойму Sad

arsvrn
Благодарю.
К началу
Показать сообщения:      
 
Новая тема  Ответить

 Перейти:   




Следующая тема
Предыдущая тема
Вы можете начинать темы
Вы можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


P o w e r e d b y p h p B B © p h p B B G r o u p :: T h e m e b a s e d o n FI T h e m e :: Часовой пояс: GMT + 3