Автор |
Сообщение |
Dirk Diggler
Гость
|
Раз уж мы тут интересуемся в том числе и экономией траффика, вот ссылка на одну интересную ветку про бурноразвивающуюся программку - кэширующий прокси-сервер. Человек реализовал в кеширующем сервере регэкспы 8-) можно подкинуть идей, пока энтузиазм не угас...
Давить сюда
Более свежая ветка на РуБорде:
http://forum.ru-board.com/topic.cgi?forum=5&topic=29338
/chAlx
|
|
|
К началу |
|
 |
Partyzan
Platinum Member

Зарегистрирован: 15.02.2005
Сообщения: 319
|
Интересно
Размер этой темы на ру-борде впечатляет :-)
|
|
|
К началу |
Профиль Сообщение |
 |
Гость от Ru.Board'а
Гость
|
(не реклама, сам использую)
HandyCache - во многом лучше даже чем CoolProxy, и в отличие от CoolProxy, бесплатный (для некоммерческого использования) и обновляется чаще: Загрузить ( Внимание! На офф. сайте на текущий момент указана последней версия 0.92b 8, на самом деле последняя версия - 0.92b 10d, что видно на форуме): (рекомендуется устанавливать именно последнюю версию т.е. 0.92b8+0.92b10d-exe, т.к. в ней исправлено много ошибок)
Очень удобно использовать его в связке с Proxomitron (именно так я его и использую):
Браузер<=>HandyCache<=>Proxomitron<=>Интернет
HandyCache поддерживает использование одновременно нескольких прокси и переключение между ними. Также много др. интересных возможностей - Одна из самых интересных (и редких среди таких прог) - поддержка Регулярных выражений (RegExp) во всех списках ("Черный список", "Запись в кеш", "Не обновлять", "Только из кеша", "URL конвертор"), а также "Тренажер" для тестирования правил (вкл. написанные с RegExp). Это позволяет создавать очень гибкие и многообразные правила.
- Также, разумеется, любому списку (как и автономному режиму и др) можно назначить быструю клавишу, вкл и выкл его.
- и др.
|
|
|
К началу |
|
 |
Dan Brown
Гость
|
Подскажите как настроить связку handycache+proxomitron+toonel. Люди говорят toonel лучше чем webwarper, потому что сжимает даже служебную информацию.
|
|
|
К началу |
|
 |
chAlx
Moderator

Зарегистрирован: 30.06.2004
Сообщения: 2629
Откуда: SPb
|
|
К началу |
Профиль Сообщение |
 |
MikVolg
Member

Зарегистрирован: 05.10.2006
Сообщения: 58
Откуда: Volgodonsk
|
unreal666 ,
Поскольку тема закрыта попытаюсь продолжить здесь:
Итак выполнил Ваши рекомендации за исключением:
Настройки-общие вкладка доступ отсутствует (версия 0.93b1a)
на вкладке общие есть поле прокси. Туда ввел 8192
Внешний прокси так же отсутствует, присутствует Родительский прокси. Туда ввел Proximitron .....
Ну и в Опере сделал соотв настройки.
Результат: Коннект идет, но работы НС не видно. Вкладка Монитор идеально чиста.
Что не так?
Кстати при закрытии НС коннект все равно идет
|
|
|
К началу |
Профиль Сообщение |
 |
anisciq
Newbee

Зарегистрирован: 21.03.2006
Сообщения: 11
|
|
К началу |
Профиль Сообщение |
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
MikVolg
Цитата: |
Настройки-общие вкладка доступ отсутствует (версия 0.93b1a)
на вкладке общие есть поле прокси. Туда ввел 8192
Внешний прокси так же отсутствует, присутствует Родительский прокси. Туда ввел Proximitron ..... |
Версию обнови. Уже 0.97b1a.
Ссылка новую версию в шапке темы на форуме Ru.Board.
У нее возможностей больше, да и интерфейс изменился.
Что там и как было в 0.93 я уже не помню.
|
|
|
К началу |
Профиль Сообщение |
 |
S0ldier
Junior Member

Зарегистрирован: 14.10.2006
Сообщения: 31
Откуда: Беларусь
|
Настройка Proxomitron -> HandyCache -> Browser.
HandyCache.
Настройки -> Внешний прокси -> Безусловные прокси. Добавить пункт:
Код: |
Наименование: Proxomitron
Хост: 127.0.0.1
Порт: 8192 |
Разрешить.
Настройки -> Доступ
Браузер.
Настройка прокси-серверов. Добавить http-прокси:
Код: |
Хост: localhost
Порт: 80 |
Опционально.
Настройка toonel.net.
Proxomitron -> Прокси. Добавить прокси:
Использовать внешний прокси.
При использовании сервиса toonel обязательно отключите фильтр WebWarper!
Итог: сначала страницы обрабатываются toonele'ем, зипуются, далее попадают к Проксомитрону, где избавляются от всего лишнего, затем кэшируются HC и выводятся в браузер.
|
|
|
К началу |
Профиль Сообщение WWW ICQ |
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
S0ldier
Цитата: |
Хост: localhost
Порт: 80 |
Ну и нахрена он нужен на 80-м порту ?
У меня, например, стоит веб-сервер Apache. А он как раз прослушивает 80-й порт.
|
|
|
К началу |
Профиль Сообщение |
 |
прохожий
Гость
|
S0ldier писал(а): |
Настройка Proxomitron -> HandyCache -> Browser.
Итог: сначала страницы обрабатываются toonele'ем, зипуются, далее попадают к Проксомитрону, где избавляются от всего лишнего, затем кэшируются HC и выводятся в браузер. |
че-то ты не то написал.схема должна быть другая.
броузер должен в первую очередь посылаться в проксомитрон, который вырежет запросы на всяческую рекламу.
только после этого выжившие запросы должны посылаться в кеш-прокси, который заиспользует кеш, если удастся.
и только после этого запросы должны отсылаться в тунель, который сожмет.
т.е. можно конечно и как ты написал, но смысл дергать прокси-кеш для рекламных запросов?
|
|
|
К началу |
|
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
Цитата: |
че-то ты не то написал.схема должна быть другая. |
Нормальная схема. При твоей схеме в кэше HC будут храниться неотфильтрованные страницы. И у HC есть свой собственный черный список.
|
|
|
К началу |
Профиль Сообщение |
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
Цитата: |
т.е. можно конечно и как ты написал, но смысл дергать прокси-кеш для рекламных запросов? |
А смысл держать проксомитрон все время загруженным, если отключен от Инета (автономный режим) ?
HC должен быть первым от браузера, чтобы в автономном режиме не было между ними промежуточных прокси (чтобы не держать эти прокси все время в памяти).
|
|
|
К началу |
Профиль Сообщение |
 |
chAlx
Moderator

Зарегистрирован: 30.06.2004
Сообщения: 2629
Откуда: SPb
|
Я бы не стал использовать такие аргументы, как лишние 4 метра в памяти. По-крайней мере в сравнении с любым другим это ноль, т.к. ни на что не влияет.
Я не пробовал связку с допонительным кэшем, но отсутствие в нём тысяч страничек "Connection killed" кажется вполне себе аргументом.
|
|
|
К началу |
Профиль Сообщение |
 |
Гость
|
unreal666 писал(а): |
Нормальная схема. При твоей схеме в кэше HC будут храниться неотфильтрованные страницы. И у HC есть свой собственный черный список. |
э? по моей схеме в кеше НС не будут хранится неотфильтрованные страницы - проксомитрон сразу же отрежет левые запросы и до НС дело просто не дойдет.
|
|
|
К началу |
|
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
Цитата: |
э? по моей схеме в кеше НС не будут хранится неотфильтрованные страницы - проксомитрон сразу же отрежет левые запросы и до НС дело просто не дойдет.
|
При чем тут запросы и страницы?
При твоем раскладе в кэше HC будут храниться страницы с мусорным кодом.
Или ты прокс юзаешь только для резки баннеров и при том только по заголовкам?
И зачем мне в оффлайн режиме каждый раз прогонять страницы из кэша HC в браузер через фильтры страниц проксомитрона?
|
Последний раз редактировалось: unreal666 (Вс, Окт 15 2006 16:09), всего редактировалось 2 раз(а) |
|
К началу |
Профиль Сообщение |
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
chAlx
Цитата: |
Я бы не стал использовать такие аргументы, как лишние 4 метра в памяти. По-крайней мере в сравнении с любым другим это ноль, т.к. ни на что не влияет. |
У меня нет разделения на лишние или не лишние. При выходе из Инета у меня nnCron закрывает все процессы не связанные с Инетом (пока только Outpost Firewall и Прокс)
А HC у меня запускается и закрывается при запуске(любого)/закрытии(всех) браузеров.
|
|
|
К началу |
Профиль Сообщение |
 |
Гость
|
unreal666 писал(а): |
При чем тут запросы и страницы?
При твоем раскладе в кэше HC будут храниться страницы с мусорным кодом.
Или ты прокс юзаешь только для резки баннеров и при том только по заголовкам?
|
только для резки рекламы и пользую.
а расскажи, какой мусор будет оставаться если пользовать мою схему? примерчик приведи?
unreal666 писал(а): |
И зачем мне в оффлайн режиме каждый раз прогонять страницы из кэша HC в браузер через фильтры страниц проксомитрона?  |
затем, чтобы не дергать постоянно в онлайне кеш, который не отличается скорострельностью, однако
|
|
|
К началу |
|
 |
unreal666
Silver Member

Зарегистрирован: 21.10.2005
Сообщения: 149
Откуда: Владивосток
|
Цитата: |
а расскажи, какой мусор будет оставаться если пользовать мою схему? примерчик приведи? |
Куски кода тех же банеров. Да и не только. Ненужные метатеги, неправильное форматирование (у меня страницы на некоторых сайтов подвергаются форматированию через прокс).
У меня 99% банеров вырезаются физически из кода. Так что никаких лишних запросов при взятии файла из кэша HC не происходит, т.к. они уже очищены от всяких банеров.
- Еще недостаток. Кэш HC может использоваться не только на этом компе, но и на других через слияние кэшей HC. На других компах мне тоже обязательно ставить прокс, чтобы смотреть нормальные страницы из кэша HC?
Цитата: |
затем, чтобы не дергать постоянно в онлайне кеш, который не отличается скорострельностью, однако |
Во-первых, при чем тут онлайн, если я говорю про оффлайн.
Во-вторых, уже писал, что у HC тоже есть свой черный список. Так что один хрен.
В-третьих, смотреть 2-ой абзац.
|
|
|
К началу |
Профиль Сообщение |
 |
Гость
|
unreal666 писал(а): |
Куски кода тех же банеров. Да и не только. Ненужные метатеги, неправильное форматирование (у меня страницы на некоторых сайтов подвергаются форматированию через прокс).
У меня 99% банеров вырезаются физически из кода. Так что никаких лишних запросов при взятии файла из кэша HC не происходит, т.к. они уже очищены от всяких банеров.
|
это не пример и не объяснение. я не понимаю "Куски кода тех же банеров" - объясни как они туда попадают.
unreal666 писал(а): |
- Еще недостаток. Кэш HC может использоваться не только на этом компе, но и на других через слияние кэшей HC. На других компах мне тоже обязательно ставить прокс, чтобы смотреть нормальные страницы из кэша HC?
|
поставить кеш на сервер, туда же поставить прокс, всех пользователей натравить на прокс.
unreal666 писал(а): |
Во-первых, при чем тут онлайн, если я говорю про оффлайн.
Во-вторых, уже писал, что у HC тоже есть свой черный список. Так что один хрен.
В-третьих, смотреть 2-ой абзац. |
во-первых, я что-то не увидил ни в начально предложенной схеме упоминания про офлайн режим, ни в твоем первом объяснении. только потом ты вспомнил про офлайн. более того, 4 метра памяти - это просто смешно. или ты на КПК с 16 метрами сидишь?
во-вторых - что ж, если ты пользуешь активно черный список НС имея прокс установленный - это не значит, что так странно его пользуют все. не понятно, почему ту же задачу не может выполнить прокс. разносить одну и ту же задачу кусочками в разные места - это звучит странно, должны быть весьма веские доводы. пока что я таких не вижу.
в-третьих - куда смотреть? второй абзац чего? сказки пушкина о золотой рыбке?
|
|
|
К началу |
|
 |
|