Раз уж мы тут интересуемся в том числе и экономией траффика, вот ссылка на одну интересную ветку про бурноразвивающуюся программку - кэширующий прокси-сервер. Человек реализовал в кеширующем сервере регэкспы 8-) можно подкинуть идей, пока энтузиазм не угас...
Давить сюда


Более свежая ветка на РуБорде:
http://forum.ru-board.com/topic.cgi?forum=5&topic=29338
/chAlx

Интересно

Размер этой темы на ру-борде впечатляет :-)

(не реклама, сам использую)
HandyCache - во многом лучше даже чем CoolProxy, и в отличие от CoolProxy, бесплатный (для некоммерческого использования) и обновляется чаще:

• Офф. сайт: http://handycache.narod.ru/
• Обсуждение (на форуме Ru.Board) ( 1 ... 35 )

Загрузить (Внимание! На офф. сайте на текущий момент указана последней версия 0.92b8, на самом деле последняя версия - 0.92b10d, что видно на форуме):

• версия 0.92b8
• Exe-файл версии 0.92b10d (24.09.2005, 0:53:08) (для установки этой версии установите 0.92b8 и перепишите этот 0.92b10d-exe поверх старого в установочном каталоге)
• старая версия 0.90

(рекомендуется устанавливать именно последнюю версию т.е. 0.92b8+0.92b10d-exe, т.к. в ней исправлено много ошибок)

Очень удобно использовать его в связке с Proxomitron (именно так я его и использую):
Браузер<=>HandyCache<=>Proxomitron<=>Интернет

HandyCache поддерживает использование одновременно нескольких прокси и переключение между ними. Также много др. интересных возможностей

• Одна из самых интересных (и редких среди таких прог) - поддержка Регулярных выражений (RegExp) во всех списках ("Черный список", "Запись в кеш", "Не обновлять", "Только из кеша", "URL конвертор"), а также "Тренажер" для тестирования правил (вкл. написанные с RegExp). Это позволяет создавать очень гибкие и многообразные правила.
• Также, разумеется, любому списку (как и автономному режиму и др) можно назначить быструю клавишу, вкл и выкл его.
• и др.

Подскажите как настроить связку handycache+proxomitron+toonel. Люди говорят toonel лучше чем webwarper, потому что сжимает даже служебную информацию.

Ещё немного про Прокс+HC.

unreal666 ,
Поскольку тема закрыта попытаюсь продолжить здесь:
Итак выполнил Ваши рекомендации за исключением:
Настройки-общие вкладка доступ отсутствует (версия 0.93b1a)
на вкладке общие есть поле прокси. Туда ввел 8192
Внешний прокси так же отсутствует, присутствует Родительский прокси. Туда ввел Proximitron .....
Ну и в Опере сделал соотв настройки.
Результат: Коннект идет, но работы НС не видно. Вкладка Монитор идеально чиста.
Что не так?
Кстати при закрытии НС коннект все равно идет

MikVolg:

Результативнее было бы здесь продолжить.

Почитай FAQ по HC.

MikVolg

Цитата:

Настройки-общие вкладка доступ отсутствует (версия 0.93b1a) на вкладке общие есть поле прокси. Туда ввел 8192 Внешний прокси так же отсутствует, присутствует Родительский прокси. Туда ввел Proximitron .....

Версию обнови. Уже 0.97b1a.
Ссылка новую версию в шапке темы на форуме Ru.Board.
У нее возможностей больше, да и интерфейс изменился.
Что там и как было в 0.93 я уже не помню.

Настройка Proxomitron -> HandyCache -> Browser.

HandyCache.
Настройки -> Внешний прокси -> Безусловные прокси. Добавить пункт:

Код:

Наименование: Proxomitron Хост: 127.0.0.1 Порт: 8192

Разрешить.

Настройки -> Доступ

Код:

Порт: 80

Браузер.
Настройка прокси-серверов. Добавить http-прокси:

Код:

Хост: localhost Порт: 80

Опционально.
Настройка toonel.net.
Proxomitron -> Прокси. Добавить прокси:

Код:

127.0.0.1:3192

Использовать внешний прокси.

При использовании сервиса toonel обязательно отключите фильтр WebWarper!

Итог: сначала страницы обрабатываются toonele'ем, зипуются, далее попадают к Проксомитрону, где избавляются от всего лишнего, затем кэшируются HC и выводятся в браузер.

S0ldier

Цитата:

Порт: 80

Цитата:

Хост: localhost Порт: 80

Ну и нахрена он нужен на 80-м порту ?
У меня, например, стоит веб-сервер Apache. А он как раз прослушивает 80-й порт.

S0ldier писал(а):

Настройка Proxomitron -> HandyCache -> Browser. Итог: сначала страницы обрабатываются toonele'ем, зипуются, далее попадают к Проксомитрону, где избавляются от всего лишнего, затем кэшируются HC и выводятся в браузер.

че-то ты не то написал.схема должна быть другая.
броузер должен в первую очередь посылаться в проксомитрон, который вырежет запросы на всяческую рекламу.
только после этого выжившие запросы должны посылаться в кеш-прокси, который заиспользует кеш, если удастся.
и только после этого запросы должны отсылаться в тунель, который сожмет.

т.е. можно конечно и как ты написал, но смысл дергать прокси-кеш для рекламных запросов?

Цитата:

че-то ты не то написал.схема должна быть другая.

Нормальная схема. При твоей схеме в кэше HC будут храниться неотфильтрованные страницы. И у HC есть свой собственный черный список.

Цитата:

т.е. можно конечно и как ты написал, но смысл дергать прокси-кеш для рекламных запросов?

А смысл держать проксомитрон все время загруженным, если отключен от Инета (автономный режим) ?
HC должен быть первым от браузера, чтобы в автономном режиме не было между ними промежуточных прокси (чтобы не держать эти прокси все время в памяти).

Я бы не стал использовать такие аргументы, как лишние 4 метра в памяти. По-крайней мере в сравнении с любым другим это ноль, т.к. ни на что не влияет.

Я не пробовал связку с допонительным кэшем, но отсутствие в нём тысяч страничек "Connection killed" кажется вполне себе аргументом.

unreal666 писал(а):

Нормальная схема. При твоей схеме в кэше HC будут храниться неотфильтрованные страницы. И у HC есть свой собственный черный список.

э? по моей схеме в кеше НС не будут хранится неотфильтрованные страницы - проксомитрон сразу же отрежет левые запросы и до НС дело просто не дойдет.

Цитата:

э? по моей схеме в кеше НС не будут хранится неотфильтрованные страницы - проксомитрон сразу же отрежет левые запросы и до НС дело просто не дойдет.

При чем тут запросы и страницы?
При твоем раскладе в кэше HC будут храниться страницы с мусорным кодом.
Или ты прокс юзаешь только для резки баннеров и при том только по заголовкам?
И зачем мне в оффлайн режиме каждый раз прогонять страницы из кэша HC в браузер через фильтры страниц проксомитрона?

chAlx

Цитата:

Я бы не стал использовать такие аргументы, как лишние 4 метра в памяти. По-крайней мере в сравнении с любым другим это ноль, т.к. ни на что не влияет.

У меня нет разделения на лишние или не лишние. При выходе из Инета у меня nnCron закрывает все процессы не связанные с Инетом (пока только Outpost Firewall и Прокс)
А HC у меня запускается и закрывается при запуске(любого)/закрытии(всех) браузеров.

unreal666 писал(а):

При чем тут запросы и страницы? При твоем раскладе в кэше HC будут храниться страницы с мусорным кодом. Или ты прокс юзаешь только для резки баннеров и при том только по заголовкам?

только для резки рекламы и пользую.
а расскажи, какой мусор будет оставаться если пользовать мою схему? примерчик приведи?

unreal666 писал(а):

И зачем мне в оффлайн режиме каждый раз прогонять страницы из кэша HC в браузер через фильтры страниц проксомитрона?

затем, чтобы не дергать постоянно в онлайне кеш, который не отличается скорострельностью, однако

Цитата:

а расскажи, какой мусор будет оставаться если пользовать мою схему? примерчик приведи?

Куски кода тех же банеров. Да и не только. Ненужные метатеги, неправильное форматирование (у меня страницы на некоторых сайтов подвергаются форматированию через прокс).
У меня 99% банеров вырезаются физически из кода. Так что никаких лишних запросов при взятии файла из кэша HC не происходит, т.к. они уже очищены от всяких банеров.
- Еще недостаток. Кэш HC может использоваться не только на этом компе, но и на других через слияние кэшей HC. На других компах мне тоже обязательно ставить прокс, чтобы смотреть нормальные страницы из кэша HC?

Цитата:

затем, чтобы не дергать постоянно в онлайне кеш, который не отличается скорострельностью, однако

Во-первых, при чем тут онлайн, если я говорю про оффлайн.
Во-вторых, уже писал, что у HC тоже есть свой черный список. Так что один хрен.
В-третьих, смотреть 2-ой абзац.

unreal666 писал(а):

Куски кода тех же банеров. Да и не только. Ненужные метатеги, неправильное форматирование (у меня страницы на некоторых сайтов подвергаются форматированию через прокс). У меня 99% банеров вырезаются физически из кода. Так что никаких лишних запросов при взятии файла из кэша HC не происходит, т.к. они уже очищены от всяких банеров.

это не пример и не объяснение. я не понимаю "Куски кода тех же банеров" - объясни как они туда попадают.

unreal666 писал(а):

- Еще недостаток. Кэш HC может использоваться не только на этом компе, но и на других через слияние кэшей HC. На других компах мне тоже обязательно ставить прокс, чтобы смотреть нормальные страницы из кэша HC?

поставить кеш на сервер, туда же поставить прокс, всех пользователей натравить на прокс.

unreal666 писал(а):

Во-первых, при чем тут онлайн, если я говорю про оффлайн. Во-вторых, уже писал, что у HC тоже есть свой черный список. Так что один хрен. В-третьих, смотреть 2-ой абзац.

во-первых, я что-то не увидил ни в начально предложенной схеме упоминания про офлайн режим, ни в твоем первом объяснении. только потом ты вспомнил про офлайн. более того, 4 метра памяти - это просто смешно. или ты на КПК с 16 метрами сидишь?
во-вторых - что ж, если ты пользуешь активно черный список НС имея прокс установленный - это не значит, что так странно его пользуют все. не понятно, почему ту же задачу не может выполнить прокс. разносить одну и ту же задачу кусочками в разные места - это звучит странно, должны быть весьма веские доводы. пока что я таких не вижу.
в-третьих - куда смотреть? второй абзац чего? сказки пушкина о золотой рыбке?