Извиняюсь, если это уже было. Но на сайте http://www.metro.ua/ Прокс загружает проц на 100% и практически виснет. Из лога видно, что виноват фильтр "Deny links to change statusbar [ALX]". Вот.

И ещё хотел узнать. Вы последняя надежда. На сайте http://ryoni.com/ всё отображается нормально лишь при выключенных фильтрах:

Match 527: Stop status bar scrollers (без него не очень удобно, на MSIE)
Match 527: Stop browser window resizing (без него вообще нельзя)
Match 527: Kill pop-up windows (сами понимаете, но, это можно отколючить)
Match 527: Suppress all JavaScript errors (всё равно)

Такое происходит не только на рунетовском конфиге.

Если какой-либо из этих фильтров включен, то сайт не будет нормаьно отображаться. Что посоветуете?

hocallost
Обновлённый фильтр Deny links to change statusbar [ALX] лежит здесь.

А http://ryoni.com/ сам по-себе такой кривой сайт, что никакими фильтрами его не спасёшь.

Собственно, сабж...
Может, я не слишком глубоко в теме, но на мой взгляд одни из наиболее развитых и постоянно обновляющихся фильтров - фильтры Grypen. Пользуюсь ими уже пару лет, режут практически все.... Вот если бы к ним можно было бы легко добавлять фильтры для русского инета, так, чтобы каждое обновление ничего не портило, включая свои собственные настройки... Мечта жизни

Мда, и нафига "Тема" в сообщении, если все равно не показывается... Там было "Вот, если бы об'единить фильтры Grypen с RE"

SlavaU
Gryphen делает довольно навороченные конфиги, которые имеют мало общего с оригинальным; что-то к ним прикрутить -- задача непростая. А Proxomitron-RE сделан так, чтобы максимально оставить исходные фильтры и блок-листы, поэтому его можно даже ставить на свой рабочий конфиг.

А если у тебя что-то нужное не режется или косячт -- напиши; исправим.

В общем-то, фильтры Gryphen-а меня устраивают процентов на 90, живу я не в России и инет русский и нерусский смотрю 50/50, а для нерусского инета у Gryphen-а все заточено очень хорошо и быстро исправляется. Добавляю свои пару десятков выражений в "User - Ad Domains.txt" и "User - Ad Paths.txt" - и, практически, этого достаточно. Вот, что колечит он, как Бог черепашку - так это, например, www.compulenta.ru... Иногда главную страницу, но не всегда, а в статьях - почти всегда текст пропадает. На wzor.net - картинки режет все, что не всегда есть хорошо. Но это мелочь.

Что было бы мне интересно:

1. Использовать бы фильтры Gryphen-а в качестве базовых. Почему? Потому, что проект "Proxomitron для РуНета" все же ориентируется на Рунет, и ресурсов для написания конфигурации/исключений для зарубежных сайтов, какими располагает народ с Gryphen-овского сайта все равно нет, а, главное, нафига делать двойную работу?

2. Свою кастомизированную конфигурацию по определенным сайтам/дополнительные фильтры хранить в отдельных файлах.

Насколько показывает мой опыт общения на форуме Gryphenа - он весьма легко идет навстречу пожеланиям и, как мне кажется, было бы вполне возможно договориться с ним о создании в его фильтрах "user exit", в которые можно было бы подключать свои кастомизированные конфигурации.

3. Если вариант совместной работы с Gryphen-ом не пройдет - можно написать скрипт, хоть на перле, который бы добавлял эту "русскую" конфигурацию к Gryphen-овской.

SlavaU
Всё это замечательно и давно бы делалось, если бы можно было подключать конфиги один к другому.
Кроме того, мне нравится концепция простого конфига, в котором легко разобраться.

chAlx писал(а):

Критику я не понял: у меня результаты фильтра (коммент из Replace) на 3dnews получаются строго между одинаковых тегов: <td>, <div> или <!---->. Никаких скриптов рядом нет. Могу посоветовать акуратнее добавлять фильтр в существующий конфиг, чтобы он сработал вовремя.

Да никакой критики нет, я просто говорю, что твой вариант выризания коментов не корректно обрабатывает начальный тег <script>, если к примеру в нем есть атрибут, к примеру <script language="javascript">

Потести вот этот кусочек в Proxomitron и все поймешь

Код:

<!-- AdRiver code START Type: 179x69 Site: 3dnews SZ: main PZ: 0 BN: 0--> <script language="JavaScript"> <!-- var RndNum4NoCash = Math.round(Math.random() * 1000000000); document.write( '<iframe src="http://ad.adriver.ru/cgi-bin/erle.cgi' + '?sid=1760&sz=main&target=top&bt=12&w=150&h=54&pz=0&rnd=' + RndNum4NoCash + '" frameborder=0 vspace=0 hspace=0 width=150 height=54 marginwidth=0 marginheight=0 scrolling=no>' + '<a href="http://ad.adriver.ru/cgi-bin/click.cgi' + '?sid=1760&sz=main&bt=12&w=150&h=54&pz=0&rnd=' + RndNum4NoCash + '" target=_top>' + '<img src="http://ad.adriver.ru/cgi-bin/rle.cgi?' + 'sid=1760&sz=main&bt=12&w=150&h=54&pz=0&rnd=' + RndNum4NoCash + '" alt="-AdRiver-" border=0 width=150 height=54></a></iframe>') // --> </script> <noscript> <iframe src="http://ad.adriver.ru/cgi-bin/erle.cgi?sid=1760&sz=main&target=top&bt=12&pz=0&rnd=1042592319" frameborder=0 vspace=0 hspace=0 width=150 height=54 marginwidth=0 marginheight=0 scrolling=no> <a href="http://ad.adriver.ru/cgi-bin/click.cgi?sid=1760&sz=main&bt=12&pz=0&rnd=1042592319" target=_top> <img src="http://ad.adriver.ru/cgi-bin/rle.cgi?sid=1760&sz=main&bt=12&pz=0&rnd=1042592319" alt="-AdRiver-" border=0 width=150 height=54></a></iframe> </noscript> <!-- AdRiver code END -->

ASKant

Цитата:

Потести вот этот кусочек в Proxomitron и все поймешь

Нормально заменяется весь фрагмент на одну строку комментария. Вероятно, ты не поменял фильтр на новый.

chAlx писал(а):

Нормально заменяется весь фрагмент на одну строку комментария. Вероятно, ты не поменял фильтр на новый.

Да, с новым фильтром все нормально. Видимо я когда первый раз твой вариант пробовал, не весь заменил. Извеняй.

nightrainbow.info здесь

1. А почему бы не сделать отдельную обработку блоклистов для страниц (Adkeys) и заголовков (AdList), дабы избавиться от применения в блоклистах конструкций ((ftp|http(s|))://|)(www.|)
2. Не плохо было бы для удобства разбить блоклист на 2 части - домены (AdDomainList) и пути (AdPathList).

# Adkeys

((ftp|http(s|))://|)(www.|)([^/]++.|)($LST(AdDomains))\#[./ \t\r\n]&($SET(\9=Domain eq \#))
((ftp|http(s|))://|)(www.|)*[/\-_?&:=]($LST(AdPaths))\#[/\-_?&:="' \t\r\n]&($SET(\9=Path eq \#))


# AdList

((ftp|http(s|))://|)(www.|)([^/]++.|)($LST(AdDomains))\#([./]|(^?))&($SET(\9=Domain eq \#))
((ftp|http(s|))://|)(www.|)[^:]++[/\-_?&:=]($LST(AdPaths))\#([/\-_?&:="']|(^?))&($SET(\9=Path eq \#))


# AdDomainList
...
addictivetechnologies.net
addme.com
addnsservices.com
addomain.net
address.com
addrive.com
addstats.com
...


# AdPathList
...
adfram
adgif
adgrap
adidnes
adimag
adimage
...

MortalMan

Цитата:

почему бы не сделать отдельную обработку блоклистов для страниц (Adkeys) и заголовков (AdList), дабы избавиться от применения в блоклистах конструкций ((ftp|http(s|))://|)(www.|)

В блок-листах таких конструкций нет. Разделение на веб-фильтры и заголовочные не имеет ничего общего с разделением проверки УРЛа по любой части (AdKeys) и по началу (AdList).

Цитата:

Не плохо было бы для удобства разбить блоклист на 2 части - домены (AdDomainList) и пути (AdPathList)

В AdList входят не только проверки либо по домену, либо по любой счасти пути. К тому же, там есть некое подобие разделения на блоки (вернее оно когда-то было, а теперь почти всё пишется подряд, чтобы было понятнее, что добавилось).

Разделение можно попробовать сделать в рамках одного блок-файла: Прокс позволяет использовать многострочные выражения. Но в них придётся использовать оператор ИЛИ.

В общем, проверь, про нашу ли сборку ты написал ;)

Сборка у меня не ваша, да и своей я ее не могу назвать... имхо, в ней я собрал самое лучшее, что-то переработал...

А вот по вашей сборке...

http фильтры:
если http://cnt.one.ru/ блокируется, то http://www.cnt.one.ru/ уже нет! Приходится прибегать к дополнительным конструкциям типа (www.|)

web фильтры:
Banner Replacer - настоящее решето... намного лучше выглядит:

Name = "Banner Replacer"
Active = TRUE
Bounds = "<i(mg|mage|layer|nput)*>|<a\s[^>]++href=*</a>"
Limit = 1024
Match = "\0(<i((layer)\3|mg|mage|nput))\1 "
"((\2\wborder=\w|) \4 src=$AV(*) (\7\wborder=\w|) \&"
"(*(src|href)=$AV($LST(AdKeys)*)|"
"((*\swidth=$AV(\5)(^%)&*\sheight=$AV(\6)(^%))&$SET(Sz=\5,\6)$TST(Sz=$LST(AdSizes))))*"
Replace = "\0 \1 \2 \3 \4 "
"border=0 src="http://local.ptron/killed.gif" \7 title="Blocked \9 \5 \6" \8"

но для предотвращения излишней агрессивности (уничтожение банеров идет как по адресу, так и по размеру картинки, а при использовании родного adkeys он становится мегаагрессивным) приходится изменить adkeys:

# adkeys
((ftp|http(s|))://|)(www.|)([^/]++.|)($LST(AdDomains))\#[./ \t\r\n]&($SET(\9=Domain eq \#))
((ftp|http(s|))://|)(www.|)*[/\-_?&:=]($LST(AdPaths))\#[/\-_?&:="' \t\r\n]&($SET(\9=Path eq \#))

В этом случае просто необходимо разделение блоклиста на домены и пути, дабы избежать ложных срабатываний.
Выигрыш - можно забыть о "([^/]++.|)" "[^/]++." "www." "(www.|)" "/" и "." в конце или начале адресов, проще использовать сторонние блоклисты, избавиться от ложных срабатываний и хоть как то упростить и упорядочить все действия с блоклистами. Правда это кому как, но у меня блоклисты уж очень большие...

MortalMan

Ну не знаю, как оно у тебя работает, но мне кажется такой подход слишком кривым: все маски загоняются под одну гребёнку и невозможно управлять ими. Например, нужно вырезать adv.com/img/adgif/*.gif, но не трогать active_directory.info/?topic=AD_Global_Information_Format&part=common_ADGIF_Info. Как это делать -- перекрёстными байпассами? Да и лишних проверок многовато становится.

С AdDomains можно было бы что-то сделать, но у нас их не так много, чтобы путаться. Да и опять же лишние проверки, "ложные срабатывания".. Вот www.cnt.one.ru/ -- абсолютно невозможный вариант (www был только у самого one.ru), так же как и все его комбинации с ftp и https. Зачем их проверять? (А теперь я его вовсе выкинул: сервис не работает.)

Так что мне видится наше "решето" более надёжным вариантом для невинного юзера, которому лучше посмотреть 20 баннеров, чем промучиться с убитой нужной информацией. А если есть какие-то сайты, где реклама мешается и не вырезается Проксом-РЕ -- для таких случаев есть целый раздел форума: Помогите убрать баннер...

To: chAlx
Зачем тогда нужен Proxomitron, когда есть Privoxy, который даже в штатном исполнении режет намного больше рекламы чем ваш адаптированный вариант, да и намного проще его? В моем варианте AdDomainList содержит более 9500 сайтов рекламного содержания, именно сайтов, а не масок типа *ad.* (не секрет, что в инете существуют такие блоклисты и они постоянно дополняются), и в этом случае могут быть ложные срабатывания? Да и о какой потере ценной информации идет речь, о рисунке что ли? Да еще с характерным адресом spylog... Да многие и контент смотрят без картинок, так что реализацию "Banner Replacer" винить не стоит, кроме того, он даже показывает, за что удалил и при желании юзер может без лишних усилий поправить блоклист или сделать исключение. Зарезать информацию в полном объеме можно http фильтром, но как, в AdDomainList я масок не использую, при желании AdPathList можно сократить с 400-500 хоть до одного... Откуда вообще взялась информация об агрессивности моего варианта? Конечно, может лучше просто перенаправлять юзера на раздел "Помогите убрать банер", или писать сугубо специфические фильтры... Мне-то в принципе по барабану, чем мучаются ваши юзеры с вашей сборкой, какие их банеры из проскочившей двадцатки сильно раздражают... мне это не грозит.

MortalMan

Да ты не волнуйся; так уж заведено: нам есть, что предложить, и многим людям результат подходит с имеющейся концепцией. Если ты хочешь предложить свою -- делай сам, никто не против. А предлагать концепцию, под которую я переделаю сборку, не убедив меня в её целесообразности -- абсурд.

Цитата:

Да многие и контент смотрят без картинок, так что реализацию "Banner Replacer" винить не стоит, кроме того, он даже показывает, за что удалил и при желании юзер может без лишних усилий поправить блоклист или сделать исключение

Мы по-разному оцениваем целевую аудиторию. Наши сборка -- для тех, кто не хочет с ней непрерывно возиться и не обязан глубоко разбираться. Да, пока что результат далёк от идеала, доступного любому обывателю, но твоё предложение уведёт от него ещё дальше.

To: chAlx
Понятно, каждый сам копается в своей песочнице... из твоих слов создается впечатление, что тебе это не больно то и надо... я предложил только идею, было бы у тебя желание, я мог бы дать свою реализацию, и совместными усилиями можно было или ее отвергнуть целиком или что-то из нее подчерпнуть, что то подправить, отшлифовать, притом вам, спецам это сам Бог велел... весь интерес заключается в абсолютно простом создании и модефикации блоклистов, а так же их наименьшей агрессивности и высокой степени фильтрации... для юзера это заключалось бы в простом копировании блоклистов в соответствующие папки. Да и до этого думаю не дошло бы. В крайнем случае юзер мог просто вставить адрес назойливого фрамента в блоклист и не думать, а как же его там прописать... Фильтр "Banner Replacer" прописывает причину удаления, что несомненно удобно, и это не говорит о том, что категория пользователей прокса сужается до очень продвинутых юзеров, это рудимент, оставшийся после перехода из агрессивной конфигурации в более лояльную. Удаление картинок по размерам - в нашем случае это не менее ценное качество, но тобой оно не пассмотрено... У юзера остаются 2 файла - AdDomainList и AdPathList, где все прописывается абсолютно просто, без "www", заключительных и начальных "/" и "."
Навязываться не стану, возможно опыт - сын ошибок трудных, должен быть в изобилии у каждого... и этот каждый пускай использует его по своему усмотрению.

MortalMan

Определение размеров картинок по блок-листу я ещё пол-года назад "рассмотрел". С тех пор не нашлось новых размеров баннеров, что могло бы быть аргументом для внедрения фичи в Prox-RE.
Запись в лог причины срабатывания фильтра рассмотрена год назад. Запись её в title -- это, может, и неплохая функциональность, но сейчас туда выводится другая информация, а имя фильтра выводится перед заменённым текстом в html-коде, и не только для баннеров.

А основное предложение по замене двух блок-файлов четырьмя (не совсем совместимыми с родными фильтрами) мне не нравится. Смысла нет: добавлять новые УРЛы проще не станет (куда уж проще: выбирай AdList в контекстном меню Add to blockfile и вперёд); производительность упадёт; "ложных срабатываний" будет больше; фильтры будут чаще глючить (потому что кривые); совместимость с чужими блок-листами пропадёт.

И ради чего? Фильтроваться реклама намного лучше не станет -- число случаев, когда надо указать домен с любым префиксом или маску УРЛа в действительности мало. А если такие случаи всплывают -- они включаются в "системный" блок-лист в максимально правильной форме. Так уж я вижу заботу о юзере: не упрощать ему возможность заглючить весь конфиг своей маской, а почаще обновлять блок-листы и всю сборку, чтобы ничего изменять не приходилось.

А почерпнуть и отшлифовать -- это всегда пожалуйста. Выкладывай хоть весь конфиг, хоть отдельные фильтры (что лучше) -- посмотрим (и не только я). Но желательно не здесь, а отдельным топиком в разделах Фильтры или Общие вопросы. Или в уже открытые топики, если тема подходит.

1. Да у меня фильтр с размерами картинок уже больше 3 лет работает, правда реализация отличалась от вашей... Сейчас используется ваша реализация, в ней просто удобно указывать размеры рисунков и только...
2. Да и не было у меня записи в лог... сейчас есть, вчера сделал, ложные срабатывания ловлю
3. По поводу ложных срабатываний - очень интересная тема... тебе стоит обратиться к разработчикам squidguard'а, outpost'а и других, и сказать им, что их блоклисты никуда не годятся, много ложных срабатываний... ты не в мою сторону, ты в их сторону плюешь. Да и если записан в AdDomainList - spylog.com то только он и будет резаться, а не что нибудь другое, нет у меня там масок, чтоб что-то полезное резалось.
4. Реализация блоклистов в 2 файла (не 4, два других только приводят блоклисты необходимый для фильтров вид) изначально не моя идея... Аналогичную реализацию я увидел еще 3-4 года назад, но в той реализации она состояла из 3 листов: Domain, Host, Path, но при родной реализации "Banner Replaser". В моем "Banner Replaser" AdKeys стал агрессивным и претерпел изменения.
4.1 На http фильтры работает AdList, который в свою очередь использует AdDomainList (домены) и AdPathList (пути)
4.2 На web фильтры работает AdKeys, который в свою очередь использует AdDomainList (домены) и AdPathList (пути)
5. Из 4.1 и 4.2 можно понять, что юзеру теперь не нужен "спаситель", объясняющий, что и куда писать. Производительность практически не падает, с твоей сборкой сравнивал...
Понятно, "своя" реализация греет тело, "свое" детяще как-то надо защищать, лелеять, заставлять окружающих обращать на него внимание, вызванное его несовершенством... постоянное латание дыр, пропускающих рекламму вызывает какую-то неприятную аналогию с разработчиками windows
P.S. Спасибо за подсказку, сейчас у меня "adv.com/img/adgif/*.gif" ловится а "active_directory.info/?topic=AD_Global_Information_Format&part=common_ADGIF_Info" уже нет, и без всякиз перекрестных байпасов и изменений в AdDomainList & AdPathList... единственое дельное предложение за последнюю неделю.