Unknown Mystic

Цитата:

Если $NEST() в границе совпадет, а выражение в Match - нет

А если $NEST() не совпадает, то проверяется вторая альтернатива Bounds -- и так для каждого несовпадающего байта. Оно там, конечнно, несколько оптимизировано, но суть та же: большая часть контента проверяется дважды.

Вот ты о чем. Вообще-то я об этом не подумал, когда предлагал Но если я правильно понял, как оптимизирует прокс, то тогда это практически не прибавляет работы, т.к. он сначала строит список подстрок, с которых может начинаться граница (а они одинаковы для обеих частей) и только потом проверяет их наличие в обрабатываемом коде.

Kill JavaScript Banners {^sites} [ALX]

Нужно мне было для каких-то сайтов и я увеличил Bite Limit до 8192 в результате перестали работать кнопки овормления сообщения на этом сайте.

Причина - вот этот коментарий:

Цитата:

/* Do not delete these notes, please. ================================================================== Forum Images Colour Palette 1.0 Authors: SamG, Daz - http://www.forumimages.com/ License: Forum Images Free to Use Only Software and Images License. Please see http://www.forumimages.com/terms.php for details. ================================================================== */

содержащий длинные последовательности символов "=", которые подпадают под маску \=?\=?\=?\=?[/b]

Unknown Mystic
Да, странная маска..

rokir писал(а):

Хочешь я тебе мыл в proxomitron.ru подарю? От провайдера, с вэб-интерфейсом

Сорри за оффтоп, но приятный подарок, кстати. :-)

А насчет мыла - для регистрации на форумах я одно время использовал отдельный ящик, пока не убедился, что и так, и так спама почти нет. Правда, потом как-то раз зарегился у американцев и спам все же начал капать, но понемногу.

Учитывая http://www.proxomitron.ru/board/viewtopic.php?p=2306#2306 возможно в фильтрах стоит добавлять пробел перед вызовом проверки по списку:
\ssrc=($AV($LST(AdKeys)*))
заменить на
\ssrc=($AV( $LST(AdKeys)*))

Кроме того, может стоит и adcycle добавить в AdKeys-RE к прочим ad{чего-то там}

Proxomitron Russian Edition v0.9 beta

Фильтр - Referer: Avoid off-site resources {sites} (Out) [ALX]
Ну и накрутил... :)

([^/.]++.[^/.]+) замени на ([^/.]+.[^/.]+) - это одно и то же, только второе быстрее

((http(s|)://|)[^/]++.|)([^/.]++.[^/.]+)\1/ - что-то смущает меня это. Если я ничего не путаю, то пути вроде http://aaa.bbb/ не соответствуют указанному выше, потому как http:// не удовлетворяет ((http(s|)://|)[^/]++.|) , которое обязательно требует точку после http://
Наверно должно быть (http(s|)://|)([^/]++.|) - перенесена первая "("
А если так, то (http(s|)://|) наверно лучше вынести за скобку. Получится что-то вроде:

Код:

(http(s|)://|)($LST(OffsiteList)* && ([^/]++.|)([^/.]+.[^/.]+)\1/*) $URL(http(s|)://([^/]++.|)([^/.]+.[^/.]+)\2/*.(gif|jpg|jpeg|png|js|css|applet)(\?*|)) & (^$TST(\1=$TST(\2)))

Хотя все равно жутко и не красиво... :(
Может что-то вроде этого сделать:

Код:

(http(s|)://|)($LST(OffsiteList)* && ([^/]++.|)([^/.]+.[^/.]+)\1/*) ($URL(http(s|)://([^/]++.|)$TST(\1)/*.(gif|jpg|jpeg|png|js|css|applet)(\?*|))|$SET(\2=1))

А в заменe - $TST((\2)=1)$LOG(...)\k
Хотя тоже не очень...

Ну и так - мелочь:
URL: Host substitute (out) [ALX]
(/*)\9 - зачем? Не проще ли /\9, а не запомненный / просто добавить в замене?..

До фильтров страниц пока не дошел...

Unknown Mystic:

С Referer что-то не тянет меня разбираться: там изначально идея кривая, да и реализация доступными средствами красивой не получается. Вот будут глюки -- будем лечить. Хотя про скобку постараюсь вспомнить пораньше ;)

Насчёт Host subst, сам понимаешь, дело вкуса. Мне вкуснее, когда контент явно не дублируется, а вставляется оригинальный. С кавычками и равноми это даже помогает, а здесь -- абсолютно без разницы.

Переименуй: Kill fastbb JavaScript banners [ALX] -> Kill fastbb JavaScript banners {site} [ALX]

Meta content-type filter [ALX] - это бывший content-type filter [ALX], как я понимаю?
А границы так и не поменял на $NEST(<meta\s,>) ...

А теперь открываем файлы, которые я тебе как-то отсылал (или выкладывал где-то) не помню уже...

Kill JavaScript Banners {^sites} [ALX] - ты его так и не менял? Он же границы скриптов криво определяет или что-то в этом роде... Я давно пользуюсь этим:

Код:

Name = "Kill JavaScript Banners {^sites} [Lemmon] [SSL]" Active = TRUE URL = "(^forum.ixbt.com/)&(^(www.|)3dnews.ru/)&(^([^/]++.|)timezero.ru/)&(^([^/]++.|)fastbb.ru/)" Bounds = "$NEST(<script,</script>)( $NEST(<noscript>,</noscript>)|)|$NEST(<script,>)\#" Limit = 8192 Match = "$NEST(<script,>)($INEST(<script,</script>)</script>|)\#*&"         "*(://$LST(AdList)|"         "(ad(click|cycle|js)|.submit\(*focus\(|super_flashFileURL"         "|banner_height|<iframe|'ht'\+|.referrer|</script*</script))" Replace = "<ins by=Kill_JavaScript_Banners_{^sites}_Lemmon_SSL></ins><script language="ShonenScript">\@\r\n"

Banner Blaster (limit text) [RT] - отключи multi

Поменяй этот фильтр (на границах не настаиваю, их можешь оставить старыми)... А то твоим Match'ем убиться можно...

Код:

Name = "Kill off-site resources {sites} [ALX] [SSL]" Active = TRUE URL = "$LST(OffsiteList)" Bounds = "$NEST(<(img|image|input|iframe|script|embed|param)\s,>)|<(img|image|input|iframe|script|embed|param)*>" Limit = 512 Match = "(<param*\svalue|*\ssrc)\2=$AV( http://(^\h)*)\3" Replace = "<ins by=Kill_off-site_resources_{sites}_[ALX]_[SSL]></ins>\2=http://local.ptron/killed.gif\3"

Поменяй и этот, а то накручено куча всего, проверки какие-то... Только бесполезные помоему...

Код:

Name = "Alt2title {Mozilla} [ALX] [SSL]" Active = TRUE Multi = TRUE Bounds = "$NEST(<(img|input|area)\s,>)" Limit = 256 Match = "\1\salt=(^\\")$AVQ(\3)\9&"         "(^*\stitle=$AV(*))" Replace = "<ins by=Alt2title_{Mozilla}_[ALX]_[SSL]></ins>\1 alt=\3 title=\3\9"

В баню кавычки. Не нужны они тут, а возни много.

Код:

Name = "WebBugs (replace small images) [USR] [ALX] [SSL]" Active = TRUE Bounds = "$NEST(<(img|image)\s,>)" Limit = 512 Match = "(*height=[#0-4])&"         "(*width=[#0-4])&"         "\0\ssrc=$AV(*)\9" Replace = "\0 src=http://Local.ptron/killed.gif\9"

Переименуй: Kill new window anchors [ALX] -> Kill new window anchors {^site} [ALX]

Deny links to change statusbar [ALX] ... ээээ... Нет! Больше я в него не полезу! :)

Fix Nosey JavaScripts [ALX] - Разбираться надо. Прошлый твой вариант где-то пакостил... Этот вроде бы нормально, но буду еще тестить.

Предлагаю добавить (сразу перед Kill JavaScript Banners {^sites} [ALX]) фильтр:

Код:

Name = "Kill JS Banners [SSL]" Active = TRUE Bounds = "$NEST(<script,</script>) $NEST(<noscript>,</noscript>)" Limit = 4096 Match = "$NEST(<script,</script>) "         "($NEST(<noscript>,\1$NEST(<img,>)\3,</noscript>)"         "&(*\s(href|src)=$AV($LST(AdKeys)*))"         "&(*\s(title|alt)=($AV(*&(?+{18}|?*)\2))\4|$SET(2=Ad)))" Replace = "<ins by=Kill_JS_Banners_[SSL]></ins><center>\1<div title=\4><font size=1 color=#DD5588>[\2]</font></div>\3</center>"

Убивает JS, если в соответствующем ему noscript'е баннер.

Ну а остальное (все в тех же файлах) по большей части дело вкуса, так что черт с ним.

Ну вот, опять старые прыщи ковырять ;)
Мне вот тоже лень разбираться с такими монстрами, как Kill JavaScript Banners.

Пока осилил вот что:

Код:

Name = "Meta content-type filter [ALX]" Active = TRUE Bounds = "$NEST(<meta\s,>)" Limit = 256 Match = "<meta\s\1>&("         " *\shttp-equiv=$AV(content-type)&"         " *\s content=$AV(*&(^*=utf*))"         ")"         "&$IHDR(Content-Type: text/* charset=?)" Replace = "<moota \1>" Name = "Kill fastbb JavaScript banners {sites} [ALX]" Active = TRUE Multi = TRUE URL = "([^/]++|)fastbb" Bounds = "<script($INEST(<script,</script)</script>( <noscript>|)|*)" Limit = 2048 Match = "\0"         "var (banner|reklama)\1 ='[^']*';"         "\9" Replace = "\0"           " var \1='';"           "\9" Name = "Banner Blaster (limit text) [RT]" Active = TRUE Bounds = "<a\s[^>]++href=*(</a>|<a[^>]+>)|<input*>|<ilayer*</ilayer>|<iframe*</iframe>" Limit = 900 Match = "(<i(layer|frame)*|\1<i(mg|mage|nput)*src=$AV(*)*>\3)"         "&(*(href|src)=$AV($LST(AdKeys)*)|"         "*(http|https)://*<i(mg|mage|nput)\s(*>&&"         "(*width=[#460-480]&*height=[#55-70]*)|"         "(*width=[#100-120]&*height=([#600]|[#240])*)|"         "(*width=[#88]&*height=[#31]*)))"         "&(*(title|alt)=($AV((?+{18})\2*|(?*)\2))\4|$SET(2=Ad))" Replace = "<center>\1<div title=\4><font size=1 color=#DD5588>[\2]</font></div>\3</center>" Name = "Kill off-site resources {sites} [ALX]" Active = TRUE URL = "$LST(OffsiteList)" Bounds = "<(img|input|iframe|script|embed|param)(\s[a-z ]+=$AV(*))+*>" Limit = 512 Match = "(<"         "  (param*\s value | *\s src)="         ")\0"         "$AVQ("         "  (\"|\'|)\4"         "  http(s|)://(^\h)[^'"]+"         "  (\'|\"|)\5"         ")"         "\9" Replace = "<ins by=Kill_off-site_resources></ins>\0\4http://local.ptron/killed.gif\5\9" Name = "WebBugs (replace small images) [USR] [ALX]" Active = TRUE Bounds = "<img(\s[a-z ]+=$AV(*))+*>" Limit = 512 Match = "\0\s src=$AV(*)\9"         "&*\s height=$AV([#0:4])"         "&*\s width=$AV([#0:4])" Replace = "<ins by=WebBugs></ins>\0 src=http://Local.ptron/killed.gif\9"

Код:

Name = "Kill off-site resources {sites} [ALX]" Active = TRUE URL = "$LST(OffsiteList)" Bounds = "<(img|input|iframe|script|embed|param)(\s[a-z ]+=$AV(*))+*>" Limit = 512 Match = "(<"         "  (param*\s value | *\s src)="         ")\0"         "$AVQ("         "  (\"|\'|)\4"         "  http(s|)://(^\h)[^'"]+"         "  (\'|\"|)\5"         ")"         "\9" Replace = "<ins by=Kill_off-site_resources></ins>\0\4http://local.ptron/killed.gif\5\9"

Тебе самому это извращение нравится что ли??? Ну на кой черт, объясни мне, тебе эти кавычки???
...
Прошу прощения... но вид этого фильтра меня прости бесит...

// очепятку поправил

Name = "WebBugs (replace small images) [USR] [ALX]"

Код:

<img(\s[a-z ]+=$AV(*))+*>

Думаешь это лучше в скриптах работает, чем $NEST(<img\s,>)?

А я люблю, когда кавычки на своём месте ;)
На самом деле просто не помню, зачем там это появилось -- то ли из-за проблем с какими-то сайтами, то ли из принципа. Но сделано надёжно -- зачем ухудшать совместимость?

$NEST(), насколько я помню, не понимает переводы строк, что точно где-то уже попадалось. Поэтому я стараюсь не использовать его для больших тегов, таких как <img>, <a>, <body> и т п. (можно сказать "и все остальные";).

И вообще, проблема тут в том, что у разных вариантов есть разные недостатки, которые по сумме надо свести к минимуму. А для этого нужно чётко понимать, какой недостаток насколько влияет на результат. Т.е. нужна статистика. Пока её нету -- нет разницы, какой из неидеальных вариантов использовать.

Кроме того (перейдём на личности), твои советы очень ценны именно для того, чтобы обратить внимание на сложные или неявные моменты. Но в предлагаемых вариантах часто встречаются неточности или неучтёнка разных частностей. Поэтому мне кажется более эффективным не тратить время на тщательный тест-драйв каждого твоего фильтра, а изучить изменения и на основании этого анализа изменить гарантированно рабочий вариант.

Я бы хотел брать твой фильтр и, в случае соответствующей договорённости, просто вставлять его в сборку. Но туда должны попадать только надёжные решения без [известных] побочных эффектов. А когда ты в исправленном варианте предлагаешь, например, в Alt2Title отказаться от проверки пустого значения title="" -- это значит, что фильтр надо переделывать, иначе он у каких-то пользователей будет работать хуже, чем раньше. И с кавычками то же самое: в 0.1% случаев некорректное их использование может привести к ошибкам на странице -- значит, у кого-то при >1000 ежедневно открываемых страниц это будет происходить каждый день. Вот и висят у меня списки этих радикальных изменений, за которые надо браться и отлаживать..

Так что советую разделить деятельность по исправлению ошибок фильтров и по выкидыванию из них ненужных проверок. Первое -- более полезно и легко проверяется; фильтр с исправлениями обнаруженных ошибок обычно готов к употреблению. А второе (оптимизация и синтаксически-эстетический рефакторинг) требует тщательной проверки и учёта большого числа факторов, которыми один человек редко владеет.

Давай вместе делать готовые фильтры для Прокса-РЕ? Ты ведь отлично разбираешься во всём этом, надо просто немного повернуть вектор мысли в сторону надёжности и безвредности для разных контекстов. И всё получится ;)

Вот это я готов использовать в сборке:

Код:

Name = "WebBugs (replace small images) [USR] [ALX] [SSL]" Active = TRUE Bounds = "<img(\s[a-z ]+=$AV(*))+*>" Limit = 512 Match = "(*\s height=[#0-4])&"         "(*\s width=[#0-4])&"         "\0\s src=$AV(*)\9" Replace = "<ins by=WebBugs></ins>\0 src=http://Local.ptron/killed.gif\9"

Цитата:

А я люблю, когда кавычки на своём месте ;) На самом деле просто не помню, зачем там это появилось -- то ли из-за проблем с какими-то сайтами, то ли из принципа. Но сделано надёжно -- зачем ухудшать совместимость?

Хорошо хоть другие пока не начали запоминать кавычки таким образом... Где-то мы это уже обсуждали... Ну сделай хоть так, если уж очень хочется...

Код:

=($AV( http://(^\h)*)&("|)\4)

В \4 будет твоя кавычка. И ставь ее куда хочется... Только зачем лишняя головная боль? Ты можешь привести пример, когда может скосячить из-за отсутствия кавычек?

Цитата:

$NEST(), насколько я помню, не понимает переводы строк, что точно где-то уже попадалось. Поэтому я стараюсь не использовать его для больших тегов, таких как <img>, <a>, <body> и т п. (можно сказать "и все остальные";).

Не совсем так... Просто переносы строк - не проблема. Проблема с наличием кавычек, особенно (только?) когда открывающая кавычка на одной строчке, а закрывающая на другой. Если я не ошибаюсь, то просто в HTML'е такого не бывает, а вот в скриптах...
Поэтому особо и не спорю про него в границах, обидно что он так работает. Очень удобная штука... Но если не использовать $NEST() то надо по крайней мере все границы привести к одному виду, а то там куча разных способов одного и тогоже - поиска правильного конца тега...

Цитата:

А когда ты в исправленном варианте предлагаешь, например, в Alt2Title отказаться от проверки пустого значения title=""

Если создатель страницы поставил пустой title, зачит это зачем нибудь нужно ;) и нечего его менять. В любом случае проверять alt на пустоту просто незачем.

Цитата:

Давай вместе делать готовые фильтры для Прокса-РЕ? Ты ведь отлично разбираешься во всём этом, надо просто немного повернуть вектор мысли в сторону надёжности и безвредности для разных контекстов. И всё получится ;)

Я HTML плохо знаю, а JS вообще можно сказать никак... Потому и пропускаю много частностей - просто не знаю о них...

Кроме того, я не могу на работе уделять много времени проксу, там вроде как работать положено ;) А дома DialUp, так что особо не потестишь. Я вообще дома инетом не много пользуюсь, так что даже прокс там все никак не поставлю...

И еще. Не знаю, как ты тестишь, но как вариант могу предложить следующее:

Ставишь фильтры подряд: первым новый, если хочешь убедиться, что он все режет и вторым, если надо проверить, что он не рубит ничего лишнего.
После этого во второй фильтр в замену добавляешь что-то вроде: $LOG(!RMatch = <Имя_фильтра>)
И спокойно лазиешь себе по инету. В случае ошибки откроется лог с записью фильтра, который вызвал возможно неправильную замену.

Плюс в том, что одновременно можно тестить много фильтров, минус - качество и время... Вот если б это закладывать в бету, чтоб народ тестил... :))

Unknown Mystic писал(а):

Ты можешь привести пример, когда может скосячить из-за отсутствия кавычек?

Код:

doc_show = false; document.write("<img src='http://offsite.com/b.cgi?"); rnd = getRand(document.cookie); document.write(rnd); doc_show = true; document.write("&show=true'>"); if (!doc_show) { document.location=doc_title; }

Тут дело опять же не в примере, а в статистике. Мой вариант в плохих случаях будет пропускать запрос, а твой (в других плохих случаях) -- портить контент. Вопрос в том, сколько таких и этаких случаев.

"все границы привести к одному виду" надо, но это задача более высокого порядка, над отдельными фильтрами. А мы ещё в них по-отдельности не разобрались.. Да и совместимость в разных случаях нужна разная (то, что я использую, тоже имеет ограничения).

Цитата:

Если создатель страницы поставил пустой title, зачит это зачем нибудь нужно

Я знаю, зачем: так решил его html-редактор (ворд какой-нить) или движок CMS или ещё какой шаблон.. А если поле свободно -- его надо использовать -- на то и фильтр. А имея такие дополнительные запросы, приходится уже учитывать, что это мультифильтр и он не должен зациклиться.

Из AdKeys-RE действительно пропал "adcycle"..

Фильтры Kill JavaScript Banners все уродские: и разбираться с ними сложно, и сделаны они кое-как (путём многократных апгрейдов старых фильтров).. Так что я не хочу туда лезть, пока нет проблем (странно, но их не видно, несмотря на <noscript>). Надо браться и переписывать по-нормальному, а для этого надо чётко представлять, чего хотеть.

Но закрыть noscript я всё же решился:

Код:

Name = "Kill JavaScript Banners {^sites} [ALX]" Active = TRUE URL = "(^forum.ixbt.com/)&(^(www.|)3dnews.ru/)&(^([^/]++.|)timezero.ru/)" Bounds = "<script($INEST(<script,</script)</script>( $NEST(<noscript>,</noscript>)|)|*)" Limit = 2048 Match = "*(://$AV($LST(AdList)*)|"         "(\=?\=?\=?\=?|ad(click|cycle)|.submit\(*focus\(|super_flashFileURL"         "|banner_height|<iframe|'ht'\+|.referrer|"<sc" \+ "ript|</script*</script))\1"         "&[^>]+>((*</script>)\0( <noscript>*|)|\0)" Replace = "<script title=JS_Banner_blocked language=ShonenScript>\0"

Цитата:

doc_show = false; document.write("<img src='http://offsite.com/b.cgi?"); rnd = getRand(document.cookie); document.write(rnd); doc_show = true; document.write("&show=true'>"); if (!doc_show) { document.location=doc_title; }

Хмм... И правда, doc_show = true; пропадет...
Уговорил на кавычки :) Только всетаки запоминай их по нормальному...

Но с твоим Kill JavaScript Banners жить я не согласен :) На свой менять придется...
Кстати в нем шаблон \=?\=?\=?\=? у меня рельно вызывал глюк. Кстати и с неверним определением конца скрипта у меня когдато ошибка вылазила, когда я лимит до 8192 увеличил...

А так вроде бы по фильтрам ничего нового не скажу...

Собираюсь еще Fix Nosey JavaScripts [ALX] поковырять, да AdKeys-RE и AdList-RE поглядеть... Но все это не раньше понедельника.

Из Kill JavaScript Banners я равно-вопрос выкину. Но что там с границами? Что-то не могу найти информацию (если учесть, что </noscript> добавлен).

Да, ещё в AdList-RE вопросительные знаки \заэскейпил.