Настройка антиспам фильтра ORF

Как сделать антиспам ORF максимально эффективным

Здесь даны советы по конфигурации ORF, чтобы помочь настроить фильтрацию спама и обеспечить наименьшее количество ложных срабатываний. 

Для кого написана инструкция?

Читателями инструкции могут стать те, кто уже немного знаком с ORF и теперь занимается совершенствованием настроек. Слог изложения прост для понимания, и только в некоторых местах мы вдаемся в подробности, чтобы лучше объяснить суть работы спам фильтра ORF.

Используйте спам фильтр ORF по максимуму

Правильная настройка вспомогательного хост листа

Как и DNS, вспомогательный хост лист (IHL) – это область, требующая более тщательной настройки, поскольку она влияет на работу фильтров и надежность всей системы. Неверные настройки IHL могут привести к очевидному ухудшению результатов фильтрации спама или к потере важной почты.

Почему IHL настолько важен?

Как вы уже наверно знаете, ORF представляет ряд тестов, зависящих от актуального IP адреса отправителя (например, в черных списках DNS или SPF тестах). Когда ORF занимается фильтрацией по периметру вашей системы, легко установить IP адрес отправителя: это адрес того клиента, с которого было отправлено письмо. Однако когда почта приходит через резервный почтовый обменник (MX), эта система не срабатывает: клиентом здесь выступает ваш резервный обменник, а не фактический клиент-отправитель. Та же проблема может возникнуть в случае использования SMTP антивирусных прокси, активных брандмауэров и внешних интерфейсов SMTP.

И что в этом случае делает ORF? К счастью, в истории почты записываются заголовки электронных сообщений, так что ORF может «заглянуть» в резервный почтовый обменник и другие внешние интерфейсы SMTP (в ORF они обозначаются как «вспомогательные хосты») и вычислить IP адрес фактического отправителя. Всё, что вам нужно - это дать ORF список ваших вспомогательных хостов.

Что конкретно мне нужно добавить в список вспомогательных хостов?

Добавьте IP адреса каждого хоста, относящегося к ORF серверу. Обычно список таков:
- резервные MX,
- серверы с внешним интерфейсом в DMZ (когда ORF работает на выходном буфере),
- непрозрачные брандмауэры.

Обратите внимание на то, что список вспомогательных хостов, касающийся личных внутрисетевых адресов класса A, B и С выстраивается автоматически, вам не нужно добавлять их вручную. Адреса подразделяются следующим образом: 10.0.0.0 – 10.255.255.255 (Класс A), 172.16.0.0 – 172.31.0.0 (Класс B) и 192.168.0.0 – 192.168.255.0 (Класс C).

Для чего мне это нужно?

Предположим, что у вас есть резервный MX, не занесенный в списки IHL. Это звучит довольно невинно, но на самом деле есть определенная опасность. Имейте в виду: ORF считает, что фактическим отправителем является ваш резервный MX. Ниже представлены некоторые возможные ситуации:

Включен SPF тест: теряется важная почта
Допустим, почта приходит вам с адреса user@example.org через резервный MX. ORF проверяет SPF этого домена на предмет того, имеет ли этот IP адрес право отправлять что-либо от имени example.org. Неудивительно, что example.org отвечает, что не имеет ничего общего с вашим резервным MX. ORF работает, а вы теряете важную почту.

Включен тест серых списков: задержки получения.
Спам пересылается через ваш резервный MX (спам-программы обычно работают именно так). Тест серых списков выделяет неизвестный «объект», и сообщение получает статус «временно отклоненного». Спам-программы не отправляют письма повторно на те же адреса, а обычные серверы, как и ваш резервный MX, отправляют. Таким образом, ваш резервный MX отправит письмо вам еще раз где-то через 15 минут, пока оно не пройдет тест серых списков. Хотя спам-письма в этом случае надежно блокируются, вы потенциально теряете 15 минут и устраиваете дополнительную проблему вашему резервному MX. 

Включены DNS черные списки: пропускается спам.
Спам также отсылается вам повторно вашим же резервным MX. ORF проверяет IP адрес вашего резервного MX в черных списках, не находит его там и пропускает спам-письмо. Может, другие спам тесты и задержат это письмо, но потенциально оно может к вам прийти.

Правильные установки DNS.

DNS – это часто недооцененная, но очень важная установка спам фильтра ORF. Проблемы с установкой DNS могут привести к значительному ухудшению качества спам фильтрации и эффективности, а также к потере важной почты. Самые эффективные характеристики фильтрации спама в ORF базируются на черных списках DNS, SURBL и SPF тестах. 

Правильная настройка списка сервера.

ORF требует от DNS сервера осуществлять рекурсивный просмотр. DNS сервер, поддерживающий рекурсивный просмотр, сделает всё, чтобы доставить необходимую DNS информацию до клиента. Нерекурсивный сервер попросит клиента (в нашем случае ORF) запросить другие серверы, если текущий не авторизован на работу в заданной области. Основные ISP DNS серверы часто поддерживают рекурсивный просмотр, а второстепенные редко. ISP часто меняет свое мнение и отключает рекурсивный просмотр на своих серверах без дополнительного запроса.

Из всего вышесказанного следует: крайне желательно использовать локальный DNS сервер для ORF просмотров. Большинство организаций уже пользуется DNS серверами и полностью их контролируют, так что есть гарантия, что рекурсивные просмотры будут поддерживаться и в дальнейшем.

Вы можете проверить статус и состояние своего DNS сервера, нажав на кнопку «Test DNS» во вкладках ORF администратора Configuration /Global / DNS and lookups.

Вам потребуется не больше 2 серверов.

Мы рекомендуем использовать 1 или 2 DNS сервера для работы ORF, и, по крайней мере, один из них должен быть локальным. Большое количество серверов может привести к потере почты, как указано в параграфе выше.

Таймаут работы DNS

Установленных 12 секунд должно быть достаточно для DNS просмотра. При увеличенном интервале, особенно на нескольких DNS серверах, можно также потерять почту, как указано в параграфе выше.

Зачем мне нужно это знать?

Во-первых, потому, что если DNS сервер не поддерживает рекурсивный просмотр, ORF подумает, что запрашиваемая запись не найдена. Обычно это приводит к понижению качества фильтрации спама (поскольку ORF не достигает черных списков DNS или SURBL), но когда включен реверсивный тест DNS, отсутствие рекурсивной поддержки приведет к занесению в черный список всех входящих сообщений.

Включен реверсивный DNS тест: потеря ВСЕЙ почты.

RDNS тест проверяет, существуют ли записи MX DNS и сам отправитель «A» (другими словами, может ли быть отправлен ответ на это письмо). Если письмо не проходит этого теста, ORF заносит его в черный список. Следовательно, вы потеряете всю почту, которая не может быть занесена в белый список. Помните, что если вы используете ISP DNS серверы, вы подвергаетесь такому риску.

Проблема длинного таймаута: потеря почты.

Предположим, что вы используете 2 сервера ISP DNS для ORF. Добавим также, что вам надоели периодические ошибки DNS таймаута, и вы повышаете его до 60 секунд с исходных 12. Несколькими днями позже ваш ISP меняет IP адреса DNS сервера. Что произойдет дальше? ORF попытается проникнуть в DNS просмотр дважды, поскольку пока просмотр работает с таймаутом первого сервера, ORF переключается на второй сервер и пробует просмотр снова. Каждое действие DNS займет уже 120 секунд. Если у вас 5 черных списков DNS и 2 SURBL, проверка почты может занять 120Х7=840 секунд, т.е. 14 минут. ORF – это фильтр, базирующийся на протоколах, он удерживает письмо до тех пор, пока оно не пройдет все тесты, 14 минут для тестирования более чем достаточно, однако SMTP клиенты могут не прислать этого письма снова. Это значит, что вы потеряете большое количество, если не всю почту.

Выбор правильных опций фильтрации.

Выбор правильных характеристик фильтрации для ORF тестов зависит от ваших намерений и ваших почтовых установок: что вы ХОТИТЕ сделать с черными списками почты и что вы МОЖЕТЕ сделать.

Вопрос намерений.
Хотите ли вы сохранять содержание черного списка? Если нет, не беспокоит ли вас то, что спам не будет блокироваться на самой первой ступени доставки? Если вы отвечаете ДА на любой из этих вопросов, то решение следующее: подключите все возможные тесты фильтрации «По получении» и пропустите этот абзац. Однако если вам нужно избавляться от спама на самых ранних стадиях, читайте дальше.

Вопрос установки почтовых получений.
Обычно существует 2 вида элементов установки почтовых получений, которые касаются фильтрации: Внешние интерфейсы и резервные MX (также называемые резервными почтовыми серверами). Внешний интерфейс – это хост, получающий почту до того, как ORF сможет ее отфильтровать. Внешний интерфейс не обязательно является отдельным элементом, это может быть, например, также антивирусный прокси на том же сервере, на котором работает ORF. Вы легко можете проверить, есть ли у вас внешний интерфейс: посмотрите на логи ORF. Если кажется, что вся почта приходит с одного хоста, значит у вас установлен внешний интерфейс. 

Резервный MX сервер – это дополнительный сервер, получающий почту для вашего домена, когда ваш главный сервер не работает. Спам-программы отправляют письма сразу на вторичный MX, чтобы обойти антиспам-оборудование, которое обычно установлено только на главном сервере, а вторичному MX оказывается полное доверие. 

Следующая таблица наглядно показывает результат выбора той или иной установки фильтрации:

Вид Установка До получения По получении Оба
A Прямая доставка (нет внешнего интерфейса или резервного MX) Да Да Да
B Нет внешнего интерфейса, но есть резервный MX Нет Да Да
C Внешний интерфейс Нет Да Нет

А. Вы получаете почту напрямую из Интернета, поэтому можете использовать функционал фильтрации ORF на полную мощь.

В. Ваш резервный MX адрес должен быть в промежуточном хост списке. В связи с этим почта с вашего резервного MX будет занесена в белый список уже «До получения». Естественно, это приведет к снижению эффективности фильтрации, но вы можете избежать этого, подписавшись на все тесты фильтрации «По получении». Если вам нужно останавливать письма настолько быстро, насколько это возможно, выбирайте оба типа фильтрации.

С. Внешний интерфейс должен быть в промежуточном хост списке. В связи с этим вся почта будет занесена в белый список «До получения». В этом случае единственно верным решением будет выбор вида фильтрации «По получении». 

Примерное задание фильтрации 1.
Таблица ниже показывает оптимальную возможность фильтрации для следующих случаев:
- Установки: нет внешнего интерфейса или резервного MX.
- Что требуется: избегать писем из черного списка.

Тест До получения По получении Оба
Белый список DNS V    
Автоматическая отправка белого списка V    
Реверсивный DNS V    
Черные списки DNS V    
Черный список домена HELO V    
SPF тест V    
Черный список IP V    
Черный список получателя V    
Черный список отправителя V    
Проверка получателя V    
Задержка для проверки V    

Примерное задание фильтрации 2.
Таблица ниже показывает оптимальную возможность фильтрации для следующих случаев:
- Установки: нет внешнего интерфейса, но есть резервный MX.
- Что требуется: избегать писем из черного списка.

Тест До получения По получении Оба
Белый список DNS     V
Автоматическая отправка белого списка     V
Реверсивный DNS     V
Черные списки DNS     V
Черный список домена HELO     V
SPF тест     V
Черный список IP     V
Черный список получателя     V
Черный список отправителя     V
Проверка получателя     V
Задержка для проверки     V

Примерное задание фильтрации 3.
Таблица ниже показывает оптимальную возможность фильтрации для следующих случаев:
- Установки: есть внешний интерфейс (и возможно резервный MX).
- Что требуется: не имеет значения.

Тест До получения По получении Оба
Белый список DNS   V  
Автоматическая отправка белого списка   V  
Реверсивный DNS   V  
Черные списки DNS   V  
Черный список домена HELO   V  
SPF тест   V  
Черный список IP   V  
Черный список получателя   V  
Черный список отправителя   V  
Проверка получателя   V  
Tarpit delay*   НЕТ  

* Опция задержки для проверки имеет смысл только в том случае, когда у вас нет внешнего интерфейса.
* Активация tarpit delay не имеет смысла когда у вас есть внешний сервер, поскольку это “накажет” только Ваш сервер.

Выбор тестов

ORF предлагает ряд тестов, помогающих блокировать спам (например, черные списки DNS) и другие тесты, которые несут не только антиспам функцию. Например, фильтрация приложений и задержка писем для проверки. Естественно, для того, чтобы заставить ORF работать по-максимуму, вам нужно подключить все тесты, однако не все из них могут вписаться в систему работы вашей организации или сочетаться с установками доставки или отправки почты, например, для вас неприемлемо занесение почты в «серые списки» или вы не можете воспользоваться этой опцией, поскольку у вас есть внешний интерфейс. 

Для правильного выбора тестов ознакомьтесь с таблицей тестовых преимуществ ORF:

Тест Эффективность Риск
Реверсивный DNS хорошая нет/низкий
Черные списки DNS отличная низкий/средний
Черный список доменов HELO хорошая низкий/средний
Тест SPF хорошая нет/низкий
Занесение в «серые списки» отличная средний
Черный список по ключевым словам хорошая нет/низкий
Черный список URL доменов отличная низкий
Черный список набора символов хорошая низкий

О рисках:

- Реверсивный DNS тест обычно не несет никакого риска, он никогда не занесет важную почту в черный список, только в том случае, если ваш DNS сервер перестанет выполнять рекурсивный просмотр. С включенной опцией проверки IP отправителя, вы можете получить больше ложных срабатываний, поскольку этот подтест скорее для сервисных нужд, чем для фильтрации спама.

- Черные списки DNS составляются людьми, поэтому риск ложных срабатываний всегда высок, однако он может быть ниже, если черный список пополняется аккуратно. Некоторые черные списки, такие как BLARS, имеют довольно агрессивную структуру. 

- Уровень риска в черных списках HELO доменов зависит от функций, которые вы выбрали. Если вы выбрали опцию “Blacklist if HELO/EHLO domain... is the same as the recipient domain” (черный список HELO/EHLO домена…совпадает с доменом получателя), то ложных срабатываний не будет. Проверка “...is malformed” (некорректное формирование письма) может остановить несколько важных писем, поскольку некоторые администраторы настраивают домены с использованием нижнего подчеркивания в имени домена, что не является корректным для хост имен DNS. Проверка “...is not a Fully Qualified Domain Name (FQDN)” (Не установлено полное название домена) обязательно остановит несколько важных писем, хотя FQDN стандарт принят во многих компаниях. 

- Благодаря SPF тесту количество ложных срабатываний будет очень мало или исчезнет полностью, если, конечно, вы правильно настроили список промежуточных хостов. Если IHL настроен некорректно, то число ложных срабатываний значительно возрастет.

- Занесение в серые списки может привести к длительным задержкам в получении почты (5-15 минут), если, например, письмо было отправлено от имени крупной организации (домен gmail.com), которая имеет много различных серверов, и несколько попыток отправки осуществляются не с одного и того же сервера. Вы можете сократить список адресов, письма с которых приходят с опозданием, обратившись к списку IP адресов:http://www.vamsoft.com/greyexcept.asp и используя «Белый список автоматической отправки».

- Черный список по ключевым словам несет такой же риск, как и фильтры по ключевым словам: если они корректно сформированы, важная почта в них не попадет.

- Черный список URL доменов и SURBL довольно надежный, поскольку он получает информацию о спам-доменах, собранную вручную.

- Черный список набора символов позволяет определять спам, написанный на специфических языках/скриптах. Если ваш бизнес касается в основном переписки внутри страны, уровень ложных срабатываний довольно низкий. В другом случае вам придется самостоятельно определить, какой язык/скрипт занести в черный список.

Другие тесты ORF не являются просто антиспам-тестами. Это черные списки IP, отправителей и получателей, проверка получателя, задержка писем и фильтрация приложений. Вы можете подключить их все, они не несут никаких рисков.

Выбор лучшего черного списка DNS

Есть некоторые нюансы в вопросе выбора черного списка DNS, поскольку то, что вы называете «качественным черным списком» зависит исключительно от ваших требований: некоторые пользователи не терпят ложных срабатываний, а другие могут принять потерю некоторых важных писем.

Стоит проверить статистику выбора черных списков здесь: http://www.vamsoft.com/stats.asp поскольку на этой странице представлена выборка пользователей с разными намерениями и отношением к ложным срабатываниям. 

Колонка POP% показывает, несколько популярен этот черный список DNS, т.е. какое количество ORF пользователей его использует. Однако не стоит полагаться исключительно на популярность. Проверьте также колонку S/L% (спам/важное), в ней есть информация о том, сколько процентов ложных срабатываний возникло (например, 25% означает, что каждая 4 проверка дала в результате ложное срабатывание). Например, список ORDB (до его закрытия в декабре 2006 года) имел высокую популярность, несмотря на то, что практически не блокировал спам. 

На данную минуту мы рекомендуем следующие черные списки:
- Spamcop
- Distributed Sender Blackhole List
- NJABL
- Spamhaus ZEN
- SORBS без 127.0.0.6

Список “CBL Composite Blocking List” может стать идеальным решением, если вы не используете Spamhaus зоны. 

Перед тем, как выбрать черный список DNS, прочтите его описание (дважды кликните на название). Черный список DNS может экспортировать данные из других черных списков. Например, Spamhaus ZEN включает в себя Spamhaus SBL, Spamhaus XBL и Spamhaus PBL, которые, в свою очередь, включаются в CBL Composite Blocking List.

Если описание черного списка DNS для Spamhaus ZEN не доступно при ваших конфигурациях ORF (оно было представлено с версии 4.0), скачайте его отсюда: http://www.vamsoft.com/zen.asp
Этот пункт заменяет Spamhaus SBL-XBL (Combined) DNS черные списки, поэтому замените описание в ORF вручную. 

Вы также можете использовать генератор черных списков по странам отсюда http://www.vamsoft.com/countriesnerd.asp для создания черных списков на базе countries.nerd.dk DNS черных списков. 

Мы не рекомендуем использовать больше 3-5 черных списков одновременно. 

Выбор лучшего черного списка URL доменов

Это намного проще, чем выбор черного списка DNS, поскольку существует всего 2 основных поставщика черных списков URL доменов, это: surbl.org и uribl.org. Мы рекомендуем сделать следующий выбор:
- SURBL: комбинированный SURBL список
- Черный список Uribl.com.

Имейте в виду, что Комбинированный черный список SURBL получает данные из остальных зон surbl.org, так что если вы решите его активировать, выключите все другие URL черные списки, начинающиеся с префикса SURBL.

Как правильно использовать черные списки, введенные вручную?

ORF предлагает ряд встроенных автоматических тестов, которые не требуют дополнительной конфигурации, например, черные списки DNS, черные списки URL доменов или перемещение в серый список. Существуют также тесты, которые позволят вам задавать разнообразные критерии фильтрации. Это такие тесты, как черный список IP адресов или черный список отправителей. Эти два теста и называются «черными списками, введенными вручную».

Однако существует недопонимание по части использования этих черных списков. Довольно часто мы видели невероятно длинные списки черных IP адресов и почтовых адресов, которые должны были блокировать спам. Возможно, это работало, но администраторы больше теряли время, чем справлялись с задачей. 

Ручные черные списки были созданы для того, чтобы блокировать постоянные спам или вирус атаки с определенных адресов. Например, если атака на вашу систему происходит регулярно с определенного IP адреса или сети, черный список IP адресов позволяет прекратить это. Если некий вирус или спам-кампания проводится с определенного домена отправителя, вы можете заблокировать этот домен, добавив его в черный список. По тому же принципу вы можете блокировать определенные слова или фразы, такие как, например, оскорбительные выражения, используя черный список по ключевым словам.

Мы рекомендуем положиться на автоматические тесты ORF (такие как DNSBL или SURBL) настолько, насколько это возможно, и прибегать к ручным черным спискам только по необходимости. Добавление адресов спам-отправителей или их доменов съедает слишком много времени и дает небольшой результат, поскольку спаммеры используют фальшивые адреса отправителя. Такие же успехи ждут вас и в случае добавления IP адресов вручную в черные списки. Однако при желании вы можете сообщать об источниках спама в службы черных списков DNS, не тратя время на их добавление вручную.

Такие черные списки DNS как Spamcop обычно получают информацию о спаме от пользователей, поэтому вы можете зарегистрироваться и самостоятельно вносить вклад в борьбу со спамом. Зарегистрировавшись в такой системе, вы не только избавитесь от спама, но также поможете тысячам пользователей черных списков по всему миру бороться с ним. SURBL также поддерживают такие сервисы.

Улучшенная фильтрация с помощью внешних агентов

Внешние агенты позволяют вам работать с другим программным обеспечением для расширения возможностей фильтрации ORF, обычно это антивирус и антиспам программы.

В данный момент существует 15 определений внешних агентов, которые можно скачать здесь: (http://www.vamsoft.com/agentdefs.asp), включая ClamAV – надежный и бесплатный антивирус. 

Существует мнение, что бесплатное антиспам программное обеспечение не очень надежно, но это не касается SpamAssassin и ClamAV, они проверены и надежны, просто нужно потратить больше времени на их установку и поддержку.

Некоторые внешние агенты работают с определенным видом спама, который сложно блокировать обычными тестами, такими как DNS и URL черные списки. Мы разработали бесплатную версию такого агента:http://www.vamsoft.com/vsimagespam/

Другой агент, специализирующийся на блокировке PDF спама доступен здесь: http://www.vamsoft.com/vspdfspam/

REGEXS (Регулярные Выражения)

Другой типичной ошибкой является приравнивание языка Perl к регулярным выражениям (regexs). Perl – это популярный язык для всевозможных платформ, оказывающий поддержку регулярным выражениям, как и в случае с ORF. Существует много видов регулярных выражений, ORF использует те из них, которые совместимы с языком Perl 5. И хотя для изучения регулярных выражений потребуется некоторое время, это не так сложно, как разобраться с Perl. 

Если вас интересует, зачем изучать регулярные выражения, то ответ таков: можно понять работу многих приложений, начиная с ORF и заканчивая функциями Microsoft Word.

Регулярные выражения работают наравне с ORF, когда дело касается комплексных почтовых доменов (15 и более символов в названии), например: .*\d{15,}.*@.* или фильтрации по ключевым словам.

Внимание: мы рекомендуем сначала тестировать вновь добавляемые регулярные выражения, чтобы исключить возможность ложных срабатываний.

Проверка заголовков

Хотя вы и можете повысить эффективность черных списков DNS, добавив фильтрацию по заголовку, однако это может привести к большому количеству заблокированных важных писем.

Проверьте себя.

Ответьте на несколько вопросов в таблице (ниже), чтобы понять, соответствует ли конфигурация ORF вашим требованиям.

Правильно ли настроен список промежуточных хостов?
Используете ли вы локальный DNS?
Выбраны ли правильные тесты для фильтрации?
Активированы ли все нужные тесты?
Правильно ли настроен список промежуточных хостов?
Используете ли вы лучший черный список DNS и SURBL?
Надежны ли ваши ручные установки фильтрации?
Включен ли тест проверки заголовков?

Если у вас есть какие-либо комментарии и замечания по этому документу, напишите, пожалуйста, нам по адресу:orf-filter@inbox.ru

Достаточно информации?

Скачайте 42 дневную, полнофункциональную тестовую версию ORF или купите сразу.

  
К началу