spam-cheсk 0.3: Быстрее, больше, сильнее

Я уже выкладывал и писал предыдущие версии скрипта spam-check. Сегодня же, в преддверии Нового 2010 года, хочу поделиться новой, третьей версией данного скрипта.
Напомню, скрипт предназначен для проверки своих (и не только) серверов на их наличие в черных списках (DNSBL).<

Kerio Mail Server: Дублирование входящих и исходящих писем с/на опр. адрес на другой адрес

[offtop]Может тема и запутанная, но другой, к сожалению, не придумалось.[/offtop]
Попросили меня сделать в Kerio Mail Server'е так, чтобы все входящие и исходящие письма с/на email_for_spy@server.ru автоматически дублировались на spy@server.ru.
Со входящими проблем нет, но об этом в конце поста. А вот с отловом исходящих пришлось изрядно повозиться. Чуть голову не сломал. Просто в KMS нет стандартных средств для этих целей (а я искал именно там). Вот поэтому и хочу рассказать в первую очередь о том, как отлавливать исходящие письма.

Для начаа нужно сделать новый ящик, который у нас будет выступать в качестве посредника. Это элементарно, поэтому не будем тут останавливаться. Скажу только, что я выбрал адрес redirector@server.ru. Далее понадобится доступ к диску сервера, где стоит KMS, либо к его вебморде, но я расскажу о первом варианте, а второй осталю тебе в качестве домашнего задания ;). Идем в папку "%KMS_INSTALL_DIR%\mail\server.ru", если тут еще нету папки redirector, то создаем ее. Теперь в этой папке нужно создать файл "filter.siv", а в нем написать следующее:

#!1 Forward messages
if address :all :contains "From" "email_for_spy@server.ru"
{
redirect "spy@server.ru";
}

#!1 Discard all messages
if true 
{
discard;
}

Поясню, чтобы было понятнее. Первые четыре строки отлавливают все входящие письма (почему входящие, узнаешь ниже), отправитель которых email_for_spy@server.ru и перенаправляют их на spy@server.ru. Вторые четыре строки тупо удаляют все письма (а зачем нам засорять дисковое пространство сервера?). Почему-же мы сделали фильтр для входящих писем, а не для исходящих?. А потому-что на этот адрес (redirector@server.ru) будут дублироваться все исходящие письма, а значит они будут для него входящими. Просто нет в KMS возможности отлавливать исходящие письма, поэтому и пришлось так поизвращаться %)
Но это еще не все. Исходящие письма еще не дублируются. Давай покажем KMS'у, что мы хитрее :) Идем в Configuration -> Backup -> Archiving, ставим галочку "Enable mail archiving" и "Archive to remote address", а справа от нее пишем адрес редиректора, т.е. redirector@server.ru. Затем отмечаем галками пункты "Local messages (local sender, local recipient)" и "Outgoing messages (local sender, remote recipient)", а всех остальных галок беспощадно растреливаем (читай, убираем). И не забываем нажать кнопку "Apply".
Вот и все, с исходящими покончено :)
А теперь пора вернуться к входящим... Идем в Domain Settings -> Users, находим "email_for_spy", выделяем его и жмем "Edit". Потом идем на закладку "Forwarding", ставим преключатель в положение "Forward to addresses", жмем "Add...", указываем там "spy@server.ru" и жмем "ОК". Теперь внизу ставим галочку "Deliver messages to both mailbox and forwarding addresses", чтобы копии писем оставались в ящике "email_for_spy@server.ru". И опять-же не забываем нажать кнопку "Apply", после кнопки "ОК" ;)

Вот и все :)
До новых постов :)


ЗЫЖ Хочу выразить огромную благодарность своему коллеге Леониду, который сейчас работает и живет в Америке. Благодаря нашей с ним "перепалки" на эту тему, я в конце концов догадался, как реализовать задуманное. Лёня, мегареспект тебе!!! :)



UPD: Прошу иметь ввиду, что на все вопросы в комментариях я отвечаю, исключительно, по памяти, т.к. я уже давно не работаю в компании, где использовался Kerio и не имею к нему доступа, и не могу проверить свой ответ.





Информация с сайта http://angel2s2.blogspot.com/. Если Вы читаете информацию на другом сайте, пожалуйста свяжитесь с автором сайта http://angel2s2.blogspot.com/.

Google: Как сменить аккаунт.

Не так давно мне знахотелось поменять аккаунт на google'е. Причина тому была банальна: мне надоело старое имя, не красиво оно как-то было, да и не клеилось с моим текущим ником. Порыв справку гугла и погуглив поиском, я узнал, что гугл не позволяет поменять имя аккаунта, точнее говорит, что в настоящий момент это не возможно. У меня уже чуть было руки не опустились... Но не давала покоя одна мысль: "Че это же ты за админ такой? Не возможного не бывает."
Так вот, в этом посте пойдет речь о том, как я сменил аккаунт на гугле и при этом перенес все свои данные со старого аккаунта на новый.

1. Начнем с почты
1.1. В старом ящике...
1.1.1. Идем в "Настройки", а там в "Пересылка и POP/IMAP", включаем доступ по POP3, т.е. отмечаем пункт "Включить POP для всех писем".
1.1.2. Теперь заходим в "Экспериментальные функции". Тут находим "Импорт/экспорт фильтров" и ключаем эту функцию.
1.1.3. После чего идем в "Фильтры", опускаемся в самый низ, жмем линк "Все" и под ним кнопку "Экспорт" и сохраняем на компе список фильтров.
1.1.4. Теперь переходим к адресной книге. Тут есть один нюанс: у меня не все контакты загрузились, гугл ругался, что либо файл большой, либо он поврежден. Я не стал разбираться что да почему, а экспортировал только "Адресную книгу", а не "Все адресаты", т.к. последние мне не нужны. В общем делается это так: жмем в правой части адресной книги линк "Экспорт", на вопрос "Какой адрес вы хотите экспортировать?" отвечаем "Только Адресная книга", а "Формат экспорта" выбираем первый, т.е. "Формат CSV, используемый Google", жмем кнопку "Экспорт" и сохраняем файл на диск (у меня он почему-то был с японскими иероглифами в имени, поэтому при сохранении я указал др. имя, вместо предлагаемого по умолчанию).
1.1.4.1. Так же можно экспортировать контакты (все) в "Формат CSV программы Outlook", а потом импортировать их из этого файла. Это может пригодиться в том случае, если гугл будет ругаться (см. п.1.1.4). Т.е. в этом случаем, можно просто открыть этот файл в текстовом редакторе и разделить его на несколько файлов, а потом загрузить по частям (с "Формат CSV, используемый Google" это не прокатит, т.к. он зашифрован).
1.2. В новом ящике...
1.2.1. Идем в адресную книгу и импортируем контакты, т.е. слева в адресной книге жмем линк "Импорт", потом кнопку "Обзор", выбираем файл с контактами, который мы экспортировали ранее из старого ящика и жмем кнопку "Импорт". Немного ждем и... готово :)
1.2.2. Идем в "Настройки", а там в "Фильтры", опускаемся в самый низ и жмем линк "Импортировать фильтры". Ниже появляется соответствующее поле, в котором жмем кнопку "Обзор", выбираем сохраненный файл с фильтрами (см. п.1.3) и жмем кнопку "Открыть файл". Фильтры импортировались :)
1.2.3. Теперь идем в "Аккаунты" и в разделе "Получать почту из других аккаунтов" жмем линк "Добавить свой почтовый аккаунт". Откроется новое окно (вкладка), в которой вводим мыло старого ящика, жмем далее, выполняем нужные настройки (думаю, что ты и сам сможешь разобраться в них, там ничего сложного) и жмем кнопку "Добавить аккаунт".
Все письма начали потихоньку загружаться в новый ящик, а мы пока поедем дальше :)

2. Наш любимый блог :)
2.1. В старый блоге идем в "Настройки" в раздел "Разрешения", жмем кнопку "Добавить авторов", в появившемся поле вводи свое новое гугломыло и жмем кнопку "Пригласить".
2.2. Проверяем мыло, перходим по линку, который в соответствующем письме.
2.3. Вводим логин и пароль и жмем кнопку "Принять приглашение"
2.4. В старом блоге в разделе настроек "Разрешения" выставляем права "администратор" для нового аккаунта.
2.5. Все :)

3. Блокнот
3.1. В старом аккаунте выбираем первый блокнот из имеющихся и жмем линк "Параметры доступа".
3.2. В соответствующем поле вводим адрес нового мыла и жмем "Сохранить".
3.3. Повторяем п.п.3.1-3.2. для всех остальных блокнотов.
3.4. Проверяем новую почту и переходим по ссылкам, которые будут в письмах.
3.5. Заходим в новый аккаунт в блокноты и видем что там есть блокноты из старого аккаунта.

4. Календарь
4.1. В старом аккаунте идем в "Настройки" и переходим на закладку "Календари".
4.2. Если календарей несколько, то нижеперечисленные действия надо выполнить для каждого.
4.3. Жмем линк "Открыть доступ к календарю".
4.4. Вводим адрес нового мыла и в выпадающем списке справа выбираем "Вносить изменения + предоставлять доступ", а потом жмем кнопку "Добавить".
4.5. Проверяем новую почту и переходим по ссылке, которая в письме.
4.6. Теперь календарь(и) в новом аккаунте.

5. Документы
5.1. В документах страрого аккаунта влевой части выбираем "Все записи".
5.2. Жмем внизу линк "Все ХХХ" (ХХХ - кол-во документов), вправой части.
5.3. Теперь "Дополнительные действия" -> "Сменить владельца".
5.4.1. У две электронные таблицы не захотели переноситься, поэтому их просто скопипастил.
5.5. Вводи мыло нового аккаунта и жмем кнопку "Сменить владельца". У меня с первого раза не прокатило, т.е. не все документы переносились, нажимал эту кнопку несколько раз.
5.6. Если у вас документы не одним скопом, а разложены по папкам, как сейчас у меня, то лучше делать так:
5.6.1. В новых документах создать всю структуру папок как в старых документах (папки не переносятся).
5.6.2. В старом аккаунте войти в первую папку и выделить все докуметы, затем перенести в новый аккаунт, как это было описано выше.
5.6.3. В новом аккаунте переместить эти документы в нужную папку.
5.6.4. Повторить пп.5.6.1-5.6.3 для всех остальных папок.
5.7. Теперь доки в новом аккаунте.

6. Читалка новостей, т.е. Google Reader
6.1. В старом аккаунте идем в "Настройки" на закладку "Импорт и экспорт", жмем ссылку "Экспорт подписок в виде файла OPML"
6.2. В новом аккаунте повторяем тоже самое, только импортируем OPML файл.
6.3. Все. У меня даже папки перенеслись :)

7. Picasa Web
7.1. В старом аккаунте заходим в первый альбом, жмем кнопку справа "Совместный доступ".
7.2. Вводим новое мыло и жмем отправить.
7.3. Повторяем пункты 7.1.-7.2. для каждого альбома. Теперь они будут в новом аккаунте в избранном.
7.4. Одно НО(!) - Это не полноценный перенос :( Для полноценного переноса нужно скачать и установить программу Picasa, слить из старого аккаунта фотки и загрузить их в новый.

8. Google Analytics
8.1. В старом аккаунте заходим в "Настройки Google Analytics".
8.2. Жмем линк "Изменить" для первого профиля.
8.3. Опускаемся вниз и жмем линк "+ Добавить пользователя".
8.4. Вводим новое мыло и ниже в поле "Тип доступа" выбираем "Администратор аккаунтов" и жмем кнопку "Сохранить изменения".
8.5. Повторяем пункты 8.2.-8.4. для остальных профилей.
8.6. Проверяем мыло, переходим по линку, наслаждаемся :)


Всё! :) Другие сервисы я не переносил, т.к. не было нужды. Но делается все аналогичны образом. Удачи :)



ЗЫЖ: Все писал по памяти, поэтому возможно не везде надо будет подтверждать что-либо по мылу. Если мыло не пришло попробуй просто войти в блог/календарь/блокнот/т.д. и посмотреть, не поясилось ли чего нового. В противном случае запроси подтверждение повторно.

Дом для spam-check'ера

Решил сделать не большой сайтег для своего скрипта spam-check.

Адресог: http://spamcheck.angel2s2.googlepages.com/

RSS пока не прикречивал, да и не знаю, буду ли вообщем его прикручивать. Все новости скрипта всегда будут в блоге и на сайте.

Сайт пока в тестовой стадии, многое еще предстоит добавить, но это уже по мере возможности и времени...

Жду комментов, мнений, критики =)


ЗЫ: После нового года планирую обновить скрипт, добавить кое чего...



UPD: Последнюю версию скрипта можно взять тут -> https://code.google.com/p/spamcheck/

Автоматизация проверки своего IP по спам базам. Вершин ту.

Не так давно я выкладывал собственноручный скрипт для автоматической проверки своего IP по спам базам. Там было всего 11 баз. Да и работал он через http, что естественно не очень хорошо...
Но есть способ получше =)

И заключается он в том, чтобы обращаться к DNSBL напрямую. =)
Делается это просто, вот пример:

host -t TXT 4.3.2.1.xbl.spamhaus.org

тут 4.3.2.1 - это IP адрес задом наперед, а xbl.spamhaus.org - один из многочисленных DNSBL =)
В результате получим ответ:

Host 4.3.2.1.xbl.spamhaus.org not found: 3(NXDOMAIN)

что говорит о том, что хост с IP адресом 1.2.3.4 в этой базе не числится.
А если сделаем такой запрос:

host -t TXT 79.35.217.90.xbl.spamhaus.org

то получит ответ:

79.35.217.90.xbl.spamhaus.org descriptive text "http://www.spamhaus.org/query/bl?ip=90.217.35.79"

что явно указывает, что это IP адрес числится в спам базе. Даже ссылку дают, куда надо сходить в гости, чтобы тебя пожалели и удалили твой IP из этой спам базы :)

Человек по "имени" darkk (http://darkk.net.ru/) поделился со мной замечательной ссылкой http://www.robtex.com/. Замечательна она тем, что этот сайт знает более 100 DNSBL и, естественно, позволяет проверить свой IP. Но кому будет оходта заходить каждый день на этот сайт, вбивать свой IP и ждать результатов? Естественно хочется этот процесс как можно лучше автоматизировать и забыть про это дело. А вспоминать, только тогда, когда IP, какого-то фига, попал в какую-то спам базу.
Вот для этого я и написал этот скрипт.

Вот что он умеет:

Использование:
spam-check [-u] [[-e] [-g] [-s]] | [-v] | [-q] -p IP [IP2 [... [IPn]]]
spam-check -i input_file [-u] [[-e] [-g] [-s]] | [-v] | [-q] -p IP [IP2 [... [IPn]]]
spam-check -a dnsbl [-u] [[-e] [-g] [-s]] | [-v] | [-q] -p IP [IP2 [... [IPn]]]
spam-check -d [-u]

-u - Разрешить запуск скрипта от root'а
-e     - Показывать сообщения об ошибках
-g     - Показывать успешные проверки (НЕ СПАМ)
-s     - Не показывать не успешные проверки (СПАМ)
-v     - Выводить все
-q     - Ничего не выводить
-p     - IP адрес (можно указывать несколько IP, через пробел)
-i     - Файл со списком dnsbl-серверов
-a     - Проверить по указанному dnsbl
-d     - Вывести список всех dnsbl-серверов
-V     - Вывести версию
-h     - Показать справку

Особенности:
1. По умолчанию выводятся только не успешные проверки (СПАМ)
2. -g, -e и -s можно комбинировать.
3. -g, -e и -s нельзя использовать одновременно с -v и -q.
4. -v и -q одновременно использовать нельзя.
5. -p IP [IP2 [... [IPn]]] должен быть последним параметром.
6. -q абсолютно ничего не выводит.
7. Скрипт всегда возвращает следующие коды звершения:
0   - данного IP в спам базе нет;
1   - данный IP присутствует в спам базе;
255 - ошибка в параметре, запрошена справка/версия;
ошибки ответов от серверов не влияют на код завершения.
8. Если задано несколько IP и хоть один из них окажется хоть в кой-то спам базе, то код завершения будет равен 1.

В общем думаю тут и так все понятно. Скажу только, что ключ "-i" сделал на случай, если сервер http://www.robtex.com/ по какой-то причине откажется отдавать скрипту список DNSBL-серверов. А сохранить этот список предварительно можно так:

spam-check -d > dnsbl.list

или взять тут. А скрипт можно взять тут.

Если будут просьбы, сделаю порт для винды.



ЗЫ: Хочу выразить благодарность:
slash - указал на досадную ошибку с psbl.surriel.com (0.1.x)
Tenno Seremel - помог с правильным запросом для wget (0.1.x)
ramok - помог многими советами (wget, sed, dnsbl, printf) (0.1.x & 0.2.x)
darkk - помог с документацией по dnsbl и поделился ссылкой на сайт http://www.robtex.com/, указал на mktemp (0.2.x)


UPD: Добавил mktemp и защиту от запуска под рутом, а т.ж. опцию -u для разрешения запуска под рутом.



UPD: Последнюю версию скрипта можно взять тут -> https://code.google.com/p/spamcheck/

Автоматизация проверки своего IP по спам базам

Кто-то админит локальную сеть, кто - веб-сервер, а кому-то, как и мне, приходится админить почтовый сервер... Такие админы знают каково бывает не сладко, когда их компания делает рассылку своим клиентам, т.к. очень часта в таких случаях их сервер (точнее IP сервера) попадает в спам базы...

Вот нам и приходится периодически проверять свой IP по спам базам, чтобы письма ходили всегда хорошо. Но проходить вручную по десятку спам-баз и вводит везде свой IP для проверки очень даже утомляет... Поэтому я решил автоматизировать этот процесс bash-скриптом.

Работа скрипта проста:

spam-check 22.22.22.22

В результате мы увидим следующее:

[OK]  - spamcop.net  - 22.22.22.22 not listed in bl.spamcop.net.
[OK]  - njabl.org  - 22.22.22.22 not found in the list.
[OK]  - www.five-ten-sg.com - 22.22.22.22 is not listed here.
[-No Lookup-] - junkemailfilter.com - ERROR - Reverse DNS Lookup Failed for [22.22.22.22]. 22.22.22.22 is NOT LISTED in any Hostkarma list.
[OK]  - mail-abuse.com - The IP address entered was not found on any database managed by Trend Micro's Network Reputation Services.
[OK]  - apews.org  - We found no entry matching your search. 
[OK]  - psbl.surriel.com - The host 22.22.22.22 has never been listed in PSBL.
[OK]  - psbl.surriel.com - We have no spamtrap mail on record for 22.22.22.22.
[OK]  - wpbl.info  - 22.22.22.22 not found in database.

Поле

[-No Lookup-] - junkemailfilter.com - ERROR - Reverse DNS Lookup Failed for [22.22.22.22]. 22.22.22.22 is NOT LISTED in any Hostkarma list.

говорит о том, что сервер не смог разрешить IP в доменное имя. Это единственный сервер из этого списка, который делает такую проверку, поэтому я ее включил.


Если же IP в спам базе, то мы увидим следующее:

$ spam-check 90.217.35.79
[+++SPAM+++]    - spamcop.net           - 90.217.35.79 listed in bl.spamcop.net (127.0.0.2).
[OK]            - njabl.org             - 90.217.35.79 not found in the list.
[OK]            - www.five-ten-sg.com   - 90.217.35.79 is not listed here.
[+++SPAM+++]    - junkemailfilter.com   - Your reverse DNS is correct! - 5ad9234f.bb.sky.com. 90.217.35.79 is Black listed.
[+++SPAM+++]    - mail-abuse.com        - The IP address 90.217.35.79 does appear on the following databases managed by Trend Micro's Network Reputation Services.
[OK]            - apews.org             - We found no entry matching your search. 
[+++SPAM+++]    - psbl.surriel.com      - Currently listed in PSBL?  Yes.
[+++SPAM+++]    - psbl.surriel.com      - Received spamtrap mail for 90.217.35.79.
[+++SPAM+++]    - wpbl.info             - Total spam sightings (last 90 days) - 4.

Возможно, некоторые удивлятся, что в этом списке нет довольно известной спам базы http://www.spamhaus.org/, но дело в том, что у меня не получилось сделать работу с ней через скрипт. Дело в том, что сервер http://www.spamhaus.org/, скорее всего, проверяет поле UserAgent браузера, я пробовал воспользоваться параметром -U утилиты wget, но результат это не дало. Буду очень признателен, если кто-нибудь поможет и с ним разобраться.


Ну и конечно-же сам скрипт, как же без него :)


Вот и все, чем я хотел поделиться с вами на этот раз, коллеги :)

ЗЫ: Если кто найдет ошибки, прошу меня уведомить, в комментах или по мылу на saimon.ghost [гав-гав] Гмыл0 [тут_точка] ком (защита от спама :-Р ).


UPD: Сделал новый скрипт, на много лучше, подробности тут.



UPD: Последнюю версию скрипта можно взять тут -> https://code.google.com/p/spamcheck/

Перенести почту с локального компа на Gmail

В журнале ][akep за май 2008 в раздезделе FAQ была заметка о том как перенести почтовую базу со своего компа на Gmail-аккаунт.

Вот что было написано в журнале (точнее было написано не это, это только смысл):

Если в качестве клиента используется Microsoft Outlook, Outlook Express или Thubderbird, то подойдет специальная утилита Google Email Uploader.

А вот про The Bat! было сказано, что решения не существует. Но так-как мне приходилось переносить письма из The Bat! в Thubderbird, то и решение созрело сразу же.

А решение просто:
Для The Bat! нужно экспортировать все папки писем в формате Unix-ящика, удалить расширение (.mbx) и скопировать их в папку Thunderbird, в которой он хранит базу писем. После чего стоит запустить Thunderbird и пройтись по всем "новым" папкам. Далее можно выгружать письма на Gmail с помощью программы Google Email Uploader.

Надеюсь кому-нибудь да поможет. =)


ЗЫ: Огромное спасибо "хакерам" за столь ценную инфу, опубликованную в журнале.