Как определяется спамность email-письма

Необязательные GET параметры:

• ip — ip адрес для проверки (IPv4 или IPv6 в стандартном текстовом виде виде)

• email — email адрес для проверки (Результат выдается за последние 6 месяцев)

• date — дата в формате YYYY-MM-DD, используется при необходимости указания конкретного дня, за который требуется подсчитать статистику (только для IP адресов.)
• email_<SHA256> — хэш SHA256 адреса email
• ip4_<SHA256>- хэш SHA256 адреса IPv4
• ip6_<SHA256>- хэш SHA256 адреса IPv6

Пример запроса c IP:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=stop_email@example.com&ip=127.0.0.1

Пример запроса c date:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&ip=127.0.0.1&date=2017-01-31

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631

Пример с хэшем адреса IP v4:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=12345&ip=ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074

Почему письма попадают в спам

Попадание писем в спам зависит от ряда факторов. Опытному администратору хватит 5—10 минут, чтобы исправить параметры домена. Тогда шанс, что рассылка дойдет до папки «Входящие», увеличится в несколько раз.

Перед началом работы, нужно определиться с терминами:

• Домен – это адрес сайта, отображаемый в поисковой строке браузера. Он состоит из названия и зоны (сайт.рф: сайт – имя, рф – страна, в зоне которой он зарегистрирован).
• DNS-записи – это информация о названии и входных данных в регистре доменов. Их используют, чтобы соединить серверы и не позволить мошенниками действовать от чужого имени.

Условия фильтрации

Вы можете комбинировать значения параметров для оценки спам-активности адреса. 

Пример: «appears» — это основной параметр на который вы можете ориентироваться. Ответ «appears»: «1» означает, что проверяемый адрес в данный момент находится в черных списках. Но адрес может и не быть в черных списках в данный момент и «appears» будет равен «0». Поэтому вы можете использовать дополнительные параметры API.

Что можно считать спамом:

• Если адрес имеет значение «appears»: «1»;
• Если адрес имеет значение «appears»: «0» и «spam_rate» больше чем «0,7»;
• Если адрес имеет значение «appears»: «0» и «spam_rate» больше чем «0,5», а дата последней спам активности была не более 30 дней назад;
• Если адрес имеет значение «appears»: «0», «spam_rate»: «1», «frequency»: «5» и больше, a «updated» не более 30 дней назад;
• Если адрес имеет значение «appears»: «0», «frequency»: «200» и больше, а «updated» не более 90 дней назад.

Вы должны оценить необходимые параметры и их комбинацию. Если вы хотите оценивать спам-активность только тех адресов, которые в данный момент находятся в черных списках, то достаточно использовать параметр «appears».

Черные списки

Чтобы удалить адрес из черного списка нужно обратиться в службу поддержки и объяснить проблему, привести доказательства. Но для этого нужно понять, какая именно платформа отнесла отправителя к нежелательным.

Для работы используются: Mail Tester и MX Lookup. 

Что делать, если выяснилось, что домен находится в черном списке:

1. Изучить требования всех используемых почтовых служб. Это нужно, чтобы доказать службе поддержке, что в работе не было нарушений.
2. Посетить сайт базы, которая внесла домен в блэклист и найти инструкцию по удалению адреса из спама.
3. Написать в саппорт после подготовки аргументов.

Рекомендации по очистке сайта от спама

От АГС-бана в Яндексе не застрахован никто, притом посчитать сайт спамным поисковик может в самый неподходящий момент. К счастью, такого рода возникшая проблема катастрофой отнюдь не является, – её можно даже расценить в качестве своеобразного шанса для улучшения веб-ресурса.

Которое при этом не требует никаких титанических усилий. Апгрейд для вывода страниц из-под спам-фильтра подразумевает:

1) Приведение в порядок контента на всех страницах.

Поисковые роботы включают в категорию спама не только плотность вхождения ключевиков в тексты. Сюда же могут быть отнесены неестественные по смыслу, искусственные словосочетания и смысловые конструкции. Исправить положение помогает редактирование, с учётом нескольких простых требований – тексты должны быть информативными, лёгкими к восприятию, понятными читателю.

2) Частотность ключевых слов

Сеошники старой закалки до сих пор уверены в том, что большое количество ключевиков положительно влияет на позиции в поисковой выдаче. Это не так, – искусственное увеличение тематической релевантности ведёт к переспаму. И робот, зашедший на страницу с целью проверить сайт на спам, его и обнаружит.

3) Внутренние ссылки

Перелинковка на различные страницы сайта должна также выглядеть естественной. Рискованно перенаправлять посетителей ссылками со спамными анкорами (типа «купить ноутбуки Самсунг дешево в Москве») или проставлять в ссылке на главную страницу собственного же сайта ключевики. Перелинковки на главную лучше вообще избегать, так как поисковик может расценить её в качестве искусственного увеличения веса основной страницы.

4) Корректировка метатегов

Все описания и заголовки страниц должны выглядеть естественно, с прописанной в них полезной информацией. Не стоит спамить в метатегах ключевиками, – достаточно расставить три-пять релевантных теме страницы запросов.

5) Удаление спама в навигации

Наименования функциональных меню должны также смотреться органично. Не нужно прописывать в них уродливые по смыслу ключевики (вроде «сувениры из Санкт-Петербурга», «цветы оптом круглосуточно»), – это прямой путь под АГС-фильтр.

Virusdie – избавление от спама на сайте в несколько кликов

Проверить сайт на спам онлайн можно вручную, одним из способов, описанных выше. А можно доверить это дело специализированному сервису, который эффективно мониторит все проблемы в режиме реального времени.

Из наиболее продвинутых, рекомендуемых профессионалами к использованию антивирусных сканеров выделяется продукт от компании Virusdie.

Это полнофункциональный антивирусник, защищающий от вирусов, несанкционированных атак и вообще всех проблем, связанных с поражениями сайта вредоносным кодом.

Среди основных инструментов Virusdie обнаруживается и проверка на наличие того или иного веб-ресурса в чёрных списках поисковиков. После установки программного обеспечения, сервис в автоматическом режиме контролирует состояние дел. Уведомления о возможных конфликтах с поисковиками настраиваются в зависимости от устанавливаемого владельцем сайта интервала – через каждые 6, 12 или 24 часа ежедневно.

Проверка сайта на спам – это не прихоть, а осознанная необходимость, в особенности для тех, кто уже сталкивался с неприятными моментами санкций от поисковых машин. Даже один день простоя, недолгое выпадение сайта из рейтинговых топов ведёт к серьёзному падению трафика, а значит – и к снижению уровня продаж.

Virusdie всегда придёт на помощь. Антивирусный и антиспамный продукт не просто отслеживает проблемные страницы, но и предлагает ряд полезных рекомендаций, помогающих избавиться от спама на сайте раз и навсегда.

Что не любят спам-фильтры

Вкратце еще раз озвучу список, вдруг кто не знает:

• Ограничить использование восклицательных знаков в письме• не использовать КапсЛок (клавиша CapsLock , заглавные прописные буквы)• умеренное использование жирных и разноцветных шрифтов• желательно больше текста, чем картинок, и уж никак не письмо, состоящее только из одной картинки.• Не использовать стоп-слова (различные призывы к действию, которыми насыщены спамерские рассылки — купи, скачай, бесплатно, подарок, жми, заработай и т.п.)• должны присутствовать ссылки для отписки и информация, откуда получен адрес получателя.• рассылку следует вести от имени своего домена, а не gmail.com или yandex.ru• письма должны содержать ссылку на отписку и информацию о том, как был получен данный электронный адрес• следует чистить базу от несуществующих адресов, т.к. рассылка по неактуальной базе занесет вас в черные-списки спам-листов• не стоит пользоваться базами е-мейл, скачанными или собранными с интернета, таким образом в вашу базу может попасть спам-ловушка — это несуществующий эл. адрес, созданный самими почтовыми службами для отлова недобросовестных веб-мастеров. Такой адрес самостоятельно никогда не сможет подтвердить свое согласие на подписку, следовательно это самая прямая дорога в черный спам-список, репутация домена будет вмиг испорчена, а выйти из черного списка задача часто непосильная.

… список можно слегка дополнить)

 Так вот, рекомандации вроде соблюдены, но тестовая отправка по своим же адресам почему-то отправляла письмо в спам. 

Поэтому в таких случаях возникает мысль поискать сторонние онлайн-сервисы проверки писем на заспамленность.

API возвращает JSON строку, например:

Copy all

{"data":{"127.0.0.1":{"network_type":"unknown","country":"","appears":0,"frequency":0,"sha256":"12ca17b49af2289436f303e0166030a21e525d266e209267433801a8fd4071a0"},"stop_email@example.com":{"frequency":1001,"updated":"2021-02-22 12:06:14","spam_rate":0,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1,"disposable_email":1,"sha256":"6d42ca0235d72b01a2b086ad53b5cfac24b5a444847fad70250e042d7ca8bf59"}}}

Copy all

{"data":{"email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631":{"frequency":4,"updated":"2018-10-31 00:07:21","spam_rate":1,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":0,"disposable_email":1}}}

Для хэша адреса IP v4:

Copy all

{"data":{"ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074":{"frequency":13626,"updated":"2019-05-15 05:01:23","spam_rate":1,"network_type":"hosting","country":"GB","frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1}}}

Расшифровка ответа:

data — обычно массив проверенных записей представлен в следующем формате: «record»: {массив проверенных результатов}. Иногда ответ «data» возвращает строку «In progress», это означает, что параллельный PHP-процесс работает с точно такими же параметрами — auth_key, method_name и records.

Важно! Ответ «In progress» является значимым его следует учитывать, так как если вызов API содержит большое количество элементов, то они могут быть проверены частично и выдастся ответ «In progress». Только при повторном вызове будут проверены все оставшиеся элементы

Массив с проверенными записями содержит следующие поля:

• appears — флаг присутствия в черных списках (показывает блокировку на настоящий момент),

• sha256 — хэш sha256 адреса
• network_type — принадлежность к определенному типу сети (возможно в дальнейшем добавятся новые типы):

• spam_rate — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов),
• country — буквенный код страны, которой принадлежит IP адрес, в формате ISO 3166-1 alpha-2
• exists — существует ли данный email (0 — не существует, 1 — существует, null — пустой статус, адрес не находится в списках в данный момент),
• disposable_email — является ли данный email временным (0 — обычный, 1 — временный, null — пустой статус, адрес не находится в списках в данный момент),
• frequency — количество сайтов отметивших запись как спам. Может быть от 0 до 9999 (показывает всю активность с самого начала обнаружения адреса),
• frequency_time_10m — активность за 10 минут (показывает сколько попыток спама было зафиксировано),
• frequency_time_1h — активность за 1 час (показывает сколько попыток спама было зафиксировано),
• frequency_time_24h — активность за 24 часа (показывает сколько попыток спама было зафиксировано),
• in_antispam — IP адрес найден в чёрном списке антиспама,
• in_security — IP адрес найден в чёрном списке безопасности (brute-force),
• domains_count — число доменов, найденных на IP адресе.

В случае указания параметра «date» данные ответа приводятся только на указанную дату. Посредством POST запроса можно за один раз отправить на проверку до 1000 записей.

Если не было активности с адреса в течение 14 дней, то запись удаляется из черных списков, но вся история остаётся.

Какие параметры определяют спамность письма

Современные почтовые сервисы, особенно крупные, такие как Gmail, Mail.ru, Яндекс.Почта и др., уже давно используют в работе сложные алгоритмы на основе эвристики, которые отрабатывают множество правил для защиты пользователей почтовых аккаунтов от получения нежелательных сообщений. Сюда можно отнести:

Наличие цифровых подписей и автоматических систем подтверждения владения доменным именем, таких как DKIM (DomainKeys Identified Mail), SPF (Sender Policy Framework) и DMARS (Domain-based Message Authentication, Reporting and Conformance)

Здесь важно выполнить технические требования к письму. То есть в коде электронного письма должны быть вставлены все необходимые атрибуты, на основании которых система автоматически проверит валидность отправителя

Любая попытка замаскировать или подделать адрес отправителя автоматически переводит отправление в категорию «спам».
Наличие стоп-слов в контенте письма. Алгоритм анализа содержимого письма проверяет наличие ссылок и текст. Если в контенте будут присутствовать слова или фразы-маркеры, которые характеризуют письмо как навязчивую рекламу, то с большой долей вероятности, оно автоматически попадет в категорию «спам». К таким стоп-словам (фразам) можно отнести: «купить/купи», «важно», «срочно», «бесплатно», «заработай», «скидка» и т.п. Одно или два стоп-слова могут быть пропущены системой, но большая их совокупность или увеличенное соотношение к количеству текста могут превысить порог, определяемый каждым сервисом индивидуально.
Подозрительное оформление текста в электронном письме. Это может быть обилие слов, написанных только заглавными буквами, выделение текста цветом, вообще отсутствие текстового содержимого (когда текст полностью заменяют изображением), ссылки на различные домены или использование сервисов сокращения ссылок, большое количество спецсимволов или других знаков препинания, используемых не по прямому назначению и др.
Наличие IP-адреса сервера, с которого осуществляется рассылка, или доменного имени отправителя в одном из черных списков, с которыми синхронизируется почтовый фильтр сервиса. Это могут быть такие общедоступные списки как: XBL, SBL, PBL или другие, а также закрытые черные списки, создаваемые самим почтовым сервисом. О спамности может также свидетельствовать наличие в контенте письма ссылок, ведущих на домены или IP-адреса из данных черных списков.
Отсутствие в письмах из массовых рассылок ссылки на страницу отписки. Некоторые сервисы, такие как Gmail позволяют использовать специальное поле для отписки (List-Unsubscribe — ссылка на страницу отписки или специальный адрес электронной почты), тогда при нажатии на кнопку «спам» получатель автоматически будет перенаправлен указанный адрес для отписки.
Различные политики сортировки писем на основе интересов конкретного пользователя. Они работают с учетом индивидуальных требований каждого клиента, обучаясь каждый раз после действий пользователя.
Другие технические аспекты к реализации массовых рассылок.

Некоторые технические аспекты при несоблюдении гарантированно относят отправление к спаму, а некоторые при превышении определенного порога или в совокупности с другими факторами.

Ввиду того, что в отношении компаний или отдельных клиентов, осуществляющих массовую рассылку электронных писем, применяются специальные системы начисления рейтинга для оценки качества рассылок, некоторые почтовые сервисы предоставляют специальные инструменты для изучения своей статистики и анализа эффективности проводимых мероприятий. Например, инструментарий Postmaster Tools для Gmail (почтовый сервис Google предоставляет в том числе и подробные сведения о технических требованиях к массовым отправлениям), панель контроля рассылок Postmaster.mail.ru, почтовый офис от Яндекса и другие.

Автор материала

Олег Легин
Эксперт по малому и среднему бизнесу. За плечами: крупный ритейл, складская логистика, маркетинг.

Как оформлять письма, чтобы они не попадали в спам

Владелец домена должен соблюдать ряд правил:

1. Указывать в письме тему, которая говорит о сути. Она не должна быть длинной (заполнять всю строку) и состоять не только из заглавных букв.
2. Не использовать корпоративный адрес.
3. Давать возможность отказаться от рассылки. Именно из-за этого многие службы относят письмо к спаму. Если получателю не интересно предложение, то пусть откажется от него. Иначе он может пожаловаться и понизить рейтинг отправителя.
4. Не отправлять письма слишком часто. Объемы зависят от отрасли и стиля текста, потому универсальных рекомендаций нет. Стандарт – 1-2 письма в неделю.
5. Предлагать интересный контент. Пользователю должно быть интересно читать рассылку, иначе репутация не будет расти. 
6. Не использовать только картинки. Письмо должно содержать текст: иначе будет приравнено к спаму.
7. Не изменять имя отправителя. Подписчик может не узнать организацию и перенести письмо в спам.

Рекомендуется распределять базу пользователей, чтобы сделать контент персонализированным и конверсионным.

Как не попасть в СПАМ

Давайте теперь перейдем к главному и поговорим о черных списках, о том как не попасть в спам и о IP-адресах ваших сайтов.

Все сейчас говорят, что почта должна быть на Вашем домене и это правильно. Но Ваш домен может быть в черных списках СПАМа и не факт, что это Ваша вина. Просто IP-адрес Вашего сайта можете быть быть еще у кучи других сайтов Вашего хостинга и если хотя бы один из сайтов попадет в черный список, то все сайты с этим IP, также будут в этом списке.

В таком случае, Ваши письма просто не будут доходить до Ваших подписчиков. Вот такие дела.

Ниже на картинке Вы увидите как выглядит список сервисов, которые формируют блек-листы (Blacklist) и то что указано стрелочками, это нам и говорит, что наш IP-адрес сидит в СПАМе. То есть если есть хотя-бы один красный значок, то это уже плохо.

Здесь я взял сайт, который делит один IP-адрес с 18 другими сайтами. Кто из этих 18 сайтов виноват, это вопрос другой. Главное то, что все эти 18 доменов будут в СПАМе, вот такие дела.

Этап второй. Наймите роботов

Теперь, когда все видимые ошибки устранены, время доверить проверку вашей рассылке автоматизированным сервисам.

Email Reach

Работа с данным сервисом основывается на проверке списка получателей письма. Он анализирует адреса из загруженного вами списка, а после тестирования сообщает, как письмо будет выглядеть на мониторе у того или иного получателя. Сервис также проверяет само содержимое письма (ссылки) и его html-код на наличие ошибок и возможных разногласий со спам-фильтрами. Это платный сервис, но и у него есть пробная бесплатная версия — в течение 24 часов можно проверить весь его функционал. Из недостатков: если в базе данных сервиса (а она немаленькая) нет сведений о работе с определенным почтовым клиентом, система не сможет протестировать ваше письмо.

Email Spam Test

Этим простым сервисом можно пользоваться абсолютно бесплатно. О его возможностях говорит само название — он проверит письмо на соответствие критериям спам-фильтров, не углубляясь в суть. Иногда может выявить ошибки в html-коде, ссылках, альтернативном тексте или теме письма. Алгоритм построен по принципу работы Spam Assasin Project, чьи требования используются в работе большинства спам-фильтров.

Puts Mail

Очень дружелюбное приложение, помогающее «прошерстить» html-код письма. Вы загружаете исходные данные, система отправляет вам тест-версию письма, проверяет код на наличие ошибок и может даже подсказать, в чем может крыться их причина (использование JavaScript-а, неправильно прописанный в HTML-коде CSS и многое другое). Сервисом можно пользоваться бесплатно.

Что влияет на репутацию отправителя?

• Технические настройки и репутация домена отправки;

• Контент писем, включая дизайн и верстку;

• Статистика рассылок по открываемости писем, переходам по ссылкам, количеству жалоб и отписок;

• Непосредственное качество базы;

• Наличие spam-ловушек с списках получателей. 

Разберем подробнее первый пункт в списке, а именно — технические настройки на домене отправки и проблемы с репутацией

Для хорошей доставляемости писем важно настроить собственные домены отправки и сбора статистики. Суть настройки заключается в добавление записей в DNS вашего домена, по которым почтовые провайдеры идентифицируют вас как отправителя

Это что-то вроде цифровой подписи. В сервисе Dashamail при настройке домена автоматически проверяются все репутационные аспекты, и, если вдруг мы обнаруживаем вас в каком-либо «черном списке», в личном кабинете появляется инструкция для решения этой проблемы. Предлагаем вместе разобраться, как проверить самостоятельно, есть ли ваш домен в спам-листах, и, если есть, как оттуда «унести ноги». 

Что такое заспамленность текста простым языком

Заспамленность можно сравнить с тошнотой. Эти два понятия тесно связаны друг с другом. Тошнота измеряется в процентах. Для  текстов разного предназначения показатели отличаются. Например, продающий, рекламный текст должен иметь минимальный процент тошноты.

Тошноту можно проверить на бирже уникального контента Адвего.  Оптимальный показатель 4-6%. Процент ключевых запросов должен быть не меньше 4 и не больше 6. самый оптимальный вариант для поисковых систем.  Если процент превышает показатель 6, то поисковые роботы оценивают контент как спам.

Более точно заспамленность определить можно на сайте text.ru.

В этой статье я описывал эти и другие биржи:

Биржи копирайтинга — 10 лучших площадок уникального контента

Что мы подразумеваем под понятием «заспамленность». Если чисто на пальцах объяснять, то заспамленность представляет собой частое повторение слов в текстовом документе. Не обязательно точные повторяющиеся вхождения, учитываются и однокоренные слова. Оптимальный процент заспамленности 30%. Для оптимизированных статей допускается предел в 60%. Однако, если текст имеет показатель более 60%, то страницу исключают из индекса.

Что такое заспамленность текста и вода

Наверняка многие слышали, что такое вода в тексте, зачем ты столько воды налил, студентам это точно известно. Так вот, водность, это, действительно, важная составляющая любой познавательной статьи.

Водность переизбыток слов, которые прописываются, дабы увеличить объем текста, а не передать смысл.

Рассчитывается вода по формуле: отношение стоп-слов к общему объему слов текста.

Стоп слова или шумовые слова:

• Фразы без смысловой нагрузки (к ним относятся и вводные слова), использующиеся в качестве вступления: в наше время, для начала, кажется, наверняка, я думаю, может быть, сегодня,
• Обращения к аудитории: добрый день, всем привет, здравствуйте, уважаемые посетители, уважаемые читатели,
• Местоимения, предлоги, числительные, написанные буквами, частицы, союзы, междометия, сокращения,
• слова задействованные для окраски, некоторые наречия, прилагательные,

Вода допустима в статьях развлекательного, повествовательного характера, когда вы рассказываете про то, как отдыхали. В информационных постах желательно стараться писать по делу.

Норма составляет 15% воды и меньше. 15-30%   это повышенная водность, 30-60% большой процент. А более высоких показателях говорить не станем, ибо такая статья не годится для продвижения по поисковым запросам.

Как уменьшить заспамленность текста и понизить процент воды

Теперь вы знаете, что такое заспамленность текста, что такое вода в тексте, как рассчитываются данные показатели и зачем вообще нужно над ними работать.

Сейчас расскажем вам про то, как уменьшить заспамленность текста и понизить процент воды.

Если значения спама не отвечают вашим запросам необходимо заменить часто встречающиеся слова синонимами или указателями (это, он, она). Кажется, что невозможно расспамить какую-то часть текста, то найдите повторяющиеся слова в другом абзаце. На крайний случай удалите заспамленный клочок статьи.

Воду убрать не так сложно, как спам. Достаточно удалить некоторый процент стоп-слов. Либо перефразируйте их. Но при таком редактировании могут возникнуть проблемы с уменьшением размеров текста

Это важно в том случае, если вы копирайтер и выполняете требовательный заказ

Не всегда просто  оптимизировать статью, пытаться угодить поисковому роботу и при этом дать максимально полезную информацию без лишней воды. С опытом угодить и алгоритму и