SpamAssassin

Table des matières

• Introduction
• Faux positifs
• Faux négatifs
• Méthodes
• Tracabilité
• Razor
• Répertoires et fichiers de SpamAssassin
• Commandes et daemon SpamAssassin
• Commande spamassassin
• Daemon spamd
• Commande spamc
• Commande sa-learn
• Paramètres de configuration
• Introduction
• Tags utilisables dans les Rapports
• Classement par catégorie
• Classement alphabétique
• Versions de SpamAssassin
• SpamAssassin 3.1.0
• Liens

Introduction

Ce document décrit la configuration de SpamAssassin et des ses outils.

Avec la bonne configuration et un suivi rigoureux, SpamAssassin accompagné des extensions utilisés, peut arrêter 99% des spam.

Pour le téléchargement de SpamAssassin et pour plus de documentation, allez sur http://spamassassin.apache.org

Faux positifs :

On appelle "Faux Positifs", les courriers qui auront été considérés comme SPAM alors qu'ils n'en étaient pas.

Les faux positifs sont plus important que les faux négatifs car cela signifie qu'un courrier légitime ne sera pas délivré à son destinataire. Sur un volume important de courrier, il est tout à fait probable que personne ne s'en aperçoive car en règle général ont n'envoie pas de notification au destinataire et ont évite de le faire pour les expéditeurs qui ont pour la pluspart une fausse adresse Email.

Le critère principal qui donnera plus ou moins de faux positifs est le paramètre required_score.

Des statistiques sont fournies avec les fichiers sources, elles permettent de déterminer les probalités de "faux positifs" en fonction de la valeur donnée au paramètre "required_score" qui en standart est à 5.

Remarque : Les abonnements aux listes de diffusion génèrent facilement des faux positifs, il faut rapidement les identifier et les ajouter aux listes blanches de SpamAssassin (white-list).

Faux négatifs

On appelle "Faux Négatifs", les courriers qui n'auront pas été considérés comme SPAM alors qu'ils en étaient.

Les "faux négatifs" seront utiles pour améliorer l'efficacité du contrôle anti-spam mais encore faux t'il les identifier et savoir les utiliser à bon escient.

C'est à ce stade qu'interviennent les phases d'apprentissages

Méthodes

Il existe plusieurs façon de traiter les spam. La méthode exposée dans ce document, en est une parmit d'autres. La méthode de traitement des spam doit de toute façon suivre l'évolution des pratiques de spammers.

Méthode dépendant des utilisateurs :

Laisser l'utilisateur le choix de qualifier si un des messages reçus est un spam à travers des outils mis à sa disposition.

Dans le cas d'un système de messagerie compatible IMAP, l'utilisateur peut classer les spam dans un dossier dédié de façon à ce qu'un programme de récupération, télécharge et analyse ces messages pour enrichir la connaissance du système anti-spam.

Il faut se méfier des conséquences de ce mode opératoire :

• L'utilisateur va passer du temps à gérer des règles de filtrages.
• Il risque de définir comme spam, des messages correspondants à des abonnements (mailing-list) que d'autres utilisent.
• Cette méthode ne pourra être mise en oeuvre qu'au travers d'un client de messagerie modulable car des développements supplémentaires sont souvent nécessaires.

Méthode automatique sans intervention des utilisateurs :

L'automatisation consiste à mettre en place des filtres au niveau du serveur SMTP chargé de recevoir et d'envoyer les mails Internet. Les risques de faux-positif sont nombreux et le système anti-spam ne pourra être efficace sans la mise en oeuvre des phases d'apprentissage, chaque entreprise étant la cible de spam dont le contenu diffère.

Méthode mixte :

Dans cette méthode, l'utilisateur n'est solicité que pour l'apprentissage du système anti-spam.

• L'utilisateur place les messages non désirés, dans un dossier "SPAM" ou "POURIEL" de son client de messagerie.
• Un programme (client imap fetchmail) situé sur le serveur d'analyse, télécharge ces messages et les places dans un dossier ou une boite aux lettres locale, accessible par le système anti-spam.
• Un administrateur se charge à travers une lecture rapide des messages de définir ceux qui seront considérés comme spam par le logiciel d'apprentissage.
• Le logiciel d'apprentissage est lancé à intervale régulières ou en mode manuel par l'administrateur.

Tracabilité :

Parce-que le risque de message perdus est toujours possible, il faut veiller à tracer toutes les opérations concernant le système anti-spam. Pour éviter les appels récurrents des utilisateurs qui cherchent un message qu'il aurait dût recevoir, il est possible de mettre en place des procédures d'informations automatique qui peuvent les rassurer autant que les informer.

Exemple : Chaque jour, un programme automatisé, peut envoyer ou publier un rapport pour chaque utilisateur. Ce rapport contiendra une tableau des messages qui leurs étaient destinés et qui ont étés interceptés par le système anti-spam. Les trois champs par ligne nécessaires dans ce rapport sont : L'email de l'expéditeur, la date/heure, le sujet du message.

Pour améliorer ce système de reporting, il est possible d'ajouter une quatrième colonne contenant un lien (intranet) pointant vers le message archivé. Ces archives serait disponibles pendant une durée à définir. L'application intranet pourra permettre également à l'utilisateur de signaler que ce message ne doit pas être arrêté, il suffit d'un bouton dans le formulaire d'affichage du message archivé.

L'archivage et l'analyse des logs est essentiel pour assurer la traçabilité des messages.

Les serveurs SMTP comme postfix permettent également de stocker un exemplaire de chaque mail, avant traitement, sans perte d'information.

Razor :

Vipul's Razor est le pendant Open Source de Cloudmark, à l'attention des utilisateur de Linux et autres systèmes Unix. Il s'agit de la partie "libre" du réseau SpamNet, c'est-à-dire d'une interface Unix qui se connecte au réseau SpamNet pour bénéficier de son travail collaboratif et y participer.

Répertoires et fichiers de SpamAssassin

Remarque : la liste et l'emplacement des fichiers peut varier en fonction du mode d'installation (binaire ou source)

Commandes et daemon SpamAssassin

Commande spamassassin :

Cette commande permet d'effectuer une analyse de message en ligne de commande et de gérer les listes blanches et noires

# Syntaxe : 

spamassassin [options] < mailmessage > output 

spamassassin -d < mailmessage > 
 

spamassassin -r [-w addr] < mailmessage 

spamassassin -k [-w addr] < mailmessage 

spamassassin -W|-R < mailmessage

# Options : 

-P, --pipe                                      : OBSOLETE

-L, --local                                     : Test local seulement (pas de razor, rbl, etc...)

-r, --report                                    : Rapporte ce message comme Spam

-k, --revoke                                    : Annule la définition de ce message comme Spam

-w addr, --warning-from=addr                    : Envoi une notification Warning à l'expéditeur

-d, --remove-markup                             : Supprime le rapport de Spam du message

-C path, --configpath=path, --config-file=path  : Chemin du répertoire de configuration distribué 
                                                  Ex : /usr/share/spamassassin

--siteconfigpath=path                           : Chemin du répertoire de configuration "site" 
                                                  Ex : /etc/mail/spamassassin

-p prefs, --prefspath=file, --prefs-file=file   : Chemin du fichier de préférence utilisateur
                                                  Ex : ~/.spamassassin/user_prefs

-x, --nocreate-prefs                            : Ne pas créer le fichier de préférence utilisateur

-e, --exit-code                                 : Renvoi un autre code que zéro si le message est un Spam

-l filename, --log-to-mbox=file                 : Log le(s) messages dans un fichier au format Mbox

-t, --test-mode                                 : Pipe message through and add extra report to the bottom

--lint                                          : Lint the rule set: report syntax errors

-a, --auto-whitelist                            : Utilise la fonction de liste blanche automatique

-W, --add-to-whitelist                          : Ajoute toutes les adresses dans la liste blanche

--add-to-blacklist                              : Ajoute toutes les adresses dans la liste noire

-R, --remove-from-whitelist                     : Enlève de la whitelist tous les email trouvés dans le message 

--add-addr-to-whitelist=addr                    : Ajoute l'adresse "addr" dans la liste blanche

--add-addr-to-blacklist=addr                    : Ajoute l'adresse "addr" dans la liste noire

--remove-addr-from-whitelist=addr               : Supprime l'adresse "addr" de la whitelist

-M, --whitelist-factory                         : Select whitelist factory

-D, --debug [area=n,...]                        : Affiche message de debuggage 
                                                  Ex : spamassassin -D rulesrun=255

-V, --version                                   : Affiche la version de SpamAssassin

-h, --help                                      : Affiche l'aide de la commande

Remarque : Après la première utilisation de la commande spamassassin vous trouverez un répertoire ".spamassassin" dans votre répertoire utilisateur.

Exemples :

spamassassin < fichier.spam > rapport.txt

spamassassin --add-addr-to-whitelist=stephane.rault@espace-groupware.com

spamassassin --add-addr-to-blacklist=spammer@spam.com

spamassassin --remove-addr-from-whitelist stephane.rault@espace-groupware.com

Daemon spamd :

La daemon Spamd, permet d'éviter le chargement des modules perl à chaque analyse comme le fait la commande spamassassin.

Ce daemon est utilisable à travers la commande "spamc"

Commande spamc :

spamc est la version client/serveur de la commande spamassassin

Commande sa-learn :

# Syntaxe : 

sa-learn [options] [file]...

sa-learn [options] --dump [ all | data | magic ]

# Options : 

--ham                                           : Apprentissage d'un Ham (non-spam)

--spam                                          : Apprentissage d'un Spam

--forget                                        : Annulation d'un message déja analysé par Bayes

--rebuild                                       : Reconstruit la base Bayes si nécessaire

--no-rebuild                                    : Empêche la reconstruction de la base

--force-expire                                  : Force an expiry run, rebuild every time

--dump [all|data|magic]                         : Interroge la base Bayes (all ou data ou magic)

--dbpath /var/amavis/.spamassassin/bayes        : Chemin de la base Bayes. 
                                                  Même format que le parametre bayes_path

--regexp re                                     : Définit un critère de recherche pour l'option --dump data

-f file, --folders=file                         : Lit la liste des fichiers et répertoire à analyser 
                                                  à partir d'un fichier

--dir                                           : Option inutilisé

--file                                          : Option inutilisé

--mbox                                          : Précise que la source analysé est au format Mbox

--showdots                                      : Affiche la progression pendant l'analyse

-L, --local                                     : Test local seulement (pas de razor, rbl, etc...)

--import                                        : Importe une base Bayes d'un ancien format

-C path, --configpath=path, --config-file=path  : Chemin du répertoire de configuration distribué
                                                  Ex : /usr/share/spamassassin

--siteconfigpath=path                           : Chemin du répertoire de configuration "site" 
                                                  Ex : /etc/mail/spamassassin

-p prefs, --prefspath=file, --prefs-file=file   : Chemin du fichier de préférence utilisateur
                                                  Ex : ~/.spamassassin/user_prefs

-D, --debug-level                               : Affiche message de debuggage 
                                                  Ex : spamassassin -D rulesrun=255

-V, --version                                   : Affiche la version de SpamAssassin

-h, --help                                      : Affiche l'aide de la commande

Exemples :

# sa-learn sans paramètre utilise les valeurs du fichier local.cf

# Apprentissage de tous les messages de la boite aux lettres locale "spam" :
[root@linux /]$ sa-learn --spam --mbox /var/spool/mail/spam

# Apprentissage du message "mailmessage" comme "ham" sans reconstruction de la base :
[root@linux /]$ cat mailmessage | sa-learn --ham --no-rebuild

# Apprentissage du message "msg1.txt" comme "spam" avec affichage de la progression, sans tests réseaux :
[root@linux /]$ cat msg1.txt | sa-learn --spam --showdots --local

# Affichage de toutes les statistiques de la base Bayes en mode debug :
[root@linux /]$ sa-learn --dump all --dbpath /var/amavis/.spamassassin/bayes -D

# Affichage des compteurs de la base Bayes :
[root@linux /]$ sa-learn --dump magic --dbpath /var/amavis/.spamassassin/bayes

# Affichage des statistiques de données de la base Bayes :
[root@linux /]$ sa-learn --dump data

# Vide le fichier journal et met à jour la base Bayes :
[root@linux /]$ sa-learn --rebuild

# Reconstruction de la base Bayes :
[root@linux /]$ sa-learn --rebuild

# Pour traiter une liste de fichier, mettre la liste dans un fichier unique et utiliser le "-f" pour préciser 
# à sa-learn ou il trouvera la liste des fichiers à analyser :
[root@linux /]$ find /var/test/spam -type f > /var/test/list-spam.txt
[root@linux /]$ sa-learn --spam --no-rebuild --showdots --local -f /var/test/list-spam.txt

Paramètres de configuration

Introduction

Remarque : Les paramètres comme la documentation correspondent à la version 2.63 de SpamAssassin

SpamAssassin répartis ses paramètres de configuration dans trois emplacements principaux :

• /etc/mail/spamassassin/local.cf
• /usr/share/spamassassin/*.cf
• ~/user_prefs

Remarque : Les emplacements peuvent changer d'une plateforme à l'autre.

Tags utilisables dans les Rapports :

Classement par catégorie

• Obsolètes - Version 2.63
• always_add_headers
• always_add_report
• clear_terse_report_template
• dcc_add_header
• defang_mime
• num_check_received
• pyzor_add_header
• report_header
• spam_level_char
• spam_level_stars
• terse_report
• use_terse_report
• Divers
• required_hits (obsolète)
• required_score (remplace required_hits)
• rewrite_subject
• subject_tag
• ok_locales
• ok_languages
• add_header
• remove_header
• more_spam_to
• all_spam_to
• require_version
• Sécurité
• allow_user_rules
• trusted_networks
• clear_trusted_networks
• Bayes
• use_bayes
• bayes_file_mode
• bayes_path
• bayes_auto_learn
• bayes_journal_max_size
• bayes_auto_expire
• bayes_expiry_max_db_size
• bayes_auto_learn_threshold_nonspam
• bayes_auto_learn_threshold_spam
• bayes_ignore_header
• bayes_min_ham_num
• bayes_min_spam_num
• bayes_learn_during_report
• bayes_use_hapaxes
• bayes_use_chi2_combining
• bayes_learn_to_journal
• RBL / DNS
• skip_rbl_checks
• dns_available
• rbl_timeout
• check_mx_attempts
• check_mx_delay
• Razor
• use_razor2
• razor_timeout
• razor_config
• DCC
• use_dcc
• dcc_timeout
• dcc_body_max
• dcc_fuz1_max
• dcc_fuz2_max
• dcc_home
• dcc_dccifd_path
• dcc_path
• dcc_options
• Pyzor
• use_pyzor
• pyzor_timeout
• pyzor_max
• pyzor_options
• pyzor_path
• White lists & black lists
• use_auto_whitelist
• auto_whitelist_factory
• auto_whitelist_factor
• auto_whitelist_path
• auto_whitelist_file_mode
• whitelist_from
• unwhitelist_from
• whitelist_from_rcvd
• def_whitelist_from_rcvd
• unwhitelist_from_rcvd
• blacklist_from
• unblacklist_from
• whitelist_to
• blacklist_to
• Règles / Rules
• header
• body
• describe
• score
• tflags
• uri
• version_tag
• fold_headers
• clear_headers
• rawbody
• full
• meta
• test
• Notifications / Rapports
• report_safe
• report_safe_copy_headers
• report_charset
• report
• clear_report_template
• report_contact
• unsafe_report
• clear_unsafe
• spamtrap
• clear_spamtrap_template
• SQL
• user_scores_dsn
• user_scores_sql_username
• user_scores_sql_password
• user_scores_sql_table
• user_scores_sql_field_username
• user_scores_sql_field_preference
• user_scores_sql_field_value
• user_scores_sql_field_scope

Classement alphabétique :

add_header

# Valeurs par défaut à partir de SpamAssassin 2.60 :

# Ajout d'une entête X-Spam-Flag contenant "YES" si c'est un Spam
add_header spam Flag _YESNOCAPS_

# Ajout d'une entête X-Spam-Status pour tous les messages 
add_header all Status "_YESNO_, hits=_HITS_ required=_REQD_ tests=_TESTS_ autolearn=_AUTOLEARN_ version=_VERSION_"

# Ajout d'une entête X-Spam-Level contenant N "*"
add_header all Level _STARS(*)_

# Entête spéciale utilisé par SpamAssassin. Ne pas supprimer ni modifier
add_header all Checker-Version SpamAssassin _VERSION_ (_SUBVERSION_) on _HOSTNAME_

all_spam_to

allow_user_rules

always_add_headers

always_add_report

auto_whitelist_factor

auto_whitelist_factory

auto_whitelist_file_mode

auto_whitelist_path

bayes_auto_expire

bayes_auto_learn

bayes_auto_learn_threshold_nonspam

bayes_auto_learn_threshold_spam

bayes_expiry_max_db_size

bayes_file_mode

bayes_ignore_header

bayes_journal_max_size

bayes_learn_during_report

bayes_learn_to_journal

bayes_min_ham_num

bayes_min_spam_num

bayes_path

bayes_use_chi2_combining

bayes_use_hapaxes

blacklist_from

blacklist_to

body

check_mx_attempts

check_mx_delay

clear_headers

clear_report_template

clear_spamtrap_template

clear_terse_report_template

clear_trusted_networks

clear_unsafe

dcc_add_header

dcc_body_max

dcc_dccifd_path

dcc_fuz1_max

dcc_fuz2_max

dcc_home

dcc_options

dcc_path

dcc_timeout

def_whitelist_from_rcvd

defang_mime

describe

dns_available

fold_headers

full

header

meta

more_spam_to

num_check_received

ok_languages

# Code ISO alphabétique de langues séparés par des espaces.

Exemple : ok_languages fr en de

af - Afrikaans
am - Amharic
ar - Arabic
be - Byelorussian
bg - Bulgarian
bs - Bosnian
ca - Catalan
cs - Czech
cy - Welsh
da - Danish
de - German
el - Greek
en - English
eo - Esperanto
es - Spanish
et - Estonian
eu - Basque
fa - Persian
fi - Finnish
fr - French
fy - Frisian
ga - Irish Gaelic
gd - Scottish Gaelic
he - Hebrew
hi - Hindi
hr - Croatian
hu - Hungarian
hy - Armenian
id - Indonesian
is - Icelandic
it - Italian
ja - Japanese
ka - Georgian
ko - Korean
la - Latin
lt - Lithuanian
lv - Latvian
mr - Marathi
ms - Malay
ne - Nepali
nl - Dutch
no - Norwegian
pl - Polish
pt - Portuguese
qu - Quechua
rm - Rhaeto-Romance
ro - Romanian
ru - Russian
sa - Sanskrit
sco - Scots
sk - Slovak
sl - Slovenian
sq - Albanian
sr - Serbian
sv - Swedish
sw - Swahili
ta - Tamil
th - Thai
tl - Tagalog
tr - Turkish
uk - Ukrainian
vi - Vietnamese
yi - Yiddish
zh - Chinese

ok_locales

en - Western character sets in general

ja - Japanese character sets

ko - Korean character sets

ru - Cyrillic character sets

th - Thai character sets

zh - Chinese (both simplified and traditional) character sets

pyzor_add_header

pyzor_max

pyzor_options

pyzor_path

pyzor_timeout

rawbody

razor_config

razor_timeout

rbl_timeout

remove_header

report

report_charset

report_contact

report_header

report_safe

report_safe_copy_headers

require_version

required_score

rewrite_subject

score

skip_rbl_checks

spam_level_char

spam_level_stars

spamtrap

subject_tag

terse_report

test

tflags

trusted_networks

unblacklist_from

unsafe_report

unwhitelist_from

unwhitelist_from_rcvd

uri

use_auto_whitelist

use_bayes

use_dcc

use_pyzor

use_razor2

use_terse_report

user_scores_dsn

user_scores_sql_field_preference

user_scores_sql_field_scope

user_scores_sql_field_username

user_scores_sql_field_value

user_scores_sql_password

user_scores_sql_table

user_scores_sql_username

version_tag

whitelist_from

whitelist_from_rcvd

whitelist_to

Versions de SpamAssassin

SpamAssassin 3.1.0 :

Parmis les changements importants, la migration de certaines fonctions majeures devenues à présent des plugins.

Ces plugins sont activés/désactivés à partir du fichier /etc/mail/spamassassin/v310.pre

Parmis ces plugins, Razor2 et DCC qui ont été désactivés par défaut pour des questions de licences avec lesquels les concepteurs de SpamAssassin ne sont pas d'accord.

Liens

• Français :
• Configurer SpamAssassin
• CLX - Le filtrage de spam sous Debian GNU-Linux
• [Maxime Ritter] - Un excelent site
• Anglais :
• Beaucoup de règles à télécharger
• Aide à l'écriture de règles