大容量邮件系统的设计与实现

出处：5DMail.Net收集整理作者：hefish@cz8.net 时间：2006-10-25 17:46:00

written by hefish@cz8.net 要转载请先通知作者

目的：指导读者去建立一个实用的，健壮的大容量的电子邮件系统。当然我的意思并不是说，根据本文就能建立起一套能与163.com，新浪等大型网站的邮件系统相匹敌的系统。163.com据说有2000多万用户，我们的系统没经过那么多用户的考验，如果真要承受那么多用户，估计肯定是有问题的。我们的定位是在10万用户以下的系统。这对绝大多数应用来说，已经是足够了。

windows or UNIX
不论微软如何吹嘘他的系统有多么的好。高端服务器市场里，从来就没有NT的份。所以，不用考虑了。UNIX!我们使用的是FreeBSD，因为从各方面看，它都是最稳定的，最高效的PC操作系统。

qmail or postfix
目前大容量邮件系统所用的MTA不外乎两种，qmail/postfix。qmail安装简单，配置方便，还有很多工具可以使用，比如说vpopmail, sqwebmail等，在这些方面，postfix显得很不尽人意。国内也有很多基于qmail的产品，都说是支持海量用户的。但是实际应用中，postfix却显示出极大的优越性。撇开别的不说，单说垃圾邮件问题。假如别人使用你的邮件服务器发垃圾邮件，肯定会有很多退信，很多地方的退信，退到你的服务器上来，这就相当于一次分布式攻击。实际情况测试下来，qmail对这样的情况，无能为力。在邮件队列里塞满很多很多待处理的邮件之后，qmail好像停止了工作。即便在清理qmail的邮件队列之后，qmail仍然不能恢复正常工作。postfix顺利地经受住了这样的考验，很快的处理掉了一些无用的信件，而且，即使是在负载很重的情况下，postfix仍然能顽强的工作。

开始
系统描述
平台：FreeBSD
MTA: Postfix
特性：1、使用mysql存储用户数据
2、支持每个用户的quota
3、支持smtp发信认证

准备的软件
FreeBSD (这里就不说怎么安装了，有很多文章可以参考) (http://www.freebsd.org/)
postfix 1.1.11 (http://www.postfix.org/)
mysql 3.23.51 (这里也不说怎么安装了) (http://www.mysql.com/ )
cyrus-sasl 1.5.27 （http://asg.web.cmu.edu/sasl/）
pwcheck for mysql补丁 hefish@cz8.net

设计数据库
首先要在mysql里面添加一个数据库，用来保存邮件账号的信息。这些信息至少要有这么多：用户名/密码（明码）/用户id/组id/用户的home目录/用户的邮件目录/用户邮箱大小。如果需要转发的话，还要另外添加转发表。内容至少包括：本地地址/转发地址。我们的用户表是这样设计的。（mysqldump的结果，加了注释)

CREATE TABLE `forward` (
`username` varchar(255) NOT NULL default '', //本机地址
`forward_addr` varchar(255) default NULL, //转发地址
PRIMARY KEY (`username`)
) TYPE=MyISAM;

CREATE TABLE `transport` (
`domain` varchar(255) NOT NULL default '', //邮件域
`transport` varchar(8) default NULL, //处理方式: virtual:
PRIMARY KEY (`domain`)
) TYPE=MyISAM;

CREATE TABLE `user` (
`username` varchar(128) NOT NULL default '', //用户名
`uid` int(6) NOT NULL default '0', //uid
`gid` int(6) default NULL, //gid
`clearpw` varchar(128) NOT NULL default '', //密码 (明文)
`home` varchar(255) NOT NULL default '', //home目录
`maildir` varchar(255) NOT NULL default '', //maldir目录
`quota` varchar(255) default NULL,
PRIMARY KEY (`username`),
UNIQUE KEY `username` (`username`),
KEY `username_2` (`username`)
) TYPE=MyISAM;

安装cyrus-sasl
postfix在做smtp发信认证的时候，要用到cyrus-sasl库，所以要先装这东西。在postfix的SASL_README文件里面，有详细的安装说明。这里我们只是说一些简单的步骤：
* 解压缩
tar zxvf cyrus-sasl-1.5.27.tar.gz
* 配置
cd cyrus-sasl-1.5.27
./configure --with-pwcheck=/var/pwcheck --enable-login --enable-plain
* 编译安装
make && make install
* 文档上还说要做一个/usr/local/sasl的连接，指到/usr/local/lib/sasl
ln -s /usr/local/lib/sasl /usr/local/sasl

安装postfix
我们这里安装postfix的时候，要加入三个支持，一个是mysql支持，另两个就是SASL和quota支持。根据postfix的README里面的叙述，我们这样来编译我们的postfix：
* 首先解压缩：
tar zxvf postfix-1.1.11.tar.gz
* 配置：
cd postfix-1.1.11
make -f Makefile.init makefiles 'CCARGS=-DHAS_MYSQL -I/usr/local/mysql/include -DUSE_SASL_AUTH -I/usr/local/include' 'AUXLIBS=-L/usr/local/mysql/lib -lmysqlclient -lz -lm -L/usr/local/lib -lsasl'
* 打quota补丁
cd ..
patch < postfix-1.1.11_quota_maildirsize.patch
* 编译：
make

编译完了之后，记得建立一个postfix用户，和postdrop组。别问为什么，反正postfix要用：
pw user add postfix
pw group add postdrop

然后就可以安装了，安装的时候用默认的设置就可以了。如果失败的话，可以尝试在提示"tempdir: "的时候，输入:/tmp，这样多半能安装成功。

配置postfix。
postfix的配置文件主要是/etc/postfix/main.cf 我们要做大致4部分的配置。
第一部分：最基本的配置
myhostname = mail.mydomain.com // 本机的机器名
mydomain = mydomain.com // 域名
mynetworks = 127.0.0.0/8, 61.132.98.120/29 // 允许不经smtp认证就能发信的ip段
home_mailbox = Maildir/ // 所使用的邮箱的格式mailbox/maildir，我们使用的是Maildir/注意最后有一个斜杠，不能少。
smtpd_banner = xxx mail system // smtp的欢迎信息。

第二部分：关于mysql配置
postfix的MYSQL_README文件中有一些说明，但是并不十分详细，对初学者很不够，我就来详细说一下mysql的配置。跟mysql有关的配置主要是以下几个。
transport_maps = mysql:/etc/postfix/transport.cf
virtual_mailbox_base =/
virtual_uid_maps = mysql:/etc/postfix/ids.cf
virtual_gid_maps = mysql:/etc/postfix/gds.cf
virtual_mailbox_maps = mysql:/etc/postfix/users.cf
virtual_maps = mysql:/etc/postfix/forward.cf
后面的mysql:/是指的获得值的方式。后面跟的是一个配置文件。根据这个配置文件里面的配置内容去访问mysql数据库，就能找到需要的值。先说一下各个配置项的含义。
transport_maps 指定哪些域的邮件，可以被postfix收下来。
virtual_mailbox_base 指定用户邮箱所在的根目录。
virtual_uid_maps 指定用户帐号的id (一般这个id跟系统中postfix用户的id一致)
virtual_gid_maps 指定用户账号的组id (一般这个id跟系统中postfix组的id一致)
virtual_mailbox_maps 指定用户邮箱所在的目录。
virtual_maps 指定自动转发邮件的设置。

配置文件的格式：(MYSQL_README文件里有说明)
user = someone //访问数据库用的用户名
password = somepass //访问数据库的密码
dbname = database_name //要访问数据库名
table = data_table //要访问的数据库中的表名
select_field = uid //要返回的字段
where_field = username //用于检索的字段
hosts = localhost //数据库主机的域名/IP
additional_conditions = //附加的检索条件

作为参考，我列出一些示例配置：
/etc/postfix/transport.cf:
user = postfix
password = <password for user:postfix>
dbname = postfix
table = transport
select_field = transport
where_field = domain
hosts = localhost

/etc/postfix/ids.cf:
user = postfix
password = <password for user:postfix>
dbname = postfix
table = user
select_field = uid
where_field = username
hosts = localhost

/etc/postfix/gds.cf:
user = postfix
password = <password for user:postfix>
dbname = postfix
table = user
select_field = gid
where_field = username
hosts = localhost

/etc/postfix/forward.cf:
user = postfix
password = <password for user:postfix>
dbname = postfix
table = forward
select_field = forward_addr
where_field = username
hosts = localhost

/etc/postfix/user.cf:
user = postfix
password = <password for user:postfix>
dbname = postfix
table = user
select_field = maildir
where_field = username
hosts = localhost

第三部分：quota的配置
主要的配置项有：
#add quota support
message_size_limit = 4000000 //单个邮件的大小限制，这里是4000000字节
virtual_mailbox_limit = 4000000 //默认的邮箱的大小。
virtual_mailbox_limit_maps = mysql:/etc/postfix/quota.cf //每个用户的邮箱大小
virtual_mailbox_limit_override = yes //是否允许覆盖默认的邮箱大小。

/etc/postfix/quota.cf:
user = postfix
password = <password for user:postfix>
dbname = postfix
table = user
select_field = quota
where_field = username
hosts = localhost

第四部分：smtp发信认证的配置。
首先配置sasl，根据postfix里面SASL_README的说明，先创建一个/usr/local/lib/sasl/smtpd.conf 里面的内容是一句话：pwcheck_method: pwcheck。这里我们使用pwcheck方法来实现SASL的认证过程。由于，cyrus-sasl自带的pwcheck只能实现系统账号的认证，所以要对这个pwcheck进行改造，让他支持mysql数据库。我做了一下，不是很难。把pwcheck_mysql.c下载来之后，复制到cyrus-1.5.27/pwcheck目录下。用gcc命令来编译。我是这样编译的：gcc -I.. -I/usr/local/mysql/lib/mysql -L/usr/local/mysql/lib/mysql -lmysqlclient -lm -lz -o pwcheck_mysql pwcheck_mysql.c
编译好了，就把pwcheck_mysql 复制到/usr/local/sbin/ 下，然后建立一个/var/pwcheck目录，设置目录的属性为0777，这是pwcheck的工作目录。

然后配置postfix。
在main.cf中间加入：
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $myhostname
smtpd_recipient_restrictions = permit_mynetworks permit_sasl_authenticated permit_auth_destination reject
smtpd_sasl_security_options = noanonymous
smtpd_client_restrictions = permit_sasl_authenticated

最后的配置：
在mysql数据库里面的transport表里面，加入一条数据，domain 为你邮件所在的域(mydomain.com)，transport为"virtual:"，然后在user表里加入一些数据。记住用户名要写全称(user@domain.com), 邮件目录要以Maildir/ 结尾，然后就启动postfix吧：postfix start。
从外部发一封信过来，postfix会自动创建一些不存在的邮件目录，然后把邮件放到Maildir/里面去。good luck。

后记

这里只是说了一下smtp的架设，一个完整的邮件系统，还应该包含很多东西。如pop3, imap, webmail等等。但是，解决了smtp，剩下的不是什么大问题。 pop3/imap我建议是用courier-imap，配置很简单。webmail我建议用中国人写的iGENUS。[完]

分享到：