本人Python大菜鸟，今天用python写了一个脚本。主要功能是获取贴吧指定贴子评论中留下的邮箱，通过系统的crontab每一分钟自动检测新邮箱并向其发送邮件，检测机制是去查询数据库的记录，也就是不会向已经发送过的邮箱再次发送邮件（当然如果有人连续留下两次邮箱，脚本会不断给他发送邮件，直到有人留下了新邮箱地址，这个也算是脚本的bug吧，不过谁让你连续留两次呢）。
运行环境是python2.6，centos6.3 64位
主文件main.py脚本内容如下：
import mysql_class
import cookielib
from email.mime.text import MIMEText
from email.MIMEMultipart import MIMEMultipart
import sys,urllib2,string,re,time,smtplib,json
def sendsimplemail(content,List,subject):
today = time.strftime('%m-%d')
msg = MIMEText(content)
msg['Subject'] = today + "\t" + subject
msg['From'] = 'xxx@xxx.com'
try:
smtp = smtplib.SMTP()
smtp.connect(r'127.0.0.1')
smtp.login('tank', 'tank')
smtp.sendmail('xxx@xxx.com', List, msg.as_string())
smtp.close()
except Exception, e:
print e
db=mysql_class.mySqlConn()
resall=db.GetFetch("select * from config")
for res in resall:
tieba_id=str(res[0])
myUrl="http://tieba.baidu.com/p/"+tieba_id
minIndex=int(res[1])
lastmail=res[2]
firstPattern=re.compile(r'(\?pn=\d+)$')
myUrl=re.sub(firstPattern,'',myUrl)
try:
print(time.strftime('%Y-%m-%d-%H-%M-%S:',time.localtime(time.time())))
'''count the totalpage'''
cj = cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
response=opener.open(myUrl)
myPage=response.read()
pagecount=re.compile(r'span class="red">(\d+)</span>')
match = pagecount.search(myPage)
if match:
totalpage=match.group(1)
maxIndex=int(totalpage)
'''count the mail addr'''
for i in range(minIndex,maxIndex+1):
index=myUrl.rfind(r'?pn=')
if index==-1:
myUrl=myUrl+r'?pn='+str(i)
else:
myUrl=re.sub(firstPattern,r'?pn='+str(i),myUrl)
print(myUrl)
response=opener.open(myUrl)
myPage=response.read()
myPage=myPage.decode('GBK')
myPage=myPage.replace(r'\r\n','')
if i == minIndex:
print 'go....'
lastmail_content=re.compile(lastmail+r'(.*)')
match = lastmail_content.search(myPage)
if match:
myPage=match.group(1)
else:
print 'not match'
pattern=re.compile(r'([a-zA-Z0-9]+@[a-zA-Z0-9]+\.?[a-zA-Z0-9]+\.+[a-zA-Z0-9]+)')
result=pattern.findall(myPage)
if result is not None:
#for email in result:
#print email
List = [email for email in result]
print List
file_object = open('/root/bin/tieba/mail_content.txt')
content=file_object.read()
file_object2 = open('/root/bin/tieba/mail_subject.txt')
subject=file_object2.read()
sendsimplemail(content,List,subject)
else:
print("not found")
if i == maxIndex:
lastmail=result[len(result)-1]
sql="UPDATE config SET pn_begin="+str(maxIndex)+",last_mail='"+str(lastmail)+"' WHERE tieba_id="+str(tieba_id)
db.Query(sql)
db.Close()
print('Suceed!!!')
except Exception as e:
print("something wrong or not new mailer")
其中用到了mysql_class，将python操作mysql写成一个类，放在同级目录下的mysql_class.py里（有一些方法没有用到），内容如下：
import MySQLdb
class mySqlConn:
"""This class is connect to mysql"""
def __init__(self, host="xxxxx", user="mail", password="mail123", db="mail"):
"""Construct function,
connect to mysql,
and set names utf8"""
self.__mqUser__ = user
self.__mqPass__ = password
self.__mqHost__ = host
self.__mqDb__ = db
try:
self.__conn__ = MySQLdb.Connect(user=self.__mqUser__, passwd=self.__mqPass__, host=self.__mqHost__, db=self.__mqDb__)
except:
print("Count not connect to MySQL server.")
exit(0)
self.__cursor__ = self.__conn__.cursor()
try:
self.__cursor__.execute("set names utf8")
except:
print("Excute `set names utf8` faild.")
exit(0)
def Query(self, sql):
""" Execute a sql """
try:
self.__cursor__.execute(sql)
except:
print(sql)
print("Sql excute faild!")
def GetMqCursor(self):
"""Get Mysql Cursor"""
return self.__cursor__
def GetFetchOne(self,sql):
"""Get fetch row"""
self.__cursor__.execute(sql)
return self.__cursor__.fetchone()
def GetFetch(self,sql):
"""Get fetch row"""
self.__cursor__.execute(sql)
return self.__cursor__.fetchall()
def Close(self):
"""Close the mysql connect"""
self.__conn__.commit()
self.__cursor__.close()
self.__conn__.close()
main.py还用到了发送邮件功能，邮件服务器是我自己搭建的postfix+saslauthed+cyrsu-imap,没时间自己弄邮件服务器的可以用第三方的发信功能（个人认为，没用Python测试过）。
数据库名mail，表名：config，表结构如下（主要是用来存放贴吧id，上次记录的帖子的最大页数，还有上次记录的最后一个邮箱）：
| Field | Type | Null | Key | Default | Extra |
+-----------+--------------+------+-----+---------+-------+
| tieba_id | varchar(100) | NO | PRI | 1 | |
| pn_begin | int(11) | NO | | 1 | |
| last_mail | varchar(100) | NO | | | |
+-----------+--------------+------+-----+---------+-------+
另外发信的标题和内容我是放在文本里的，这样方便更新(也是因为我发现直接写在程序里会乱码，知道怎么解决的请留言告诉我哦，感激不尽)。
发信标题文本：mail_subject.txt，内容省略啦。
发信内容文本：mail_content.txt,内容省略啦。
脚本经过本人测试可行，qq邮箱可以发送，编码也没有问题，但是163邮箱貌似会乱码，有知道的朋友请指教。
-------------------------------------------------------黄金分割线-------------------------------------------------------------------
嘿嘿，其实我是向贴吧里的人推荐给力的VPN的，借此机会也向你们推荐一下哈，NydusVPN，目前俺用过的最给力的，有需要的朋友试试看:官网地址