数据库基本概念简介

MySQL 为关系型数据库(Relational Database Management System), 这种所谓的"关系型"可以理解为"表格"的概念, 一个关系型数据库由一个或数个表格组成, 如图所示的一个表格:

• 表头(header): 每一列的名称;
• 列(row): 具有相同数据类型的数据的集合;
• 行(col): 每一行用来描述某个人/物的具体信息;
• 值(value): 行的具体信息, 每个值必须与该列的数据类型相同;
• 键(key): 表中用来识别某个特定的人\物的方法, 键的值在当前列中具有唯一性。

键                就是数据表中的列或者列的组合。
主键          表中可以唯一确定本表中某行记录的列或者列的组合。
                  例如或者身份证号码唯一确定一个人；用户ID+发票号码唯一确认某次交易。
外键          表中的某列或者某些列的组合是其他表的主键。
                  其作用是为了建立和其他表的关联关系。
连接          将几个个有关联的表（其中一个表的主键是其他表的外键）建立连接关系，形成一个临时表以供它用。
                  建立连接的主键/外键是建立连接的依据。
内连接    将进行连接的表以建立连接的依据为中心，将这些表取交集，交集就是内连接的结果。
                  作用就是找出在两张表中都有的记录。
外连接    连接的动作和内连接一样，结果不同。将表进行交集之后，取交集中的记录以及某表中除交集之外的所有记录。包括左连接和右连接。
                  例如A表左连接B表，实际上就是取交集在B表中所有字段的值+A表内容。
自连接    连接动作同上，只不过是在一张表中进行。
                  这样的情况适用于表中的2个字段互相有关联，并且要对这种关联进行处理时。

首先看看各种键的定义：

超键(super key):在关系中能唯一标识元组的属性集称为关系模式的超键

候选键(candidate key):不含有多余属性的超键称为候选键

主键(primary key):用户选作元组标识的一个候选键程序主键

外键(foreign key)如果关系模式R1中的某属性集不是R1的主键，而是另一个关系R2的主键则该属性集是关系模式R1的外键。

结合实例的具体解释：

假设有如下两个表：

学生（学号，姓名，性别，身份证号，教师编号）

教师（教师编号，姓名，工资）

超键：

由超键的定义可知，学生表中含有学号或者身份证号的任意组合都为此表的超键。如：（学号）、（学号，姓名）、（身份证号，性别）等。

候选键：

候选键属于超键，它是最小的超键，就是说如果再去掉候选键中的任何一个属性它就不再是超键了。学生表中的候选键为：（学号）、（身份证号）。

主键：

主键就是候选键里面的一个，是人为规定的，例如学生表中，我们通常会让“学号”做主键，教师表中让“教师编号”做主键。

外键：

外键比较简单，学生表中的外键就是“教师编号”。外键主要是用来描述两个表的关系。

python操作mysql数据库

python 标准数据库接口为 Python DB-API，Python DB-API为开发人员提供了数据库应用编程接口。

你可以访问Python数据库接口及API查看详细的支持数据库列表。

不同的数据库你需要下载不同的DB API模块，例如你需要访问Oracle数据库和Mysql数据，你需要下载Oracle和MySQL数据库模块。

DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各种各样的底层数据库系统和多种多样的数据库接口程序提供一致的访问接口 。

Python的DB-API，为大多数的数据库实现了接口，使用它连接各数据库后，就可以用相同的方式操作各数据库。

Python DB-API使用流程：

• 引入 API 模块。
• 获取与数据库的连接。
• 执行SQL语句和存储过程。
• 关闭数据库连接。

安装MySQLdb的过程略，能够把Scrapy装上，那这个就是小菜一碟·· 

数据库连接

连接数据库前，请先确认以下事项：

• 您已经创建了数据库 TESTDB.
• 在TESTDB数据库中您已经创建了表 EMPLOYEE
• EMPLOYEE表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
• 连接数据库TESTDB使用的用户名为 "testuser" ，密码为 "test123",你可以可以自己设定或者直接使用root用户名及其密码，Mysql数据库用户授权请使用Grant命令。
• 在你的机子上已经安装了 Python MySQLdb 模块。

创建数据库

###
#!/usr/bin/python

import MySQLdb

# 打开数据库连接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 
cursor = db.cursor()

# 如果数据表已经存在使用 execute() 方法删除表。
cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")

# 创建数据表SQL语句
sql = """CREATE TABLE EMPLOYEE (
         FIRST_NAME  CHAR(20) NOT NULL,
         LAST_NAME  CHAR(20),
         AGE INT,  
         SEX CHAR(1),
         INCOME FLOAT )"""

cursor.execute(sql)

# 关闭数据库连接
db.close()
###

数据库插入操作

###
#!/usr/bin/python

import MySQLdb

# 打开数据库连接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 
cursor = db.cursor()

# SQL 插入语句
sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
         LAST_NAME, AGE, SEX, INCOME)
         VALUES (‘Mac‘, ‘Mohan‘, 20, ‘M‘, 2000)"""
try:
   # 执行sql语句
   cursor.execute(sql)
   # 提交到数据库执行
   db.commit()
except:
   # Rollback in case there is any error
   db.rollback()

# 关闭数据库连接
db.close()

###

也可以写成

###
#!/usr/bin/python

import MySQLdb

# 打开数据库连接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 
cursor = db.cursor()

# SQL 插入语句
sql = "INSERT INTO EMPLOYEE(FIRST_NAME,        LAST_NAME, AGE, SEX, INCOME)        VALUES (‘%s‘, ‘%s‘, ‘%d‘, ‘%c‘, ‘%d‘ )" %        (‘Mac‘, ‘Mohan‘, 20, ‘M‘, 2000)
try:
   # 执行sql语句
   cursor.execute(sql)
   # 提交到数据库执行
   db.commit()
except:
   # 发生错误时回滚
   db.rollback()

# 关闭数据库连接
db.close()
###

数据库查询操作

Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。

• fetchone(): 该方法获取下一个查询结果集。结果集是一个对象
• fetchall():接收全部的返回结果行.
• rowcount: 这是一个只读属性，并返回执行execute()方法后影响的行数。

实例：

查询EMPLOYEE表中salary（工资）字段大于1000的所有数据：

###
#!/usr/bin/python

import MySQLdb

# 打开数据库连接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )

# 使用cursor()方法获取操作游标 
cursor = db.cursor()

# SQL 查询语句
sql = "SELECT * FROM EMPLOYEE        WHERE INCOME > ‘%d‘" % (1000)
try:
   # 执行SQL语句
   cursor.execute(sql)
   # 获取所有记录列表
   results = cursor.fetchall()
   for row in results:
      fname = row[0]
      lname = row[1]
      age = row[2]
      sex = row[3]
      income = row[4]
      # 打印结果
      print "fname=%s,lname=%s,age=%d,sex=%s,income=%d" %              (fname, lname, age, sex, income )
except:
   print "Error: unable to fecth data"

# 关闭数据库连接
db.close()
###

流程详解

提供的connect方法用来和数据库建立连接,接收数个参数,返回连接对象.，当然也可以隐式的传递参数，像下面这个样子：

conn=MySQLdb.connect("localhost","root","sa","mytable")

比较常用的参数包括

然后,这个连接对象也提供了对事务操作的支持,标准的方法

下面的代码是一个完整的例子.

###
#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s
sql="insert into cdinfo values(%s,%s,%s,%s,%s)"

#param应该为tuple或者list
param=(title,singer,imgurl,url,alpha)

#执行,如果成功,n的值为1
n=cursor.execute(sql,param)

#再来执行一个查询的操作
cursor.execute("select * from cdinfo")

#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple
cds=cursor.fetchall()

#因为是tuple,所以可以这样使用结果集
print cds[0][3]

#或者直接显示出来,看看结果集的真实样子
print cds

#如果需要批量的插入数据,就这样做
sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"

#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list
param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))

#使用executemany方法来批量的插入数据.这真是一个很酷的方法!
n=cursor.executemany(sql,param)
###

需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下conn.commit()方法进行提交.这样,数据才会真正保 存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,如果不用commit,那数据就不会保留在数据库中,但是,数据 确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.

参考： 1、http://www.cnblogs.com/mr-wid/archive/2013/05/09/3068229.html#d1

             2、http://www.cnblogs.com/kitty74jh/archive/2007/03/19/679823.html

             3、http://www.w3cschool.cc/python/python-mysql.html

             4、http://mysql-python.sourceforge.net/MySQLdb.html#using-and-extending

Scrapy爬虫笔记【6-连接数据库（一）】,布布扣,bubuko.com

Scrapy爬虫笔记【6-连接数据库（一）】