Python3 笔记

2022-02-22 09:18:57

Ubuntu18.04 Python3环境

默认python3已经安装了, 可能是安装其他应用的时候因为依赖关系安装的.

安装pip3, 先sudo apt update 一下, apt-cache search python3-pip 看看有没有, 如果没有的话检查一下/etc/apt/sources.list 是否正确, 可以参考以下的source.list

deb http://cn.archive.ubuntu.com/ubuntu/ bionic main restricted

deb http://cn.archive.ubuntu.com/ubuntu/ bionic-updates main restricted

deb http://cn.archive.ubuntu.com/ubuntu/ bionic universe

deb http://cn.archive.ubuntu.com/ubuntu/ bionic-updates universe

deb http://cn.archive.ubuntu.com/ubuntu/ bionic multiverse

deb http://cn.archive.ubuntu.com/ubuntu/ bionic-updates multiverse

deb http://cn.archive.ubuntu.com/ubuntu/ bionic-backports main restricted universe multiverse

deb http://security.ubuntu.com/ubuntu bionic-security main restricted

deb http://security.ubuntu.com/ubuntu bionic-security universe

deb http://security.ubuntu.com/ubuntu bionic-security multiverse

然后通过 sudo apt install python3-pip 安装

常用的通过pip3安装的package: pymongo,

常用语法

符号

// 双斜杠表示地板除, 即先做除法/, 然后向下取整floor. 至少有一方是float时结果为float, 两方都是int时结果为int

合并两个Dictionary

x = {'aa':1, 'bb':2, 'cc':3}

y = {'aa':5, 'xx':6, 'yy':7}

z = {**x, **y}

x.update(y)

print(x)

# 输出

{'aa': 5, 'bb': 2, 'cc': 3, 'xx': 6, 'yy': 7}

{'aa': 5, 'bb': 2, 'cc': 3, 'xx': 6, 'yy': 7}

两种方法都可以实现dictionary合并, 前者不会修改原先两个dictionary的值

逻辑判断

# 空, 非空

if (x is None)

if (not x is None)

# dictionary是否包含某key

if ('name' in x.keys())

if (not 'name' in x.keys())

字符串操作

# 赋值时会自动合并

y = 'Hello ' 'World'

print(y)

# substring, 截取从0到100(左边include, 右边exclude)的子串, slice方式不会报数组越界

print(y[0:3])

# Hel

print(y[0:100])

# Hello World

print(y[-2:])

# ld

用%号做字符串赋值

# 单个字符串

msg = "he is %s ,his hobby is play" %"xiaoming"

# 多个值

msg = "he is %s ,his hobby is %s" %("xiaoming","play")

# 百分号转义, 小数限位

tpl="percent %.2f %%" %78.7658943256

#键值对形式传字典

tpl="i am %(name)s age %(age)d" %{"name":"小明","age":"18"}

'''

%c 字符及其ASCII码

%s 字符串

%d 有符号整数(十进制)

%u 无符号整数(十进制)

%o 无符号整数(八进制)

%x 无符号整数(十六进制)

%X 无符号整数(十六进制大写字符)

%e 浮点数字(科学计数法)

%E 浮点数字(科学计数法，用E代替e)

%f 浮点数字(用小数点符号)

%g 浮点数字(根据值的大小采用%e或%f)

%G 浮点数字(类似于%g)

%p 指针(用十六进制打印值的内存地址)

%n 存储输出字符的数量放进参数列表的下一个变量中

'''

用format()做字符串赋值

# 按顺序赋值

tp1 = "i am {}, age {}, {}".format("seven", 18, 'alex')

# 指定序号赋值

tp3 = "i am {0}, age {1}, really {0}".format("seven", 18)

# 指定名称赋值, 右侧结构为字典

tp5 = "i am {name}, age {age}, really {name}".format(name="seven", age=18)

# 指定类型赋值

a1 = "numbers: {:b},{:o},{:d},{:x},{:X}, {:%},{:c}".format(15, 15, 15, 15, 15, 15.87623,65)

# 指定 序号 + 类型

a2 = "numbers: {0:b},{0:o},{0:d},{0:x},{0:X}, {0:%},{1:c}".format(15,65)

# 指定 名称 + 类型

a3 = "numbers: {num:b},{num:o},{num:d},{num:x},{num:X}, {num:%},{cc:c}".format(num=15,cc=65)

''' 可用类型

    ” 字符串类型 “的参数

        s，格式化字符串类型数据

        空白，未指定类型，则默认是None，同s

    “ 整数类型 ”的参数

        b，将10进制整数自动转换成2进制表示然后格式化

        c，将10进制整数自动转换为其对应的unicode字符

        d，十进制整数

        o，将10进制整数自动转换成8进制表示然后格式化；

        x，将10进制整数自动转换成16进制表示然后格式化（小写x）

        X，将10进制整数自动转换成16进制表示然后格式化（大写X）

    “ 浮点型或小数类型 ”的参数

        e， 转换为科学计数法（小写e）表示，然后格式化；

        E， 转换为科学计数法（大写E）表示，然后格式化;

        f ， 转换为浮点型（默认小数点后保留6位）表示，然后格式化；

        F， 转换为浮点型（默认小数点后保留6位）表示，然后格式化；

        g， 自动在e和f中切换

        G， 自动在E和F中切换

        %，显示百分比（默认显示小数点后6位）

'''

List, Tuple 和 Set

tuple是不可变的, 用括号赋值(也可以不用)

# tuple的赋值

tup1 = 'str1',

tup2 = ('str1',)

tup3 = 'str1', 'str2'

tup4 = ('str1', 'str2')
tup5 = ([1,2,3], 'aa', 12345)

list是可变的, list的操作与String很像, [a:b]实际上是对原数组的复制, 下面的代码就避免了操作原列表造成无限循环

for w in words[:]:  # Loop over a slice copy of the entire list.

    if len(w) > 6:

        words.insert(0, w)

list可以使用[[...]] 直接指定下标获得一个副本子序列, 里面的[...]也可以是表达式生成的list

# 直接下标获取子序列copy

iris_X_train = iris_X[[0,1,2,3]]

# 通过list表达式指定

iris_X_train = iris_X[indices[:-10]]

.对list做运算, 都是直接对list内的元素作运算, 例如, 求得list中每一个元素的平方, 最后得到的也是同样元素个数的list

# 求方差

square_error = (iris_y_result - iris_y_test)**2

常用内置函数

bin(x) 将一个整数转换为二进制值的字符串, 以 0b 开头(如果是负数则是 -0b)

enumerate() 用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列, 同时列出数据和数据下标, 一般用在 for 循环当中, 可以指定下标开始值, 如 enumerate(seasons, start=1)

id(object) 获取对象的全局唯一标识值. 注意, 如果两个对象的生命周期没有重叠, 可能会使用相同的对象id值

input(prompt) 用于命令行执行中, 暂停并弹出输入提示, 返回值是输入的字符串

len(x) 计算长度, 可以作用于序列或集合, a sequence (such as a string, bytes, tuple, list, or range) or a collection (such as a dictionary, set, or frozen set).

list(iterable) 创建一个和iterable数组的元素一样次序也一样的list

map(func, list) 接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回

zip(*iterables) 合并参数中的多个iterable里的元素, 按原顺序, 不要求元素个数一致, 但是结果中只包含最短那个的个数

常用模块

HTTP请求. Requests模块

使用手册 http://docs.python-requests.org/zh_CN/latest/api.html

使用举例

import requests

def requestGet(url, encoding='UTF-8', tout=20, retries=10):

    count = 0

    while True:

        count += 1

        if (count > retries):

            print('Exceed retry limit')

            return None

        try:

            response = requests.get(url, timeout=tout)

            response.encoding = encoding

            return response.text

        except requests.ReadTimeout:

            print('ReadTimeout')

            continue

        except ConnectionError:

            print('ConnectionError')

            continue

        except requests.RequestException:

            print('RequestException')

            continue

注意: 抓取GB2312网页时, encoding建议使用GB18030, 避免部分特殊文字乱码

Mongodb 操作. Pymongo模块

使用举例

import pymongo

# 连接mongodb

client = pymongo.MongoClient('172.17.0.2', 27017)

# 选择db

db = client.db_1

# 选择collection

tb_user = db['user']

# count

total = tb_user.count_documents({})

# select one

dummy = tb_user.find_one({'_id': name})

# select all, and sort

allusers = tb_user.find().sort('posts', -1)

# insert or save

tb_user.save(user)

Collection级别的操作

# 创建索引

collection_demo.create_index([('field1', pymongo.ASCENDING)])

检查索引是否存在, 存在则删除索引

    indexes = board_col.list_indexes()

    for index in indexes:

        print(index)

        print(index['name'])

        if (index['name'] == 'author_text_created_at_-1'):

            board_col.drop_index('author_text_created_at_-1')

    # 创建联合索引

    board_col.create_index([('author', pymongo.TEXT),('created_at', pymongo.DESCENDING)])

如果要在python中直接执行mongo 命令, 需要使用 eval(), 例如以下的语句用于将多个同构的collection合并到同一个collection

for board in boards:

    tb_current = rbcommon.db['deb_' + str(board['_id'])]

    if (not tb_current is None):

        current_total = tb_current.find().count()

        print(str(board['_id']) + ', ' + board['name'] + ', ' + board['name2'] + ', ' + str(current_total))

        rbcommon.db.eval('db.deb_'+ str(board['_id']) +'.find({}).forEach(function(u) {db.deb_all.save(u);})')

count_documents()的坑

对于数据量很大的collection, 尽量不要使用这个方法, 因为这个方法实际上需要遍历所有documents, 会非常慢. 可以使用 estimated_document_count() 这个方法, 这个是从collection的metadata中读取的缓存的documents数量, 如果此时collection正在写入, 可能会与实际数量有出入.

YAML配置文件读取

import yaml

# 获取当前文件的路径, 注意: 是common.py路径, 不带slash, 不是引用common的文件的路径,

# 可以用 os.path.realpath(__file__) 测试

rootPath = os.path.dirname(__file__)

print(rootPath)

configPath = os.path.join(rootPath,'config.yml')

print(configPath)

with open(configPath, 'r') as ymlfile:

    cfg = yaml.load(ymlfile)

# yaml会自动将长得像数字的值, 转换为数字类型. 下面是使用配置参数值的方式

mongoclient = pymongo.MongoClient(cfg['mongo']['host'], cfg['mongo']['port'])

db = mongoclient[cfg['mongo']['db']]

tb_section = db['section']

常见问题

循环中出现 pymongo.errors.CursorNotFound: cursor id xxx not found 错误

默认mongo server维护连接的时间窗口是十分钟, 默认单次从 server获取数据是101条或者大于1M小于16M的数据, 所以默认情况下如果循环中的某步在10分钟内未能处理完数据, 则抛出异常. 解决办法为使用no_cursor_timeout = True 参数

allBoards = rbcommon.tb_board.find({}, no_cursor_timeout = True).sort('post_count', -1)

for board in allBoards:

    # 0:through out mode, 1:increament mode

    readBoard(board)

码农公寓

常用语法

常用内置函数

常用模块

常见问题

相关文章