轮播组件/瀑布流/组合搜索/KindEditor插件

2024-01-15 23:18:40

一、企业官网

### 瀑布流

​ Models.Student.objects.all() #获取所有学员信息

​ 通过div进行循环图片和字幕

​ 1.以template模板方法实现瀑布流以列为单位放置图片和字母信息：通过取余的方式分列，三列就对三取余，在templatetags里面自定义模板，但是对于前端创建的判断方法if，时不能使用@register.simple_tag,simple_tag方法不能用于if 后，所以引用filter方法：@register.filter

​ 2.以JS的方式实现瀑布流以列为单位放置图片和字母信息：通过JS进行求余运算实现瀑布流

轮播图：

轮播图bxlider插件：依赖于Jquery

组合搜索

​ 目的是信息的查询过滤

​ models.Video.objects.filter() # 查询：使用字典进行组合查询，在前端通过类型id实现动态组合索引，最简单的组合查询方法，数据类型无关联

示例：sparta（学习示例，非本人所写，就不发链接了）

​ 安装python2.7

​ pip2 install django==1.7.8

​ pip2 install Pillow

二、博客系统

​ 个人博客注册

​ 个人主页

​ 个人后台管理

​ 主题定制

​ Editor（回存在XSS攻击）

​ TinyEditor（IE的）

​ UEEditor (百度的)

​ CKEditor（比较老的）

​ KindEditor（中文版的）

​ KindEditor:

​ 基本配置

​ 处理XSS

​ Beautifulsoup4模块使用

三、Tornado

​ Web框架：Tornado

​ Tornado内置模块实现爬虫

四、爬虫

​ requests模块：请求地址获取文件，模拟浏览器向服务端发送请求

  • requests.put()

  • requests.get()

  • requests.post()

  • requests.patch()

  • requests.delete()

  • requests.head()

  • requests.options()

  • requests.request()

  • allow_redirects参数，是否是否重定向

    # Author：wylkjj
# Date：2020/2/23
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import json

# requests发送get请求
response = requests.get('https://www.bilibili.com/')
# print(response.text)
soup = BeautifulSoup(response.text, features="html.parser")
text_list = soup.find_all(name='div', class_='item')
print(text_list)


# requests发送post请求
form_data = {
    'phone': '+8615044487970',
    'password': 'adpsasfff',
    'loginType': 2,
}

# request 参数 
response = requests.post(
    url='https://dig.chouti.com/login',
    data=form_data,    # 请求头为 content-type:application/x-www-form-urlencoded
    params={'eric': '123456'},  # 拼接后url http://www.baidu.com/?query=eric
    json=json.dumps({'user': 'eric', 'pwd': '12345'}),  # 请求头会改变content-type:application/json
)
print(response.text)

# request 参数 
requests.request(
    method = "GET",
    url = "http://www.baidu.com",
    params = {'query':'eric'},  
    data={},  # 数据传输，get用不到，post时把data数据放到请求体中传输到后端
    header={
        'referer': 'https://www.zhihu.com/signin?next=http%3A%2F%2Fwww.zhihu.com%2Fpeople%2Feric-wijing',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3970.5 Safari/537.36'
    },  # 当requests访问被拒绝时,设置header中的Referer或'user-agent'，因为可能是他们两个参数的问题，在network发送请求后的Header中
    cookies={},  
)  

# request 参数 
response = requests.get(
    url='https://i-beta.cnblogs.com/settings',
    # 获取已登陆的信息
    cookies={'.CNBlogsCookie':'93C26874509F65701B9F02163426CC74B23CDE7B9383331E04AEA2BEA2FEBEB0E3DA7F41FAF308FB36B946F007B8981D38AFE66E2042A6A80D2E5BF31E45BCECF0A3343E9AA83FDDCC155278666854E135E069A3',},
    cert:'证书文件'  # 有些网站需要证书才能获取数据
)
print(response.text)

​ beautifulsoup：数据区提取（格式化）

​ 使用方法：引入from bs4 import BeautifulSoup，创建对象：soup = BeautifulSoup(html_doc, features="html.parser")，html_doc是要解析的对象，features="html.parser"是解析器，最快的解析器是lxml解析器，不过需要自行安装，html解析器是python内置的解析器；

​ soup.children的方法是获取所有模块，只不过只会寻找第一层body ；

​ soup.body.children会寻找出body所有的元素（body的下一层）；

​ for tag in soup.body.descendants:循环tag.name能获取标签的类型属性（有div，就会获得其属性div），单独输出tag，循环遍历出所有标签；

​ from bs4 import Tag：遍历的每一个标签，获取其属性，可用其判断获取所有元素的属性；循环tag.name能获取详细的标签类型属性（有div，就会获得其属性div）；tag.attrs可以获取所有的标签内部的所有属性对其进行增删改查操作。

​ soup.html.hidden = True;soup.head.hidden = True ；显示出隐藏的标签，如果不设置此属性，在进行soup操作时不会读取出hidden隐藏的内容。

​

# Author：wylkjj
# Date：2020/2/23
from bs4 import BeautifulSoup
from bs4 import Tag
# Create your views here.
html_doc = """
<body>
<div class="bili-banner1" style="background-image: url(&quot;//i0.hdslb.com/bfs/archive/7197cae46569a49abd98e0c51348068831be6a85.png&quot;);" data-v-5ff46558=""><div class="taper-line" data-v-5ff46558=""></div><div class="b-logo b-wrap" style="margin: 0" data-v-5ff46558=""><a href="//www.bilibili.com" class="head-logo" data-v-5ff46558=""><img src="//i0.hdslb.com/bfs/archive/1be2fd76cc98cdc6a595c05c3134fbf937a1c126.png" class="logo-img" data-v-5ff46558="">123456789</a><!----></div><!----></div>
<div class="bili-banner2" style="background-image: url(&quot;//i0.hdslb.com/bfs/archive/7197cae46569a49abd98e0c51348068831be6a85.png&quot;);" data-v-5ff46558=""><div class="taper-line" data-v-5ff46558=""></div><div class="b-logo b-wrap" style="margin: 0" data-v-5ff46558=""><a href="//www.bilibili.com" class="head-logo" data-v-5ff46558=""><img src="//i0.hdslb.com/bfs/archive/1be2fd76cc98cdc6a595c05c3134fbf937a1c126.png" class="logo-img" data-v-5ff46558="">123456789</a><!----></div><!----></div>
asdfasfasdfasdf
<a>123456</a>
<h3>123456</h3>
<div class="bili-banner3" style="background-image: url(&quot;//i0.hdslb.com/bfs/archive/7197cae46569a49abd98e0c51348068831be6a85.png&quot;);" data-v-5ff46558=""><div class="taper-line" data-v-5ff46558=""></div><div class="b-logo b-wrap" style="margin: 0" data-v-5ff46558=""><a href="//www.bilibili.com" class="head-logo" data-v-5ff46558=""><img src="//i0.hdslb.com/bfs/archive/1be2fd76cc98cdc6a595c05c3134fbf937a1c126.png" class="logo-img" data-v-5ff46558="">123456789</a><!----></div><!----></div>
</body>
"""
# python内置解析器，但lxml使用时解析最快，需要安装
soup = BeautifulSoup(html_doc, features="html.parser")
# tag1 = soup.find(name='a')
for tag in soup.body.descendants:
# for tag in soup.body.children:
# for tag in soup.children:
    if isinstance(tag, Tag):
        # print("属性：", tag.name, tag.attrs)
        pass
tag1 = soup.find(name='a')
del tag1.attrs['class']
print(tag1)
print(soup)

tag1 = soup.find(name='a')
tag1.clear()
print(tag1)
print(soup)

​ 单例模式：使用一个对象进行操作

# Author：wylkjj
# Date：2020/2/23
# -*- coding:utf-8 -*-

# 创建单例模式第一种方法
class Foo:
    __instance = None

    @classmethod
    def instance(cls):
        if Foo.__instance:
            return Foo.__instance
        else:
            obj = Foo()
            Foo.__instance = obj
            return Foo.__instance


obj1 = Foo()
obj2 = Foo()
print(obj1, obj2)


# 创建单例模式第二种方法
class Fo(object):
    __instance = None

    def __init__(self):
        pass

    def __new__(cls, *args, **kwargs):
        if cls.__instance:
            return cls.__instance
        else:
            obj = object.__new__(cls, *args, **kwargs)  # 创建类
            cls.__instance = obj
            return cls.__instance


obj3 = Fo()
obj4 = Fo()
print(obj3, obj4)

​ scrapy框架：爬虫框架

五、Web微信/微信公众平台登录

只是在网页端允许登录时可以使用，但是由于微信取消了网页端的登录，无法实现，纯属个人喜好，理解理解。

轮询：

　　客户端定时向服务器端发送 Ajax 请求，服务器端接收到请求后马上返回信息并关闭连接。缺点是：有延时，无法满足即时通信的需求。

长轮询（Comet）：

　　客户端向服务器端发送 Ajax 请求，服务器端接收到请求后保持住连接，直到有新消息才返回响应信息并关闭连接。客户端在处理请求返回信息（超时或有效数据）后再次发出请求，重新建立连接。缺点是：服务器保持连接会消耗较多的资源。

WEB微信页：

  • 访问页面出现二维码
  • 长轮询监听是否已经扫码并且点击确认
  • 如何进行会话保持
  • 如何获取用户列表
  • 如何发送消息（接受消息）

微信二维码获取地址的前缀：https://login.weixin.qq.com/qrcode/{0}

由于现在无法进行操作，其它内容就不编辑了

上一篇：Python爬虫——bs4、xpath基本语法


下一篇：python爬虫教程：实例讲解Python爬取网页数据