在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

在python中操作mongodb,数据分析概念、模块和Anaconda软件

  • pymongo模块
  • 数据分析概念
  • 数据分析的工作流程
  • ipython模块
  • jupyter模块
  • Anaconda软件

pomongo模块

pymongo模块可以实现python和mongoDB实时交互

pomongo下载

pip3 install pymongo -i https://pypi.tuna.tsinghua.edu.cn/simple/

pomongo的基本操作

调用模块

import pymongo

创建数据库runoobdb

myclient = pymongo.MongoClient("mongodb://localhost:27017/")
mydb = myclient["runoobdb"]

创建集合sites(先创建库)

mycol = mydb["sites"]

插入数据

mydict = { "name": "RUNOOB", "alexa": "10000", "url": "https://www.runoob.com" } 
x = mycol.insert_one(mydict)

查看数据

y = mycol.find_one()
print(y)

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 

 

数据分析概念

什么时数据分析

  就是从现有的数据中挖掘出价值

数据分析应用领域

  商品推荐:

    应用:在淘宝上搜索了一款产品之后 接下来就会疯狂给你推荐相关产品,就是该数据分析的应用

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

  量化交易:

    应用:股票、期货等数据分析

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

  短视频推送:

    应用:抖音 今日头条等短视频推荐

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

'''
数据分析绝对是未来所有公司不可或缺的岗位,目前社会上获取数据方式太多了,这么多的数据,
只要我们拥有数据分析的技能,绝对可以应付任何岗位上的工作
'''

学习python的目的

  python简单易学 并且是数据分析必备的语言

 

数据分析的工作流程

需求分析

  就是要分析什么数据,通过什么方式分析 想要什么样的结果

数据采集

  数据的来源:

    1.公司内部自带

      直接调用即可 MySQL MongoDB

    2.网络爬虫获取

      需要编写代码 爬虫相关技能

    3.第三方服务

      花钱直接购买 钞能力

数据清洗

  将获取到的数进行效验是否符合分析条件

    缺失数据 异常数据...

数据分析

  选择对应的计算公司,算法模型分析数据

生成数据分析报告

  攥写分析报告并给出分析之后的规律及建议

数据可视化

  将复杂的数据用图形的形式展示出来,方便查看相应规律,数据可视化步骤一般是结合数据分析报告一起

  

数据分析三剑客简介

numpy模块

  数学计算模块,他是所有计算机模块的底层模块

pandas

  主要用于excel表格

"""
    既然excel软件可以非常轻松快捷的操作表格数据为什么还需要学pandas
        当表格的数据低于10万行的时候采取excel软件操作方便
        但是数据高于10万行之后使用excel软件就会出现卡顿不方便
       所以pandas模块能够解决数据量较大的情况下的处理操作
"""

mateplotlib

  数据可视化模块

 

ipython模块

在cmd终端中可以编写python代码 但是存在以下缺陷

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

  1.代码没有提示

  2.代码不会自动缩进

  3.通篇一个颜色不单调

如何解决cmd中上诉的缺陷

ipython模块下载

pip3 install ipython -i https://pypi.tuna.tsinghua.edu.cn/simple/

打开cmd之后直接输入ipython进入全新的编程环境

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

  1.代码有提示

  2.代码自动缩进

  3.通篇颜色不单调

 

jupyter模块

模块的下载与使用

在cmd窗口下载

pip3 install jupyter -i 网络地址

运行jupyter

命令行输入命令,进入页面

jupyter notebook

还有一种方法,登录网址:http://localhost:8888/

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 密码为圈出内容

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

打开的界面取决于终端输入jupyer notebook命令的左侧路径

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

功能区域

  在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 upload用于上传任意类型的文件

new下拉框:

  python3用于创建notebook文件

  Text File用于创建文本文件

  Folder用于创建文件夹

  Terminal用于模拟cmd终端

 notebook文件

notebook文件的后缀名是.ipynb 该文件无法以正常的双击直接打开

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

不在专门的notebook环境才可以打开会看到

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

需要使用专门的notebook环境才可以打开并且查看内部的真实数据,以后看到该类型的文件就使用jupyter notebook打开

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 

该模块的缺陷

"""
其实该模块就可以进行数据分析相关的工作 但是有一个非常大的缺陷
就是数据分析过程中需要使用到的其他模块都需要自己下载
    并且跟数据分析相关的模块不下于200个
"""

 

Anaconda软件

# 其内部集成了很多数据分析相关软件及功能 并且自动下载了接近300个数据分析相关模块

下载与安装Anaconda

1.官网:https://www.anaconda.com/,在products框中点击individual Edition个人版

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

2.点击download下载,下载成功打开程序,安装时要保存在D盘

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 

3.进入该界面后两个括号可以不点,点击install

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

4.安装完或点击finish即可,点击电脑左下方放大镜搜索anaconda navigator点击启动即可

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

页面功能介绍

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 

 

Home:主要是一些已经准备好的软件 有直接可以使用和下载即可使用

Environments:里面主要包含数据分析相关的模块

Learning:里面含有大量的技术教程

Community:里面含有大量技术交流平台

 

Jupyter Notebook详细操作

错误排查

"""
主界面点击jupyter notebook之后无法呼起浏览器打开界面原因在于
    你的计算机名词含有中文
"""

基础单吃了解

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

    单词     意义
    cell    单元格
    cut        剪切
    copy    拷贝
    paste    粘贴
    above    在...上面
    below    在...下面
    replace 替换
    delete    删除
    undo    撤销
    split    切割
    merge    合并

命令行模式与编辑模式

'''
    蓝色对应的是命令行模式、绿色对应的是编辑模式
'''

两种模式的切换

编辑模式切换到命令行模式 按esc键

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

命令行模式切换到编辑模块 鼠标左键点击即可

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

快捷键

1.运行当前单元格

ctrl+enter

2.运行当前单元格并选中下方的单元格

shift+enter

3.如何书写md格式的标题

方式1:
  命令行模式下按m键,后按照警号个数书写几级标题执行即可,之后要运行,shift+enter

在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间在python中操作mongodb,数据分析概念,工作流程,三剑客,ipython模块,jupyter模块和Anaconda软间

 

 

方式2:
  编辑模式下先写文本,后进入命令行模式按数字来控制几级标题 

4.如何在当前单元格的下方新建一个单元格

命令行模式,按b键

5.如何在当前单元格的上方新建一个单元格

命令行模式,按a键

6.如何删除单元格

命令行模式,连续按两下d键

7.如何撤销删除

命令行模式下按z键

返回目录

上一篇:如何基于Jupyter notebook搭建Spark集群开发环境


下一篇:Jupyter Notebook设置主题