2021-01-21 大数据尚学堂课程笔记 day1

2021-01-21 大数据尚学堂课程笔记 day1
@R星校长

2021-01-21 大数据尚学堂课程笔记 day1
内存的访问效率是硬盘的10万倍

2021-01-21 大数据尚学堂课程笔记 day1
Zoo 动物园 Keeper 管理者 因为 hadoop 大象 pig 小猪 都是他们开发的,再有一些这样的起名的软件,我们就成动物园了 ,所以我们这款产品就叫动物园管理员吧

如你有几千台服务器的集群,你就需要用 ZooKeeper 监控,看那台服务器宕机了

2021-01-21 大数据尚学堂课程笔记 day1
ElasticSearch 学起来很快,因为它是站在巨人 Lucene 的肩膀上

2021-01-21 大数据尚学堂课程笔记 day1
因为实时计算 Spark 的底层代码是用 Scala 写的,所以 Scala 也需要学习,配合 Spark 做实时计算

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1

CDH 可视化安装,解决兼容问题,它提前给你兼容的对应关系,如Hadoop和hive的兼容版本,都有推荐

2021-01-21 大数据尚学堂课程笔记 day1
实时计算 最近几年比较火

2021-01-21 大数据尚学堂课程笔记 day1
Flink 也是做实时运算,是分布式的流数据引擎
我推荐这个,国内字节跳动和阿里都是主要用的 Flink ,想多了解一些东西可以去看看阿里技术 这个公众号

2021-01-21 大数据尚学堂课程笔记 day1
Kylin 麒麟能在亚秒内查询巨大的 Hive 表

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
安装在电脑上的叫应用程序,那什么叫做进程呢?

一个应用程序运行起来就叫做进程,我们用多线程来提高进程的运行效率

开发一般都在用户级别,比如,写一个shell脚本,调用函数库,然后操控内核,一般Linux内核里的东西,稍做了解就好,不会让我们去写

内核主要负责以下四种功能:

  • 系统内存管理
  • 软件程序管理
  • 硬件设备管理
  • 文件系统管理

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
磁盘分区:指定分割区域起始与结束磁柱
两个分区就是两个柱面,磁盘分区是告诉操作系统,磁盘在此分割区域内可以存取的区域,例如 A 磁柱到 B 磁柱之间的区块

使用磁盘之前为啥要格式化?

因为每种操作系统所设置的文件属性/权限,以及存放数据的格式 有所不同

windows 10默认的格式都是NTFS了 在window XP 和 windows 7 之间的时候还是用的FAT32

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
把不常用的进程清空,放进虚拟内存,也就是交换分区内
假如你的内存 8G 硬盘 2T 为了 遍历查找方便,所以存放到交换分区,比如设置交换分区为 8G ,范围越小越好找

2021-01-21 大数据尚学堂课程笔记 day1
现在的家用路由器都已经把交换机和路由器的功能整合在一起了

2021-01-21 大数据尚学堂课程笔记 day1

2021-01-21 大数据尚学堂课程笔记 day1
十进制转换成二进制,除以2看余数,然后倒着从下网上写,如10101000,就是168

与运算规则:0&0=0; 0&1=0; 1&0=0; 1&1=1;
即:两位同时为“1”,结果才为“1”,否则为0

或运算规则:0|0=0; 0|1=1; 1|0=1; 1|1=1;
即 :参加运算的两个对象只要有一个为1,其值为1

异或运算规则:0^0=0; 0^1=1; 1^0=1; 1^1=0;
即:参加运算的两个对象,如果两个相应位为“异”(值不同),则该位结果为1,否则为0

子网掩码是用来计算网络位和主机位的

2021-01-21 大数据尚学堂课程笔记 day1

如果我们用 wifi 访问网络,网关就是路由器的ip地址,而我们现在要配的这个网关就是公网 ip
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
这是静态域名地址设置
2021-01-21 大数据尚学堂课程笔记 day1
restart 是重启,status是状态,start是开启,stop是关闭
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
shift+D 可以一键改值 按U是撤销

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1

Hadoop-集群 网络配置

(一) 虚拟机设置
首先要修改一下虚拟机,<选择虚拟网络编辑器>

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
对照着上面的图一个一个解释吧. 首先要选择NAT模式,这里我选择的是VMnet8,也可以点击添加网络再添加一个;

然后就是下面的两个对勾✔一定要选上(DHCP)没有勾选可能会出现虚拟机可以ping通外面的主机,但是外面的主机ping不通虚拟机的现象。

子网IP要设置和虚拟机一个网段.

然后点击 NAT设置 ,设置网关,这里我设置的是192.168.100.1,图如下:

2021-01-21 大数据尚学堂课程笔记 day1
设置完这里再选择虚拟机,右键选择设置

2021-01-21 大数据尚学堂课程笔记 day1
选择网络适配器–>自定义–>VMnet8(根据自己的设置选择) 然后 确定

2021-01-21 大数据尚学堂课程笔记 day1
(二) test1 设置

之后就是打开虚拟机,设置 master 了

这里需要涉及到三个配置文件,分别是:

/etc/sysconfig/network                                       
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/resolv.conf

首先修改 vi /etc/sysconfig/network 如下:

centos7里没有ifcfg-eth0只有 ifcfg-ens33(没有Eth0网卡)

CentOS7系统安装完毕之后,输入ifconfig命令发现没有eth0,不符合我们的习惯。而且也无法远程ssh连接,

这个问题解决起来还算简单:

一,永久搞定

  1. 进入目录/etc/sysconfig/network-scripts/

  2. 将文件ifcfg-ens33重命名为ifcfg-eth0;
    2021-01-21 大数据尚学堂课程笔记 day1
    我因为是复制别人的虚拟机,所以在vmware虚拟机中,当我们克隆或者复制linux系统虚拟机后,再启动系统时会发现系统下不仅仅只有 ifcfg-ens33,还多了一个ifcfg-ens34

    同理如果系统本身是 ifcfg-eth0 ,就会往下将其命名为 ifcfg-eth1(累加的原则)
     (注意:修改需要切换至root用户)

  3. 编辑 ifcfg-eth0
    使用命令:vi ifcfg-eth0
    因为我要使用ssh远程登录,所以我需要固定 ip ,使用静态地址

2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1
2021-01-21 大数据尚学堂课程笔记 day1

这是我修改的地方
就把上面这写参数对应改一下和加上去,根据自己的网段改,BOOTPROTO一定要改为static。
  1. 修改grub文件
    目录:/etc/default
    编辑grub文件
      使用命令:vi grub
      在GRUB_CMDLINE_LINUX原有的参数后面加上"net.ifnames=0 biosdevname=0"
    2021-01-21 大数据尚学堂课程笔记 day1

2021-01-21 大数据尚学堂课程笔记 day1

保存退出
  1. 命令行运行命令
      grub2-mkconfig -o /boot/grub2/grub.cfg

2021-01-21 大数据尚学堂课程笔记 day1

  1. 完成了,重启一下就 ok 了,不过重启之前可以顺带修改一个计算机名
      编辑文件: vi /etc/hostname
    2021-01-21 大数据尚学堂课程笔记 day1
     就一行内容,就是计算机名,怎么写都行(英文的),保存退出

  2. 重启计算机
      reboot

8.完成
2021-01-21 大数据尚学堂课程笔记 day1

2021-01-21 大数据尚学堂课程笔记 day1

上一篇:【问题解决】文件系统报错:Try to bring eth0 interface up......grep: /etc/mtab: No such file or directory


下一篇:Linux命令:ifconfig