最近买了一个腾讯云的服务器,简单安装了下环境并记录一下
Java:
1、查找java相关的列表
yum -y list java*
2、安装JDK(这里是1.8.0版本)
yum install java-1.8.0-openjdk.x86_64
3、完成安装后验证
java -version
4、将JDK的安装路径加入到JAVA_HOME
vim /etc/profile
在文件中添加路径
#set java environment JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME CLASSPATH PATH
source /etc/profile
5、安装成功
Scala:
1、确保你本地已经安装了 JDK 1.5 以上版本,并且设置了 JAVA_HOME 环境变量及 JDK 的 bin 目录
java -version
javac -version
2、从 Scala 官网地址 http://www.scala-lang.org/downloads选择版本下载并解压缩文件包,可将其移动至/usr/local/share下:
mv scala-2.11.7 scala mv /scalapath /usr/local/share
此时进入scala目录下的bin文件夹输入scala已经可以使用了
3、将scala命令添加到全局
vim /etc/profile
在文件中加入 export PATH="$PATH:/usr/local/share/scala/bin"
source /etc/profile
Python:
系统会自带Python2.7版本,此处我们利用Annaconda安装Python3.6版本
1、Annaconda下载,下载连接https://www.anaconda.com/download/,可以根据需求选择Python的版本。也可以按照如下方式下载:
wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
2、下载完成并运行该文件,如果无法运行可以先查看一下权限
bash Anaconda3-5.2.0-Linux-x86_64.sh
若出现如下错误则由于环境缺失导致
解决方法
yum install -y bzip2
3、在安装过程中,不断按回车或者Y(yes)即可
4、安装完成后对python的环境变量进行添加,方便启动
vim /etc/profile
#在文件中添加
#Anaconda
export PATH=$PATH:/home/software/anaconda3/bin
source /etc/profile
5、打开终端,输入python3
,如果显示如下图,则表示安装成功
MySQL:
1、安装前,我们可以检测系统是否自带安装 MySQL:
rpm -qa | grep mysql
如果你系统有安装,那可以选择进行卸载:
rpm -e mysql // 普通删除 rpm -e --nodeps mysql // 强力删除
2、安装 MySQL:
在 Centos系统下使用 yum 命令安装 MySQL,若没有yum需要进行下载
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm yum update yum install mysql-server
权限设置并初始化MySQL:
chown mysql:mysql -R /var/lib/mysql
mysqld --initialize
启动 MySQL并查看状态:
systemctl start mysqld
systemctl status mysqld
3、验证安装是否成功
mysqladmin --version
4、创建并设置root用户账号以及密码:
mysqladmin -u root password "your password"
然后通过如下方法登录并连接MySQL:
mysql -u root -p
Enter password:*******
Hadoop:
安装Hadoop需要预先安装Java环境,并且需要jdk为jdk7版本以上。
1、官网上下载hadoop,下载地址:https://www.apache.org/dist/hadoop/common/
2、解压并安装文件
tar -zxvf /var/ftp/pub/hadoop-2.9.2.tar.gz
3、编辑解压后的/etc/hadoop/hadoop-env.sh文件,在文件中修改JAVA_HOME配置
vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_221/
4、配置伪分布式
vim etc/hadoop/core-site.xml
#在文件中添加
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
vim etc/hadoop/hdfs-site.xml
#在文件中添加 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
5、设置主机允许无密码SSH链接
ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa // 创建公钥私钥对 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys // 设置权限,owner有读写权限,group和others无权限
6、格式化文件系统
bin/hdfs namenode -format
7、启动Hadoop
./sbin/start-all.sh // 启动NameNode和DataNode进程
PS:可以通过jps指令查看启动的进程
后续会继续安装HIve、Spark等工具,未完待续 ~