基于CentOS搭建基于 ZIPKIN 的数据追踪系统

2023-07-22 17:23:28

系统要求：CentOS 7.2 64 位操作系统

配置 Java 环境

安装 JDK

Zipkin 使用 Java8

yum install java-1.8.-openjdk* -y

安装完成后，查看是否安装成功：

java -version

安装 Zipkin

新建目录

mkdir -p /data/release/zipkin && cd "$_"

下载 Zipkin

wget -O zipkin.jar 'https://search.maven.org/remote_content?g=io.zipkin.java&a=zipkin-server&v=LATEST&c=exec'

启动 Zipkin

java -jar zipkin.jar

Zipkin 默认监听 9411 端口，使用浏览器访问 http://118.89.65.22:9411 即可看到 Zipkin 自带的图形化界面(外网：请确认此CVM有外网IP且安全组已开通9411端口)。

配置 MySQL 数据持久化方案

Zipkin 支持的持久化方案很多，如： Cassandra, MySQL, Elasticsearch。本实验使用 MySQL 5.7 作为数据持久化方案。

安装 MySQL 5.7

使用 Ctrl + C 退出上个步骤的 Java 进程并下载 rmp 包

wget http://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

安装 rpm 包

rpm -Uvh mysql57-community-release-el7-.noarch.rpm

安装 MySQL

yum install mysql-community-server -y

启动 MySQL 服务

systemctl start mysqld.service

设置 MySQL 密码

获取 root 临时密码(下面命令中的密码是教程为您自动生成的，为了方便实验的进行，不建议使用其它密码。如果设置其它密码，请把密码记住，在后续的步骤会使用到)

grep 'temporary password' /var/log/mysqld.log | awk '{print $NF}'

使用上一步的获得的临时密码登入 MySQL

mysql -uroot -p

设置 MySQL 账户 root 密码

ALTER USER 'root'@'localhost' IDENTIFIED BY 'Xx$Zipkin2017';

退出 MySQL, 回到 Bash shell

exit;

初始化 Zipkin 数据库

编写初始化脚本

请在 /data/release/zipkin 目录下创建 zipkin_init.sql，参考下面的内容。

 CREATE TABLE IF NOT EXISTS zipkin_spans (

   `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',

   `trace_id` BIGINT NOT NULL,

   `id` BIGINT NOT NULL,

   `name` VARCHAR(255) NOT NULL,

   `parent_id` BIGINT,

   `debug` BIT(1),

   `start_ts` BIGINT COMMENT 'Span.timestamp(): epoch micros used for endTs query and to implement TTL',

   `duration` BIGINT COMMENT 'Span.duration(): micros used for minDuration and maxDuration query'

 ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

 ALTER TABLE zipkin_spans ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `id`) COMMENT 'ignore insert on duplicate';

 ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`, `id`) COMMENT 'for joining with zipkin_annotations';

 ALTER TABLE zipkin_spans ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTracesByIds';

 ALTER TABLE zipkin_spans ADD INDEX(`name`) COMMENT 'for getTraces and getSpanNames';

 ALTER TABLE zipkin_spans ADD INDEX(`start_ts`) COMMENT 'for getTraces ordering and range';

 CREATE TABLE IF NOT EXISTS zipkin_annotations (

   `trace_id_high` BIGINT NOT NULL DEFAULT 0 COMMENT 'If non zero, this means the trace uses 128 bit traceIds instead of 64 bit',

   `trace_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.trace_id',

   `span_id` BIGINT NOT NULL COMMENT 'coincides with zipkin_spans.id',

   `a_key` VARCHAR(255) NOT NULL COMMENT 'BinaryAnnotation.key or Annotation.value if type == -1',

   `a_value` BLOB COMMENT 'BinaryAnnotation.value(), which must be smaller than 64KB',

   `a_type` INT NOT NULL COMMENT 'BinaryAnnotation.type() or -1 if Annotation',

   `a_timestamp` BIGINT COMMENT 'Used to implement TTL; Annotation.timestamp or zipkin_spans.timestamp',

   `endpoint_ipv4` INT COMMENT 'Null when Binary/Annotation.endpoint is null',

   `endpoint_ipv6` BINARY(16) COMMENT 'Null when Binary/Annotation.endpoint is null, or no IPv6 address',

   `endpoint_port` SMALLINT COMMENT 'Null when Binary/Annotation.endpoint is null',

   `endpoint_service_name` VARCHAR(255) COMMENT 'Null when Binary/Annotation.endpoint is null'

 ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

 ALTER TABLE zipkin_annotations ADD UNIQUE KEY(`trace_id_high`, `trace_id`, `span_id`, `a_key`, `a_timestamp`) COMMENT 'Ignore insert on duplicate';

 ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`, `span_id`) COMMENT 'for joining with zipkin_spans';

 ALTER TABLE zipkin_annotations ADD INDEX(`trace_id_high`, `trace_id`) COMMENT 'for getTraces/ByIds';

 ALTER TABLE zipkin_annotations ADD INDEX(`endpoint_service_name`) COMMENT 'for getTraces and getServiceNames';

 ALTER TABLE zipkin_annotations ADD INDEX(`a_type`) COMMENT 'for getTraces';

 ALTER TABLE zipkin_annotations ADD INDEX(`a_key`) COMMENT 'for getTraces';

 ALTER TABLE zipkin_annotations ADD INDEX(`trace_id`, `span_id`, `a_key`) COMMENT 'for dependencies job';

 CREATE TABLE IF NOT EXISTS zipkin_dependencies (

   `day` DATE NOT NULL,

   `parent` VARCHAR(255) NOT NULL,

   `child` VARCHAR(255) NOT NULL,

   `call_count` BIGINT

 ) ENGINE=InnoDB ROW_FORMAT=COMPRESSED CHARACTER SET=utf8 COLLATE utf8_general_ci;

 ALTER TABLE zipkin_dependencies ADD UNIQUE KEY(`day`, `parent`, `child`);

mysql -u root --password='Xx$Zipkin2017'

创建 Zipkin 数据库

create database zipkin;

切换数据库

use zipkin;

初始化表及索引

source /data/release/zipkin/zipkin_init.sql

执行以下命令会看到zipkin_annotations, zipkin_dependencies, zipkin_spans 三张数据表，说明初始化成功了

show tables;

退出 MySQL, 回到 Bash shell

exit

启动 Zipkin

注：此处默认使用实验生成的密码

cd /data/release/zipkin

STORAGE_TYPE=mysql MYSQL_HOST=localhost MYSQL_TCP_PORT=3306 MYSQL_DB=zipkin MYSQL_USER=root MYSQL_PASS='Xx$Zipkin2017' \

nohup java -jar zipkin.jar &

创建具有数据上报能力的Demo

搭建 NodeJS 环境

curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -

yum install nodejs -y

创建Demo目录

创建/data/release/service_a目录

mkdir -p /data/release/service_a && cd "$_"

使用 NPM 安装相关依赖

请在 /data/release/service_a 目录下创建并编辑 package.json，参考下面的内容。

 {

   "name": "service_a",

   "version": "1.0.0",

   "description": "",

   "main": "index.js",

   "scripts": {},

   "author": "",

   "license": "ISC",

   "dependencies": {

     "express": "^4.15.3",

     "zipkin": "^0.7.2",

     "zipkin-instrumentation-express": "^0.7.2",

     "zipkin-transport-http": "^0.7.2"

   }

 }

安装相关依赖

npm install

创建并编辑 app.js

请在 /data/release/service_a 目录下创建 app.js，参考下面的内容。

示例代码：/data/release/service_a/app.js

 const express = require('express');

 const {Tracer, ExplicitContext, BatchRecorder} = require('zipkin');

 const {HttpLogger} = require('zipkin-transport-http');

 const zipkinMiddleware = require('zipkin-instrumentation-express').expressMiddleware;

 const ctxImpl = new ExplicitContext();

 const recorder = new BatchRecorder({

     logger: new HttpLogger( {

         endpoint: 'http://127.0.0.1:9411/api/v1/spans'

     })

 });

 const tracer = new Tracer({ctxImpl, recorder});

 const app = express();

 app.use(zipkinMiddleware({

   tracer,

   serviceName: 'service-a'

 }));

 app.use('/', (req, res, next) => {

     res.send('hello world');

 });

 app.listen(3000, () => {

   console.log('service-a listening on port 3000!')

 });

启动服务

node app.js

该服务监听 3000 端口，使用浏览器访问 http://118.89.65.22:3000 后，看到“hello world” 的文本字样说明服务已经正常工作。

部署完成

查看采集到的追踪数据

使用浏览器访问 http://118.89.65.22:9411 即可看到刚才访问产生的追踪数据。

至此，本入门教程已结束，而 Zipkin 的学习只是一个开始，如有兴趣，可尝试搭建一个基于 Kafka + Zookeeper + Elasticsearch 的分布式服务。

大功告成

恭喜您已经完成了搭建基于 ZIPKIN 的数据追踪系统的学习。

码农公寓

配置 Java 环境

安装 JDK

安装 Zipkin

新建目录

下载 Zipkin

启动 Zipkin

配置 MySQL 数据持久化方案

安装 MySQL 5.7

设置 MySQL 密码

初始化 Zipkin 数据库

启动 Zipkin

创建具有数据上报能力的Demo

搭建 NodeJS 环境

创建Demo目录

使用 NPM 安装相关依赖

创建并编辑 app.js

启动服务

部署完成

查看采集到的追踪数据

大功告成

相关文章