DevOps之存储和数据库

唠叨话

关于德语噢屁事的知识点,仅提供专业性的精华汇总,具体知识点细节,参考教程网址,如需帮助,请留言

《数据(Data)》

了解有关数据部分、涉及存储及数据库的概念;知识与技能的层次(知道、理解),理论与实践的方面(原理)。

《数据模型》
结构数据:关联分析、分类分析、聚类分析。
非结构数据:文本分析、图形图像分析、音频视频分析。
《数据技术》
采集、存储、清洗、挖掘、视图。
《数据计算》
实时流处理计算、延迟批处理计算。

《数据统计量》
趋势升降(平均数、中位数、众数)
波动大小(极差,方差,标准差)
《数据统计图》
条形图、直方图、柱形图、曲面图、饼图、面积图、趋势图、箱形图、气泡图、散点图、鱼骨图、树状图、茎叶图、雷达图。

《数据技术》
数据分析、数据挖掘、数据报表。

《数据挖掘》
分类、估计、预测、关联、聚类。

《数据操作》
平面数据:分类、归并、排序、存取、检索、输入、输出。
空间数据:拼接、剪辑、合并、叠合。

《数据仓库》
数据仓库(Data Warehouse,DW)
数据获取(Data Acquisition)数据存储(Data Storage)数据访问(Data Access)

注:数据知识的相关概念,知道并理解其原理。

参考网站 http://www.db-engines.com/

熟悉数据库、存储系统、搜索引擎;知识与技能的层次(知道、理解、运用),理论与实践的方面(原理、技术、操作)。

《数据库Database》

关系数据库服务RDS(Relational Database Service) Oracle,MySQL,PostgreSQL,Microsoft SQLServer,Microsoft Access,SQLite,DB2;
时序数据库服务TDS(Timeseries Database Service) InfluxDB,RRDtool,Graphite,OpenTSDB;
图形数据库服务GDS(Graph Database Service) Neo4j,Titan,Giraph,InfoGrid;
多值数据库服务MDS(Multivalue Database Service) Adabas,UniData;
对象数据库服务ODS(Object Database Service) Db4o;

《存储系统Storage》

文档存储服务DSS(Document Storage Service) MongoDB,DynamoDB,Couchbase,CouchDB;
键值存储服务KVSS(Key-value Storage Service) Redis,Memcache;
宽列数据库服务WCSS(Wide-column Storage Service) Cassandra,HBase,Riak;

《搜索引擎Search Engine》
搜索引擎服务SES(Search Engine Service) Elasticsearch,Solr,Splunk,Sphinx;

《数据库Database(知识库)》
Google.BigTable,Amazon.Dynamo,Facebook.Cassandra,Linkedin.Voldemort,DouBan.BeansDB,RenRen.Nuclear。
符合CAP规则,计算机节点和数据分区的架构。
Consistency(一致性):即数据复制到N台机器,如果有更新,N台机器的数据一起更新。
Availability(可用性):即响应性能好,速度快。
Partition tolerance(分区容错性):即机器节点扩展,数据分区方法。

数据逻辑性
面向键值对(Redis、Memcache)高负载访问,键值对;优势:查询极速。劣势:数据缺少结构化。
面向列存储(Cassandra)分布式文件,列簇式。优势:查找快速,分布式扩展性强。劣势:功能相对局限。
面向文档型(MongoDB)站点应用类,键值对;优势:数据结构不严格。劣势:查询性能及语法不强。
面向图形型(Neo4j)社交关系类,图结构;优势:图结构算法。劣势:分布式集群复杂。

数据分布性
一致性和可用性(MongoDB,HBase),可用性和可分区性(Cassandra)

数据持久性
内存(Redis、Memcache),磁盘(MongoDB、Riak),内存和磁盘(Cassandra、HBase)

注:通过数据库、存储系统、搜索引擎的原理和技术知识,熟练运用数据操作,如:安装、配置、管理、运用等。

上一篇:centos6.6下编译安装mysql5.6之后启动失败:Starting MySQL... ERROR! The server quit without updating PID file (/var/lib/mysql/localhost.localdomain.pid).


下一篇:OSA-MAC: A MAC Protocol for Opportunistic Spectrum Access in Cognitive Radio Networks