大数据存储处理之表分区,数据压缩

  一般, 我们在程序设计时, 对于一些业务, 会有可预见的大量数据, 此时需要我们在设计数据库表的时候就考虑到问题所在.

  处理思路:   1.表分区   2.数据压缩存储

  1.表分区

    表分区的方式有很多种, 此处列举一种, 按天分区

  上菜: (具体分区的种类和方式有机会详解)

    CREATE TABLE TableName (
      RESULTLISTID NUMBER,
      STEPINDEX NUMBER,
      VALUES0 VARCHAR2(4000),
      VALUES1 VARCHAR2(4000),
      VALUES2 VARCHAR2(4000),
      VALUES3 VARCHAR2(4000),
      DATE_   DATE
    ) PARTITION BY RANGE (date_) INTERVAL (NUMTODSINTERVAL(1, 'day'))
    (partition part_t01 values less than(to_date('2021-12-10', 'yyyy-mm-dd')));

  理解:  一般对于没有分区的表, 我们可以理解数据存储在同一个地方.

    白话文: 数据是文字, 表是一本数, 文字存在书本上. 想要查询某个单词, 需要翻阅整本书.

       如果表是按天分区, 就是说我们的数据是按天存储在不同的地方.

    白话文: 数据是文字, 表是书架, 书架上的每一本书代表一个分区, 文字存在书本上, 所有的书本构成一个书架. 想要查询某个单词, 可以先

       对书本的日期进行过滤, 找到对应日期的书本, 进行查找.

  以上就是表分区的思想所在.

  2. 数据压缩存储

    如果我们每次操作都会向数据库表中增加几十,上百,上千行的数据, 那么我们可以先对数据进行压缩处理, 使得成百上千行的数据, 只需要存储为一行即可.

  上菜:(拿需要存储的数据类型为float来说)  

    public static string[] CompressedData(float[] valueList)
    {
      List<string> result = new List<string>();
      //1float=4byte
      byte[] buffer = new byte[valueList.Length * 4];
      for (int i = 0; i < valueList.Length; i++)
      {
        //1byte=8bit
        byte[] b = BitConverter.GetBytes(valueList[i]);
        buffer[i * 4] = b[0];
        buffer[i * 4 + 1] = b[1];
        buffer[i * 4 + 2] = b[2];
        buffer[i * 4 + 3] = b[3];
      }
      //将byte转化为字符串
      string compressResult = Convert.ToBase64String(buffer);
      while (compressResult.Length > 4000)
      {
        string s = compressResult.Substring(0, 4000);
        result.Add(s);
        compressResult = compressResult.Substring(4000, compressResult.Length - 4000);
      }
      if (compressResult.Length <= 4000)
      {
        string s = compressResult.Substring(0, compressResult.Length);
        result.Add(s);
      }

      return result.ToArray();
    }

  代码理解: CompressedData方法 将float数组数据转化为string数组数据(压缩),我们把压缩后的string数组每个元素存在分区表对应的VALUES中

      string数组中的每个元素都是一个varchar(4000)长度, 我们表分区的时候需要大概估算一次压缩最大的数据量从而来确定VALUES的个数.

  这样我们就把众多数据压缩成一行数据了,我们可以根据日期等进行过滤查询, 可极大提高性能.

  当然我们取数据的时候需要对压缩的数据进行解压,

  上菜:   

    public static float[] AnalysisData(string[] txt)
    {
      List<float> vs = new List<float>();
      StringBuilder sb = new StringBuilder();
      foreach (var item in txt)
      {
        sb.Append(item);
      }
      //把字符串转为字节
      byte[] buffer = Convert.FromBase64String(sb.ToString());
      //将字节转化为float
      for (int i = 0; i < buffer.Length; i += 4)
      {
        float f = BitConverter.ToSingle(buffer, i);
        vs.Add(f);
      }
      return vs.ToArray();
    }

  原理就是压缩的逆向. 这样我们就可以获取到元数据了.

 

I had no time to choose, What I chose to do..

So go easy on me~~

 

    

 

上一篇:opengl使用VAO和VBO绘制三角形时glVertexAttribPointer的调用位置不正确产生的小问题


下一篇:04、Netty学习笔记—(黏包半包及协议设计解析)