表格存储
表格存储(Table Store,简称OTS)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务。根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展。提供海量结构化数据的存储和实时访问服务。
DDL定义
实时计算 Flink支持使用TableStore作为结果输出,示例代码如下。
CREATE TABLE stream_test_hotline_agent (
name varchar,
age BIGINT,
birthday BIGINT,
primary key(name,age)
) WITH (
type='ots',
instanceName='bliXXXXst',
tableName='users2',
accessId='LTXXXXXXz48ke',
accessKey='prc1bXXXXXXX6oPZd9gidXDY',
endPoint='http://XXXXXXXXou.ots.aliyuncs.com',
valueColumns='biXXXXay'
);
注意:
- 推荐使用数据存储功能,参见表格存储。
- valueColumns的值不能是声明的主键,可以是主键之外的任意字段。
WITH参数
参数 | 注释说明 | 备注 |
---|---|---|
instanceName | 实例名 | 无 |
tableName | 表名 | 无 |
endPoint | 实例访问地址 | 参见 OTS的Endpoint地址 。 |
accessId | 访问的id | 无 |
accessKey | 访问的键 | 无 |
valueColumns | 指定插入的字段列名,多个以逗号分割。 | 例如,’ID,NAME’。 |
bufferSize | 去重的buffer大小 | 可选,默认值5000,表示输入的数据达到5000条就开始输出。 |
batchWriteTimeoutMs | 写超时时间 | 可选,单位毫秒,默认值5000,表示数据超过了5秒,还没有往ots写过,就会将缓存的数据都写一次。 |
batchSize | 每次写的批次大小 | 可选,默认值100 |
retryIntervalMs | 重试间隔时间 | 可选,单位毫秒,默认值1000 |
maxRetryTimes | 最大重试次数 | 可选,默认值100 |
ignoreDelete | 是否忽略delete操作 | 默认为false |
类型映射
OTS字段类型 | 实时计算字段类型 |
---|---|
integer | bigint |
string | varchar |
boolean | boolean |
double | double |
注意:
- TableStore结果表须定义有PrimaryKey,输出数据以Update方式追加到现有TableStore表。
- 关于TableStore 访问控制,请参见TableStore 访问控制。
本文转自实时计算——创建表格存储(Table Store)结果表