基于分布式数据库ClickHouse的大数据平台在执法检查中的应用实践

1

作者 吴莹 倪立显 《金融科技时代》 2024年第2期74-77,共4页

为解决现场检查中人工比对效率低、检查数据处理困难等问题,人民银行江苏省分行总结近年来对接入机构执法检查的经验,探索研发了基于分布式数据库的现场综合执法检查平台。该平台实现了亿级业务检查数据的入库、查询、分析和筛查等各项... 为解决现场检查中人工比对效率低、检查数据处理困难等问题,人民银行江苏省分行总结近年来对接入机构执法检查的经验,探索研发了基于分布式数据库的现场综合执法检查平台。该平台实现了亿级业务检查数据的入库、查询、分析和筛查等各项功能,能够较好地满足现场检查的实务需求,有效提升执法检查工作的质效。 展开更多

关键词 金融科技 分布式数据库 clickhouse 执法检查

下载PDF 职称材料

分析数据库ClickHouse在国家地球物理台网中心的应用 被引量：1

2

作者 王军 黄经国 +2 位作者 余丹 纪寿文 王方建 《地震研究》 CSCD 北大核心 2023年第2期308-314,共7页

面对日益增长的地球物理观测数据,传统的Oracle数据库已经力不从心。根据地球物理历史数据可大量被读取的使用特点,通过技术选型,以具备横向扩展能力的分布式OLAP数据库ClickHouse作为数据底座,重新设计适用于ClickHouse的地球物理观测... 面对日益增长的地球物理观测数据,传统的Oracle数据库已经力不从心。根据地球物理历史数据可大量被读取的使用特点,通过技术选型,以具备横向扩展能力的分布式OLAP数据库ClickHouse作为数据底座,重新设计适用于ClickHouse的地球物理观测数据表结构。经过全库迁移、增量迁移和数据对比,国家地球物理台网中心的Oracle数据库中约13 TB的数据已经迁移到ClickHouse并每日更新。实际测试表明:ClickHouse显著提升数据读写性能,增强了数据统计查询能力,并且通过多副本保证了数据库的一致性和安全性。 展开更多

关键词 clickhouse 大数据 地球物理台网 观测数据

下载PDF 职称材料

基于ClickHouse的实时数仓实践

3

作者 秦宁 《数字通信世界》 2023年第7期22-24,共3页

随着信息时代的到来,数据量急剧增长,如何高效地处理和分析数据成为各个行业面临的重要问题。实时数仓作为一种高效的数据处理和分析方案,受到了越来越多企业和机构的青睐。文章介绍了基于ClickHouse的实时数仓实践,并阐述了Flink与Clic... 随着信息时代的到来,数据量急剧增长,如何高效地处理和分析数据成为各个行业面临的重要问题。实时数仓作为一种高效的数据处理和分析方案,受到了越来越多企业和机构的青睐。文章介绍了基于ClickHouse的实时数仓实践,并阐述了Flink与ClickHouse的集成方式及其优点。ClickHouse作为一款高速的列式存储数据库,在实现实时数仓时具有优秀的性能和扩展性。Flink作为一款高性能的流式计算框架,提供了丰富的API和工具,可以方便地对实时数据进行处理和分析。将ClickHouse和Flink集成,可以实现高效的实时数据处理和分析,为企业提供更加准确、实时的数据支持。文章通过一个实际的案例,详细介绍了如何使用ClickHouse和Flink构建实时数仓。 展开更多

关键词 clickhouse Flink 实时数仓 流式计算

下载PDF 职称材料

基于ClickHouse的版本化数据迁移方法 被引量：1

4

作者 陈洪健 季健 +1 位作者 洪帅 钱叶 《计算机应用》 CSCD 北大核心 2022年第S02期105-110,共6页

针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法... 针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法在源数据表和目标表之间构建一张版本表,保证数据迁移过程对用户无感知;接着,通过数据预处理以及对集群状态的实时监控,选择负载最小的副本方法来减少集群负担;此外,还加入验数逻辑和分片级的数据回滚功能来保证数据准确性。在广泛使用的业务生产场景中进行亿级数据的迁移测试对比,结果表明,该方法优于市面上最先进的技术,在硬件设备相同的情况下数据迁移时间缩短90%以上。 展开更多

关键词 clickhouse 数据迁移 参数化配置 版本化 验数机制

下载PDF 职称材料

基于ClickHouse的5G专网感知系统的设计和实现

5

作者 张峰 冯毅 +2 位作者 赵越 张勍 罗贤魁 《信息与电脑》 2022年第17期152-154,共3页

随着联通集约化5G专网管理平台的建设和发展,系统承载的设备日益增多,设备产生的外部数据表示法(ExternalDataRepresentation,XDR)话单也相应持续增加。现有平台中的网络感知系统采用了以MySQL为主的传统软件结构,越来越不适用于大数据... 随着联通集约化5G专网管理平台的建设和发展,系统承载的设备日益增多,设备产生的外部数据表示法(ExternalDataRepresentation,XDR)话单也相应持续增加。现有平台中的网络感知系统采用了以MySQL为主的传统软件结构,越来越不适用于大数据场景。因此,5G专网管理平台提出了以ClickHouse列式数据库为引擎的网络质量实时分析架构,以满足系统功能和性能需要。 展开更多

关键词 5G专网 网络感知 大数据 clickhouse

下载PDF 职称材料

基于ClickHouse的用户事件分析系统的设计与实现 被引量：5

6

作者 李亚臣 《信息与电脑》 2021年第9期87-90,共4页

在大数据时代,随着数据越来越多,基于传统数据库的商业智能(Business Intelligence,BI)系统,在查询、分析数据时会存在查询效率慢、查询超时、拖垮数据库等问题,因此有必要引入新型BI系统.笔者首先介绍了传统BI系统的起源和劣势,论述了... 在大数据时代,随着数据越来越多,基于传统数据库的商业智能(Business Intelligence,BI)系统,在查询、分析数据时会存在查询效率慢、查询超时、拖垮数据库等问题,因此有必要引入新型BI系统.笔者首先介绍了传统BI系统的起源和劣势,论述了基于ClickHouse新型BI的优势,并根据企业业务的实际情况,采用ClickHouse作为新型BI的存储引擎,对其进行架构设计、功能设计、程序实现. 展开更多

关键词 React GO clickhouse BI系统

下载PDF 职称材料

Clickhouse在采油厂数据湖技术生态中的应用前景

7

作者 任明浩 《电脑知识与技术》 2022年第21期15-17,25,共4页

在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。近年来大量开源架构为探索流批一体实时数仓的大数据研发工程师提供了丰富的资源,同时也增加了工程师在学习成本、框架的多样化和复杂度等方面选择合适工具的难度。此... 在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。近年来大量开源架构为探索流批一体实时数仓的大数据研发工程师提供了丰富的资源,同时也增加了工程师在学习成本、框架的多样化和复杂度等方面选择合适工具的难度。此情景下,整合开源框架、工具、库、平台势在必行。该文引入Clickhouse数据库管理系统,并在数字化油田构建实时数仓的建设中构想其应用前景。 展开更多

关键词 OLAP 大数据 clickhouse

下载PDF 职称材料

基于Clickhouse的大数据对比分析应用案例 被引量：3

8

作者 高翔 《电子技术（上海）》 2022年第5期31-35,共5页

阐述一个新型的OLAP数据库Clickhouse,从多个维度切入、分析了纽约出租车大数据的4个场景,在分析过程中,使用Clickhouse,PostgreSql的行式模式和列式模式进行性能对比。测试结果表明,使用Clickhouse数据库在存储效率,导入性能,分析性能... 阐述一个新型的OLAP数据库Clickhouse,从多个维度切入、分析了纽约出租车大数据的4个场景,在分析过程中,使用Clickhouse,PostgreSql的行式模式和列式模式进行性能对比。测试结果表明,使用Clickhouse数据库在存储效率,导入性能,分析性能方面均大幅胜出,在OLAP领域应用非常合适。 展开更多

关键词 大数据分析 OLAP 列式数据库 clickhouse

原文传递

大规模空间轨迹数据管理方法研究 被引量：4

9

作者 江翠云 吴然 方杰 《地理空间信息》 2021年第6期35-38,I0001,共5页

设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中。通过AIS船舶轨迹数据与传统的PostGIS空间数... 设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中。通过AIS船舶轨迹数据与传统的PostGIS空间数据存储框架进行数据管理与检索的效率对比,验证本文框架的优越性能。 展开更多

关键词 空间大数据 clickhouse数据库 Geohash编码 空间检索

下载PDF 职称材料

轻量级海量时空数据处理分析服务框架

10

作者 何红 张辉 《指挥信息系统与技术》 2022年第5期88-92,共5页

为提升海上船舶态势监控信息化水平,构建了轻量级海量时空数据处理分析服务框架。采用PostgreSQL数据库存储大批量实时动态目标,结合时空索引构建实时目标数据服务和船舶分布绿点图服务,采用ClickHouse数据库存储海量目标航迹数据,结合... 为提升海上船舶态势监控信息化水平,构建了轻量级海量时空数据处理分析服务框架。采用PostgreSQL数据库存储大批量实时动态目标,结合时空索引构建实时目标数据服务和船舶分布绿点图服务,采用ClickHouse数据库存储海量目标航迹数据,结合数据聚合等技术构建历史轨迹调取服务和统计分析数据服务,从而为业务系统提供实时目标获取、船舶分布显示、历史轨迹调阅和动态划线划区统计等服务。该服务框架具有性能高、适应性强和扩展灵活等特征,可用于客户端/服务器端(C/S)系统、浏览器端/服务器端(B/S)系统、手机应用程序(App)和轻应用等。 展开更多

关键词 POSTGRESQL数据库 clickhouse数据库 时空索引 数据聚合

下载PDF 职称材料

基于电网调度域设备监测实时数据采集的实现方法 被引量：2

11

作者 张雄宝 阮诗迪 +3 位作者 唐羿轩 何伊妮 曹伟 叶桂南 《数字技术与应用》 2019年第8期36-38,40,共4页

本文介绍一种基于电网调度域设备监测实时数据采集的实现方法。通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术,解决电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题,实现电网调度域设备监... 本文介绍一种基于电网调度域设备监测实时数据采集的实现方法。通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术,解决电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题,实现电网调度域设备监测数据的实时采集、处理和存储。 展开更多

关键词 电网运行监控系统 实时数据采集 clickhouse时序数据库 kafka集群 分布式任务调度技术

下载PDF 职称材料

基于特定场景的大数据实时分析平台的设计与实现 被引量：1

12

作者 曾小松 张路 《信息技术与标准化》 2022年第7期22-27,共6页

为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种... 为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种主流数据处理架构的优缺点,提出选择Kappa架构,并基于Apache Flink计算引擎来构建大数据实时分析平台,并通过全量数据全运算(会定期运行)、增量数据实时运算两个流处理过程来实现。该方案设计了3种运算结果存储方案,以满足不同应用情形下对最终运算结果的查询效率要求。 展开更多

关键词 大数据 实时分析 KAPPA 架构 Flink NOSQL clickhouse

下载PDF 职称材料