分布式数据库

分布式数据库和关系数据库_三大分布式数据库_主流分布式数据库

相信很多小伙伴对这张照片并不陌生,这是去年人类第一次拍摄的 M87 中心黑洞的照片,从1915年,爱因斯坦提出相对论预言黑洞的存在到 2019 年我们终于第一次「看到」了黑洞的样子,中间整整相隔了 100 多年,这对于人类认识黑洞乃至认识宇宙都是一个里程碑式的事件。人类是一个感性的动物,所谓「一图胜千言」很多时候一张图传达的信息超过千言万语。通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。

分布式数据库

分布式数据库和关系数据库_三大分布式数据库_主流分布式数据库

相信很多小伙伴对这张照片并不陌生,这是去年人类第一次拍摄的 M87 中心黑洞的照片,从1915年,爱因斯坦提出相对论预言黑洞的存在到 2019 年我们终于第一次「看到」了黑洞的样子,中间整整相隔了 100 多年,这对于人类认识黑洞乃至认识宇宙都是一个里程碑式的事件。人类是一个感性的动物,所谓「一图胜千言」很多时候一张图传达的信息超过千言万语。通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。

HBase原理 | HBase Compaction介绍与参数调优

HBase原理 | HBase Compaction介绍与参数调优

我们知道,数据达到HBase服务端会写WAL-写Memstore,然后定期或满足一定条件时刷写磁盘生成一个HFile文件,随着时间推移生成的HFile会越来越多,将会影响HBase查询性能,同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。...

分布式集群如何实现高效的数据分布

分布式集群如何实现高效的数据分布

随着互联网的发展,用户产生的数据越来越多,企业面临着庞大数据的存储问题,目前市面上主流的分布式大数据文件系统,都是对数据切片打散,通过离散方法将数据散列在集群的所有节点上,本文将带你了解DHT(Distributed Hash Table):分布式哈希表是如何实现数据的分布式离散存储的。...

如何做到 10T 集群数据安全备份、1GB/s 快速恢复?

如何做到 10T 集群数据安全备份、1GB/s 快速恢复?

数据库作为基础设施,其安全性不言而明,因此数据安全备份和恢复功能是在严肃使用场景下的标配。TiDB 作为一款分布式数据库,目前可以满足超大集群的备份恢复的需求,经过测试,10T 数据的备份恢复速度可以达到 GB/s 级别。这得益于我们研发的分布式备份恢复工具 Backup&Restore That Scales(以下简称 BR)。...

十年验证,腾讯数据库RTO<30s,RPO=0高可用方案首次全景揭秘

十年验证,腾讯数据库RTO<30s,RPO=0高可用方案首次全景揭秘

为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密,都在这!》,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。三月为TDSQL专题月,本文将带来直播回顾第二篇......

大变局:中国数据库市场拐点已来

大变局:中国数据库市场拐点已来

一直以来,中国数据库市场都是国际厂商唱主角,本土厂商在巨大的市场竞争压力中孱弱前行。积跬步、至千里,卧薪尝胆的本土厂商在2019年一系列精彩表现,让人们看到了中国数据库厂商取得突破的希望,市场竞争似乎开始进入一个全新的阶段,拐点悄悄到来。 ...

快速学习-HBase安装

快速学习-HBase安装

提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。 修复提示: a、同步时间服务 请参看帮助文档:《尚硅谷大数据技术之Hadoop入门》 b、属性:hbase.master.maxclockskew设置更大的值...

瞎扯 Hbase ,很多人都理解错了

瞎扯 Hbase ,很多人都理解错了

今天扯一下 Hbase ,我对 Hbase 的了解起源于两篇文章Understanding HBase and BigTable和《李逵麻子,李鬼坑人--BigTable的数据模型》;这两篇本质上还是一篇文章,《李逵麻子,李鬼坑人--BigTable的数据模型》类似于Understanding HBase and BigTable的中文版讲解。还好的是我是先读的这两篇文章,再去看 Hbase 的官......

亿级流量下平滑扩容:TDSQL水平扩容方案实践

亿级流量下平滑扩容:TDSQL水平扩容方案实践

为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密,都在这!》,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。本文将带来直播回顾第三篇《亿级流量场景下的平滑扩......

DBA 减负捷径:拍个 CT 诊断集群热点问题 | TiDB 4.0 新特性前瞻(一)

DBA 减负捷径:拍个 CT 诊断集群热点问题 | TiDB 4.0 新特性前瞻(一)

古代,医者看病讲究「望、闻、问、切」,通过病人的外部综合表现对病症做出判断。现代,CT 的发明使得人们可以使用 X 光穿透身体各组织内部,将整体的情况以图像的方式展现出来,医生可以根据这个信息快速地排查问题。CT 的出现不仅将诊断的效率提升到了新的高度,也给客观描述身体状态提供了一个标准,是医学史上重要的里程碑。...

我眼中的分布式系统可观测性

我眼中的分布式系统可观测性

相信很多小伙伴对这张照片并不陌生,这是去年人类第一次拍摄的 M87 中心黑洞的照片,从1915年,爱因斯坦提出相对论预言黑洞的存在到 2019 年我们终于第一次「看到」了黑洞的样子,中间整整相隔了 100 多年,这对于人类认识黑洞乃至认识宇宙都是一个里程碑式的事件。人类是一个感性的动物,所谓「一图胜千言」很多时候一张图传达的信息超过千言万语。...

5分钟了解并发编程中的『锁』

5分钟了解并发编程中的『锁』

计算机中有一门经典的课程叫『操作系统』,里面花很少的篇幅讲了『锁』,锁是在执行多线程时用于强行限制资源访问的同步机制,即用于在并发控制中保证对互斥要求的满足。虽然字不多,但事大,特别是在人人都要懂高并发的今天,『锁』变成了高级程序员的必备技能。...

支付宝的架构到底有多牛逼?

支付宝的架构到底有多牛逼?

大部分应用服务器就像一个个计算器,自身是不对写一致性负责的,这个任务被下沉到了数据库。所以蚂蚁解决分布式一致性问题的关键就在于数据库!想必蚂蚁的读者大概猜到下面的讨论重点了——OceanBase(下文简称OB),中国第一款自主研发的分布式数据库,一时间也确实获得了很多光环。...

腾讯分布式数据库TDSQL金融级能力的架构原理解读

腾讯分布式数据库TDSQL金融级能力的架构原理解读

为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密,都在这!》,邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。三月为TDSQL专题月,本文将带来直播回顾第一篇......