发布于 2022-03-07
TiDB 处理各种灾难故障可谓轻车熟路,但是常言道“天灾易躲,人祸难防”,对于各种误操作、bug 写入错误数据、甚至删库跑路,目前还没什么招。我们项目最初也是为了处理这些“意料之外”的事故。项目最初的名字叫 TiDB Flashback,后来又觉得这个名字过于贫瘠,无法体现项目内容的优... (more)
好久没写东西了, 正好趁着春节的节后综合症发作写写文章热身一下,记得前几年偶尔会写一些关于 TiDB 产品功能解读的文章,TiDB 5.0 发了那么长时间了,也应该写一写了。我其实在多个场合里表达过我对于 5.0 的重视,这个版本可能是对于 TiDB 来说的 MySQL 5.x,熟悉 MySQL 生态的... (more)
发布于 2022-03-04
TiDB 5.4 作为 2022 年开山之作,包含了许多有用有益的新功能和持续性的性能/稳定性提升。 本文着重介绍重要新增功能和特性所带给用户的新体验和价值 ,按照以下章节来组织:基础性能优化和提升面向云环境的功能拓展产品易用性和运维支持新增实用性功能涉及到的系统配置开关选... (more)
发布于 2022-03-03
引言TiCDC 作为 TiDB 的数据同步组件,负责直接从 TiKV 感知数据变更同步到下游。其中比较核心的问题是数据解析正确性问题,具体而言就是如何使用正确的 schema 解析 TiKV 传递过来的 Key-Value 数据,从而还原成正确的 SQL 或者其他下游支持的形式。本文主要通过对 TiDB Onli... (more)
发布于 2022-03-02
前言Relay log 类似 binary log,是指一组包含数据库变更事件的文件,加上相关的 index 和 mata 文件,具体细节参考 官方文档。在 DM 中针对某个上游开启 relay log 后,相比不开启,有如下优势:不开启 relay log 时,每个 subtask 都会连接上游数据库拉取 binlog 数据,会对上游数据库... (more)
发布于 2022-03-01
曾几何时,人们在换手机时如何将数据备份/恢复还是一个令人头疼的问题。iCloud 的出现将 iPhone 的备份管理解决得无比漂亮,而且非常深入人心,现在 iPhone 用户换手机已经是一件没什么压力的事情。而对于每一个数据库用户而言,数据库备份/恢复也是一项刚需,虽然备份管理经常被... (more)
发布于 2022-02-15
作者:熊浪,平安科技资深数据库架构师,在关系型和非关系型分布式数据库技术领域具有丰富的经验,担任平安集团去 O 分布式项目经理,负责分布式数据库选型和架构设计工作。 平安科技是平安集团旗下科技解决方案专家,践行“科技赋能金融、科技驱动生态”的企业使命,赋能集团金融服... (more)
Hackathon 大赛中的点子和项目有很多, 团队中这种协同合作,不畏困难,相互扶持的团队精神更是可贵。所以 Hackathon 的奖项在我们心里算个事儿,因为他毕竟代表了评委对我们项目的认可;但是没获奖也不算什么大事儿,因为有这样的团队在,夫复何求!—— Ti-可立刻在 TiDB Hackathon 20... (more)
数据湖是大数据领域近年来非常火热的技术,传统数仓无法实现增量数据的实时更新,也无法支持灵活的元数据格式,数据湖技术便在这一背景下诞生了。数据库的增量变更是数据湖中增量数据的主要来源,但目前 TiDB 的入湖路径还比较割裂,全量变更用 Dumpling 组件,增量变更用 TiCDC 组... (more)
发布于 2022-01-28
根据马斯洛需求层次理论,当基本的生理和安全需求被满足了之后,人们就需要去满足更高级别的精神级别的需求。 > ——周志强,滑滑蛋队长,PingCAP Chaos Mesh 开发工程师当 TiDB 集群以一群小羊的形象出现在你面前,还咩咩叫的时候,可能再严肃的程序员都会感受到“更高级别的精... (more)
TiDB开源分布式关系型数据库,是一款定位于在线事务处理/在线分析处理( HTAP: Hybrid Transactional/Analytical Processing)的融合型数据库产品,实现了一键水平伸缩,强一致性的多副本数据安全,分布式事务,实时 OLAP 等重要特性。同时兼容 MySQL 协议和生态,迁移便捷,运维成本极低。