1月31日 · 2021年
面试 6 家公司，拿下三个大厂 offer
4029 11 3
11月23日 · 2020年
基于 Redisson 实现切面分布式锁（升级版）
2350 5 0
11月8日 · 2020年
使用 Feign 调用分页接口报错：Method has too many Body parameters
4411 5 2
9月7日 · 2020年
Sharding-JDBC 支持动态扩容及刷新 ActualDataNodes
12938 20 6
12月1日 · 2019年
junit5 下 wiremock 正确使用方式
3066 9 0
3月17日 · 2020年
Redis中通过scan命令获取key、value【Java实现】
11360 19 6
12月1日 · 2019年
本站事故复盘
2723 61 2
12月5日 · 2019年
MySQL 中 redo log、undo log、binlog 的总结
21736 30 8
Java 开发More使用 Feign 调用分页接口报错：Method has too many Body parameters @ApiOperation(value = "分页查询会话")@PostMapping(Routes.SESSIONS_QUERY)JsonResult<Pagination<SessionInfo>> querySessions(@RequestBody @Valid SessionsQo qo, @PageableDefault(size = 20, sort = "id", direction = Sort.Direction.DESC) Pageable pageable);... 
现象：当添加 jar 包 "org.apache.shardingsphere:sharding-jdbc-core:4.0.0-RC2"(仅用作举例) 后，idea给出下方的提示，并且很多类文件报错，去掉这个 jar 包后，又恢复正常。故猜测应该是 jar 包冲突导致的。... 
年轻代和老年代都是使用的 G1 收集器年轻代收集：YGC(STW)：E 和 S(from) 区 复制到 S(to)(是个 free Region)，然后清除 E 和 S(from) 区中未存活的对象MixGC(年、老年代收集(清理的不是很干净，但是清理的时间特别短))：1、初始标记 (标记 GCroot 直接引用的对象和所在的 Region，这里不止标记 O 区，初次标记一般和 YGC 的 STW 同时进行) 2、根区间扫描（扫描 GCroot 所在的 Region 到 Old 区的引用）3、并发标记（类似 CMS，但是标记的是整个堆，而不是只有 O 区。这期间如果发现某个 Region 所有对象都是\'垃圾\'则标记为 X）4、重新标记（同 CMS，并且将上一步中的 X 区删除，另外，用了 SATB，速度更快，也是 STW）5、复制清理（选择所有 Y 区 Reigons 和\'对象存活率较低\'的 O 区 Regions 组成 Csets，进行复制清理，STW）其实我们不需要完全的清理干净，每次我们只清理大部分也能保证系统的正常运行，这就是 MixGC 做的事情，做个不恰当的比喻，你妈让你打扫房间，你只把眼皮子底下的垃圾捡了就可以过关了，而不用把床底和桌角的垃圾扫干净... 
将 scala 项目重构为 Java 微服务，在进行读迁移时，其中有一块业务数据量是亿级别的，需要进行跨库数据迁移（注意：表结构发生了很大变化），并且在迁移过程中尽量做到不停服迁移。针对亿级别的数据量级，肯定不能使用脚本迁移的方式迁移，更不可能使用 mysqldump 命令进行导入导出进行数据迁移。网上还有以导入导出文件的形式迁移百万级数据，但是这个操作需要修改 mysql 的配置，保险起见，直接 pass ...最终，选择通过 Jdbc 配合 Job 在双写阶段进行数据迁移，待数据迁移基本完毕，并且数据一致性校验没问题后，再进行读迁移的上线（此时，只需要业务方上线，将读切换到现在的微服务即可）。... 
水平分表完成业务代码后，在运行单元测试时，出现了以下两个问题：事务不回滚性能极差：200 个单元测试方法，分表之前，平均耗时 12 分钟左右，分表之后，耗时 50 分钟左右...解释下，分表之前耗时 12 分钟左右的大概原因：对于持久层代码，没有 mock，直接走的 DB单元测试未使用 H2 等内存数据库，因为有一些操作 H2 不支持其它历史问题，下面会提及...
11月8日 · 2020年
使用 Feign 调用分页接口报错：Method has too many Body parameters
4411 5 2
12月2日 · 2019年
gradle 项目解决 jar 包冲突
4212 9 0
8月15日 · 2020年
图解 JVM
1507 8 0
1月27日 · 2020年
通过 Jdbc + Job 解决跨库大表数据迁移
3425 6 0
9月2日 · 2020年
多数据源下的单元测试优化
1901 3 0
数据库More
今天在用 JOOQ 生成代码的时候，即运行 mvn clean install 命令时，出现以下错误，代码中指定的驱动明明是“com.mysql.jdbc.Driver”，但是报错信息中显示的确是驱动“com.mysql.cj.jdbc.Driver”。经搜索，com.mysql.jdbc.Driver 是 mysql-connector-java 5 中的com.mysql.cj.jdbc.Driver 是 mysql-connector-java 6 及以上版本中的..... 
前面写过一篇通过 Jdbc + Job 解决跨库大表数据迁移，那只是个初始版本，后面对其进行了优化改造，数据迁移性能大幅度提升。优化点单实例 Job 优化为多实例 Job单线程优化为多线程普通偏移优化为分段偏移... 本文主要总结下重做日志（redo log）、回滚日志（undo log）、二进制日志（binlog）的概念。redo log 是物理日志，undo log 和 binlog 是逻辑日志，物理日志的恢复速度远快于逻辑日志。innodb 事务日志包括 redo log 和 undo log，redo log 是重做日志，提供前滚操作，undo log 是回滚日志，提供回滚操作。... 
移动互联网时代，随着软件用户量的不断增长，由此产生的数据量也在飞速增长，比如，用户表、订单表、聊天消息表等。据统计，MySQL单表可以存储10亿级数据，只是这时性能比较差，业界公认MySQL单表容量在1KW量级是最佳状态，因为这时它的BTREE索引树高在3~5之间。既然一张表无法搞定，那么就想办法将数据放到多个地方，目前比较普遍的方案有3个：分区要求数据不是海量（分区数有限，存储能力就有限）业务并发能力要求不高分库分表互联网行业处理海量数据的通用方法发展几十年的RDBMS（关系型数据库）具有生态完善、绝对稳定、事务特性的优点，只要有软件的地方，它都是核心存储的首选NoSQL/NewSQLNoSQL/NewSQL宣传的无论多厉害，就现在各大公司对它的定位，都是RDBMS的补充，而不是取而代之... 
目前正在对 scala 项目(某块业务)重构，重构成 Java 微服务，业务、表设计都有些许变化，其中涉及到数据迁移，简单来说就是从老表迁到新表(表结构发生了变化)。为了保证迁移前后数据的一致性，需要进行一些必要的验证。本文主要讨论下自己在进行数据一致性校验时用到的方法，仅仅作为一种数据验证的思路，分享给大家，内容可能有一些瑕疵，欢迎大家指正。... 将 scala 项目重构为 Java 微服务，在进行读迁移时，其中有一块业务数据量是亿级别的，需要进行跨库数据迁移（注意：表结构发生了很大变化），并且在迁移过程中尽量做到不停服迁移。针对亿级别的数据量级，肯定不能使用脚本迁移的方式迁移，更不可能使用 mysqldump 命令进行导入导出进行数据迁移。网上还有以导入导出文件的形式迁移百万级数据，但是这个操作需要修改 mysql 的配置，保险起见，直接 pass ...最终，选择通过 Jdbc 配合 Job 在双写阶段进行数据迁移，待数据迁移基本完毕，并且数据一致性校验没问题后，再进行读迁移的上线（此时，只需要业务方上线，将读切换到现在的微服务即可）。...
12月15日 · 2019年
Error running jOOQ code generation tool: com.mysql.cj.jdbc.Driver..
3369 8 0
3月20日 · 2020年
[升级版]通过 Jdbc + Job 解决跨库大表数据迁移
2508 10 0
12月5日 · 2019年
MySQL 中 redo log、undo log、binlog 的总结
21736 30 8
9月29日 · 2020年
谈谈分库分表的几个核心流程
2531 10 0
11月29日 · 2019年
数据迁移后的一致性校验
10485 20 2
1月27日 · 2020年
通过 Jdbc + Job 解决跨库大表数据迁移
3425 6 0
中间件More需求 目前，有一个基于自增message_id的范围分片表(message_id_mapping)，如何动态地创建分表并刷新分表的配置(ActualDataNodes)？开发 范围分片配置 # message_id_mapping表的路由策略spring.shardingsphere.sharding.tables.message_id_mapping.actual-data-nodes = shardingds.message_id_mappingspring.shardingsphere.sharding.tables.message_id_mapping.table-strategy.standard.sharding-column = message_idspring.shardingsphere.sharding.tables.message_id_mapping.table-strategy.standard.precise-algorithm-class-name = com.xxx.yyy.persistence.config.MessageIdShardingAlgorithmspring.shardingsphere.sharding.tables.message_id_mapping.table-strategy.standard.range-algorithm-class-name = com.xxx.yyy.persistence.config.MessageIdShardingAlgorithm... 
Sharding-JDBC 的性能问题ShardingSphere 与 JOOQ 的版本兼容问题多数据源与 Flyway 的结合问题Sharding-JDBC 与 JOOQ 的兼容问题多数据源下的 DSLContext 配置多数据源下的事务问题数据迁移问题...... 
分布式锁是控制分布式系统或不同系统之间共同访问共享资源的一种锁实现，如果不同的系统或同一个系统的不同主机之间共享了某个资源时，往往需要互斥来防止彼此干扰来保证一致性。由于线上出现了并发问题，导致出现了很多脏数据，分布式环境下，考虑到乐观锁无法解决，也只能请教于分布式锁了。实现分布式锁的方式有：数据库乐观锁、基于 Redis 的分布式锁..... 
Apache ZooKeeper是Apache软件基金会的一个软件项目，他为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper曾经是Hadoop的一个子项目，但现在是一个独立的顶级项目。ZooKeeper的架构通过冗余服务实现高可用性。因此，如果第一次无应答，客户端就可以询问另一台ZooKeeper主机。ZooKeeper节点将它们的数据存储于一个分层的命名空间，非常类似于一个文件系统或一个前缀树结构。客户端可以在节点读写，从而以这种方式拥有一个共享的配置服务。更新是全序的。使用ZooKeeper的公司包括Rackspace、雅虎和eBay，以及类似于象Solr这样的开源企业级搜索系统。... 之前使用过Redis作为分布式锁，但是因为本身特性的局限性，存在很多隐患，故将Redis替换成了Redisson。（由于公司直接买的腾讯云的Redis，对于开发者来说，它是单实例的，屏蔽了内部的底层实现，故本文暂且只考虑Redis是单实例的场景，如果想要了解在多实例情况下，基于Redis/Redisson作为分布式锁，可以自行搜索RedLock的具体实现，也很简单）。...
9月7日 · 2020年
Sharding-JDBC 支持动态扩容及刷新 ActualDataNodes
12938 20 6
8月23日 · 2020年
基于 SpringBoot + (ShardingSphere)Sharding-JDBC + Flyway + JOOQ + Gradle 进行水平分表的问题汇总
4707 7 0
12月7日 · 2019年
基于 Redis 实现分布式锁
2868 6 0
11月29日 · 2019年
ZooKeeper 简单概括
2031 18 0
11月23日 · 2020年
基于 Redisson 实现切面分布式锁（升级版）
2350 5 0
算法相关More
一、零钱兑换 I 自顶向下、使用备忘录(HashMap)的递归解法 // 备忘录Map<Integer, Integer> memoMap = new HashMap<>();public int coinChange(int[] coins, int amount) { // 查备忘录，避免重复计算 if (memoMap.containsKey(amount)) { return memoMap.get(amount); } // base case if (amount == 0) return 0; // 下面的递归入参，假如 amount - coin < 0，则返回 -1 if (amount < 0) return -1; // 最差的情况，就是使用 amount 个面值为 1 的硬币，而 amount + 1 就是个不存在的值，下面要比较最小值，则每次递归都使用 amount + 1 比较求最小值即可 int res = amount + 1; for (int coin : coins) { // 子问题（目标金额减去当前 coin） int subProblem = coinChange(coins, amount - coin); if (subProblem == -1) continue; // 求最值，即 res 与 子问题加上一个 coin(与上面`目标金额减去当前 coin`相对应，即自顶向下的思想) 求最值 res = Math.min(res, subProblem + 1); } res = res == amount + 1 ? -1 : res; memoMap.put(amount, res); return res;}... 
一、路径总和 I 递归 public boolean hasPathSum(TreeNode root, int sum) { if (root == null) { return false; } if (root.left == null && root.right == null) { return root.val == sum; } return hasPathSum(root.left, sum - root.val) || hasPathSum(root.right, sum - root.val);}...
10月18日 · 2020年
零钱兑换问题
1609 4 0
10月25日 · 2020年
路径总和问题
1383 5 0