【2024秋招】2023-10-17 金山云文档服务端二面

本文介绍: 当我们使用游标或seek 方法进行分页时，我们不再使用传统的OFFSET和LIMIT。取而代之的是，我们根据上一页的最后一个记录的标识（通常是一个递增的ID）来查询下一页的数据。// 每页的记录数 int lastId = 0;// 上一页的最后一个记录的ID try(Co nn ec t ion connection = Dr i v e rMana g e r . getCo nn ec t ion(url , user , password)) {

答：同步过程中会记录断点，表示每一批同步成功时的位置，如果对端出现问题，则下一次同步会继续从这个断点后开始同步。

答：一般对于同步过程中出现异常的，我们都会进行记录，并且记录异常原因，稍后会通过人工会根据捕获的异常修复漏洞，然后点击按钮进行一次基于库或者表级别的同步，这个过程也是基于上次的断点同步的

答：通过比较源端表和目的端表的记录行数，就可以确定最终是否同步完成

答：我使用的是jdbc 原生接口，每一次拉取到一批数据的时候，就会执行一次 executeBatc h 方法，然后会在进行commit 操作，这个接口本身有返回值，如果能继续同步下一批，就说明同步成功，如果失败会抛异常，也会被捕获

答：

（1）必要的时候可以打破三范式

2.3.1 在拥有上亿条记录的表中使用 `LIMIT` 进行分页 查询时，可能会遇到以下问题：

通过考虑上述方法并根据具体的应用和需求选择合适的方法，可以有效地解决在大数据集上使用 LIMIT 进行分页查询的问题。

sqlCopy codeSELECT * FROM your_big_table ORDER BY some_column LIMIT 9999900, 100;

当我们使用游标或s ee k方法进行分页时，我们不再使用传统的 OFFSET 和 LIMIT。取而代之的是，我们根据上一页的最后一个记录的标识（通常是一个递增的ID）来查询下一页的数据。

String url = "jdbc:mysql://localhost:3306/your_database";
String user = "username";
String password = "password";

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class SeekPaginationDemo {

    public static void main(String[] args) {
        String url = "jdbc:mysql://localhost:3306/your_database";
        String user = "username";
        String password = "password";

        int pageSize = 10; // 每页的记录数
        int lastId = 0; // 上一页的最后一个记录的ID

        try (Connection connection = DriverManager.getConnection(url, user, password)) {
            String sql = "SELECT * FROM your_table WHERE id > ? ORDER BY id ASC LIMIT ?";

            try (PreparedStatement preparedStatement = connection.prepareStatement(sql)) {
                preparedStatement.setInt(1, lastId);
                preparedStatement.setInt(2, pageSize);

                try (ResultSet resultSet = preparedStatement.executeQuery()) {
                    while (resultSet.next()) {
                        int id = resultSet.getInt("id");
                        String name = resultSet.getString("name");
                        // ... 其他列 ...

                        System.out.println("ID: " + id + ", Name: " + name);
                        
                        // 更新lastId为当前记录的ID
                        lastId = id;
                    }
                }
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

这个示例展示了如何基于上一页的最后一个记录的ID来获取下一页的数据。当你需要获取下一页面时，只需再次运行上述代码，并使用更新后的 lastId。

因此，当你使用游标分页时，可以更高效地从索引中查找和检索数据，而不必扫描那些之前的、不必要的记录。这对于大型数据集尤为有用，因为使用传统的LIMIT和OFFSET可能会导致随着页码增大而逐渐变慢。

是的，当你使用SELECT * FROM table ORDER BY id LIMIT 500, 10这样的查询，它首先会根据ORDER BY条件对数据进行排序（如果使用了索引，如主键索引，那么排序操作会更快），然后跳过前500条记录，最后返回接下来的10条记录。

在这种情况下，虽然排序操作可能很快（尤其是当排序字段有索引时），但跳过前500条记录是需要时间的，特别是当这个数字（在这里是500）变得很大时，这种分页方式的性能开销会增加。这就是为什么当数据集非常大时，使用OFFSET方式的分页可能会导致性能问题，而基于游标或keyset的分页方法在这种场景下会更优越。

order_id：订单的唯一标识符。通常是一个自增的整数或者一个UUID。

customer_id：与下订单的客户关联的唯一标识符。

order_date：订单创建的日期和时间。

shipping_address：送货地址。

billing_address：账单地址。

total_amount：订单的总金额。

tax_amount：应付的税额。

shipping_cost：运输费用。

order_status：订单的状态，例如'待处理'、'已发货'、'已完成'、'已取消'等。

payment_method：支付方式，如'信用卡'、'PayPal'、'货到付款'等。

payment_status：支付状态，如'未支付'、'已支付'、'部分支付'等。

shipping_method：送货方式，如'标准'、'快递'、'自提'等。

expected_delivery_date：预期的送货日期。

actual_delivery_date：实际的送货日期。

notes：关于订单的任何其他说明或注释。

created_at 和 updated_at：记录创建和最后更新的时间戳。

只考虑字段：4 + 4 + 8 + 127.5 + 127.5 + 14 + 14 + 14 + 25 + 25 + 25 + 25 + 3 + 3 + 100 + 8 + 8 = 624字节
考虑到荣誉以及索引、锁记录等的开销：624+

是否为NULL，那么对于上述的17个字段，这将是2.125字节。
4. 索引：索引的大小非常依赖于数据和所使用的索引类型。作为一个简化的估计，假设我们为order_id和customer_id创建了两个B-tree索引。B-tree索引的大小主要取决于键的大小、树的深度和填充因子。假设每个索引条目占用20字节（键的大小+指针），对于100,000条记录的表，索引大小约为2MB。如果我们按记录计算，那么每条记录为这两个索引贡献了约20字节。

4 * 10^9 *650B*1.2 = 4*780* 10^9 =3120G=3.12T

这只是一个基本的估算方法。如果你需要更精确的估算，可能需要考虑使用特定于数据库的工具或命令。例如，在MySQL中，你可以使用SHOW TABLE STATUS命令来查看表的实际大小。

显示所有内容

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

同步断点记录

1 实习

1.1 讲解一下curd启动器

1.2 数据同步的过程是怎么实现的，同步过程中的数据一致性怎么保证的

1.3 当对端出现故障时，线程会抛异常然后被捕获并且记录，那么这个库的同步不就相当于终止了吗，而且这个异常线程也会消失，你怎么让他同步完整的表（重要）

1.4 线程怎么感知到已经同步完一张表了呢

1.5 你是需要从公司的数据库拉一批数据到内存中，然后再同步到对端的数据库，你是怎么知道这一批执行成功的呢，有什么通知机制吗?

2 mysql

2.1 设计mysql表结构的时候，需要考虑到哪些点

2.2 覆盖索引

2.3 场景题：在上亿条记录的表中使用limit做分页查询时会碰到什么问题，怎么解决（重点）

2.3.1 在拥有上亿条记录的表中使用 LIMIT 进行分页查询时，可能会遇到以下问题：

2.3.2 如何解决这些问题？

2.3.3 对于大表，使用 LIMIT 进行深度分页可能会消耗大量的内存，因为数据库需要缓存大量的行来处理这样的查询。举个例子

2.3.4 与其使用 `LIMIT m,n`，不如记录上一页的最后一个记录的ID或其他标识，然后查询“大于此ID”的下一页记录。这种方法被称为游标或seek方法。 给个java的demo，使用游标时，sql语句怎么写呢？

2.3.7 SELECT * FROM table order by id LIMIT 500, 10 这种也是会扫描前500吗？

2.3.8 SQL游标（Cursor in SQL）和 游标方式分页（Keyset or Cursor-based Pagination）的区别

2.4 评估一张表的存储空间，一般是怎么计算的，包括内存和磁盘，假设金山的用户量为2亿，每一个人半年产生一次订单，然后需要多少个这样的数据库去存储呢？

2.4.1 计算字段数

2.4.2 计算一条记录占用的空间

2.4.3 除了字段的存储，还需要考虑其他的开销，如记录的元数据、索引、行的开销等，大概也估算一下

2.4.4 总量计算：一年产生的订单数 * 一条记录占用的空间大小

2.4.5 磁盘使用数量

2.5 秒杀系统中订单的唯一性怎么解决

2.6 设计一个高并发的分布式id生成器（场景设计题）

3 消息队列

3.1 为什么使用kafka而不是rabbitMQ呢

4 redis

4.1 redis做分布式锁怎么实现的

4.2 redission分布式锁具体是怎么实现的

5 rpc框架

5.1 你实现rpc的思路是怎么样的，怎么做任务拆减(其实就是在问rpc框架的组成部分)

5.2 假设我要现在写了一个服务，要对接你的这个rpc框架，得注意些什么呢

5.3 你推荐用哪一种序列化协议

5.4 讲讲protobuff的向前和向后兼容性

6 反问

6.1 讲讲你们部门的业务

6.2 您这个部门的人数

6.3 是用go吗

6.4 表现如何

6.5 base有限制吗

相关文章

发表回复 取消回复

1.1 讲解一下cur d 启动器

2.1 设计 mysql表结构的时候，需要考虑到哪些点

2.3.1 在拥有上亿条记录的表中使用 `LIMIT` 进行分页查询时，可能会遇到以下问题：

2.3.4 与其使用 `LIMIT m,n`，不如记录上一页的最后一个记录的ID或其他标识，然后查询“大于此ID”的下一页记录。这种方法被称为游标或seek方法。给个java的demo，使用游标时，sql 语句怎么写呢？

2.3.8 SQL游标（Cursor in SQL）和游标方式分页（Keyset or Cursor-based Paginati on）的区别

5 rpc 框架

5.1 你实现rpc的思路是怎么样的，怎么做任务拆减(其实就是在问rpc 框架的组成部分)

5.2 假设我要现在写了一个服务，要对接你的这个rpc 框架，得注意些什么呢

发表回复取消回复