SQL 中实现去重的方法

在数据库操作中，数据去重是一个常见的需求。SQL 提供了多种方法来实现这一功能，下面将详细介绍几种常用的去重方式。

使用 DISTINCT 关键字

这是 SQL 中最基本、最简单的去重方法。DISTINCT 关键字用于从查询结果中去除重复的行。其语法格式为：SELECT DISTINCT column1, column2,... FROM table_name;

例如，有一个名为 employees 的表，包含列 id、name 和 department。如果要获取不重复的部门列表，可以使用以下查询：SELECT DISTINCT department FROM employees;

DISTINCT 会对指定列的组合进行去重。如果选择多个列，只有当这些列的组合完全相才会被视为重复行并去除。

使用 GROUP BY 子句

GROUP BY 子句也可以用于实现去重效果。当对某一列或多列使用 GROUP BY 时，它会将具有相同值的行分组在一起，然后可以选择每个组中的一行作为代表。

例如：SELECT department FROM employees GROUP BY department;

与 DISTINCT 不同的是，GROUP BY 更侧重于分组操作，在分组的基础上可以进行聚合计算等其他操作。如果只是单纯去重，DISTINCT 语法更为简洁。但在需要结合聚合函数时，GROUP BY 就显得更为灵活。比如要统计每个部门的员工数量，就可以这样写：SELECT department, COUNT(*) FROM employees GROUP BY department;

使用 ROW_NUMBER() 函数

在某些复杂场景下，需要根据特定的排序规则去重，这时可以使用 ROW_NUMBER() 函数。该函数会为查询结果中的每一行分配一个唯一的行号，基于指定的排序标准。

例如，假设有一个包含重复记录的表 products，希望根据 product_name 去重，并保留价格最高的那一条记录。可以这样写：

WITH ranked_products AS (
    SELECT *,
        ROW_NUMBER() OVER (PARTITION BY product_name ORDER BY price DESC) AS row_num
    FROM products
)
SELECT *
FROM ranked_products
WHERE row_num = 1;

在上述查询中，通过 PARTITION BY 按照 product_name 进行分区，在每个分区内根据 price 进行降序排序，分配行号。最后只选择行号为 1 的记录，即每个产品名称下价格最高的记录。

通过合理运用这些方法，能够有效解决 SQL 中数据去重的问题，满足不同业务场景下的数据处理需求。