SQL 如何去除重复数据

在数据库管理与数据分析工作中，处理重复数据是常见的需求。重复数据不仅占用额外的存储空间，还可能干扰数据分析结果的准确性。下面将详细介绍几种在 SQL 中去除重复数据的方法。

1. 使用 DISTINCT 关键字

DISTINCT 关键字是去除重复数据的基本方法，它可以确保查询结果中的每一行都是唯一的。语法如下：

SELECT DISTINCT column1, column2 
FROM your_table;

上述代码中，column1 和 column2 是你想要查询的列，your_table 是目标表。使用 DISTINCT 关键字时，它会考虑所有指定列的组合，只有当所有列的值组合都相同时才会被视为重复数据并去除。例如，在员工表中查询不重复的部门和职位组合：

SELECT DISTINCT department, position 
FROM employees;

2. 使用 GROUP BY 子句

GROUP BY 子句也可用于去除重复数据，它会根据指定的列对数据进行分组，然后可以对分组后的数据进行聚合操作。虽然 GROUP BY 主要用于聚合，但也能达到去重效果。

SELECT column1, column2 
FROM your_table 
GROUP BY column1, column2;

与 DISTINCT 不同，使用 GROUP BY 时，若要获取完整的行数据，除了 GROUP BY 子句中的列，其他列通常需要使用聚合函数。比如在销售记录表中，想获取不同产品的销售记录去重：

SELECT product_id, SUM(quantity_sold) 
FROM sales_records 
GROUP BY product_id;

3. 使用 ROW_NUMBER() 函数

对于更复杂的去重场景，ROW_NUMBER() 函数非常有用。它可以为结果集的每一行分配一个唯一的行号，基于指定的排序规则。通过结合窗口函数和子查询，可以有选择地保留或删除重复行。

WITH ranked_data AS (
    SELECT *, 
        ROW_NUMBER() OVER (PARTITION BY column1, column2 ORDER BY column3) AS row_num
    FROM your_table
)
SELECT * 
FROM ranked_data 
WHERE row_num = 1;

这里 PARTITION BY 子句用于定义分组，ORDER BY 用于指定排序。上述代码会为每一组 column1 和 column2 相同的数据分配行号，最后只选择行号为 1 的行，即每组的第一条记录。

掌握这些 SQL 去重方法，能让你在数据库操作中更加高效地处理数据，确保数据的准确性和一致性，为后续的数据分析和业务决策提供坚实的基础。