SQL 怎样过滤重复数据

在数据库管理和数据处理工作中，经常会遇到数据重复的问题。这些重复数据不仅占据存储空间，还可能影响数据分析结果的准确性。学会使用 SQL 过滤重复数据至关重要。

使用 DISTINCT 关键字是 SQL 中过滤重复数据的基本方法。当我们只需要获取某一列或多列组合的唯一值时，DISTINCT 关键字就派上用场了。例如，在一个员工信息表中，有“姓名”“部门”“职位”等列，若要获取所有不重复的部门名称，可以使用如下语句：SELECT DISTINCT 部门 FROM 员工信息表; 这将返回一个包含所有唯一部门名称的结果集，去除了重复的部门记录。如果要获取“部门”和“职位”组合的唯一值，语句则为：SELECT DISTINCT 部门, 职位 FROM 员工信息表;

GROUP BY 子句也能用于过滤重复数据。它通常用于将查询结果按某一列或多列进行分组，结合聚合函数使用时效果更佳。例如，我们想统计每个部门的员工人数，同时确保每个部门只出现一次。可以使用以下语句：SELECT 部门, COUNT(*) AS 员工人数 FROM 员工信息表 GROUP BY 部门; 这里，GROUP BY 子句按“部门”列对数据进行分组，COUNT(*) 函数统计每个组中的记录数，这样就得到了每个部门的唯一统计结果。

如果要在更复杂的场景下过滤重复数据，窗口函数也能发挥重要作用。例如，在一个包含销售记录的表中，有“销售日期”“销售人员”“销售额”等列，我们希望保留每个销售人员每天销售额最高的那条记录。可以使用如下语句：

WITH RankedSales AS (
    SELECT 
        销售日期, 
        销售人员, 
        销售额, 
        RANK() OVER (PARTITION BY 销售人员, 销售日期 ORDER BY 销售额 DESC) AS ranking
    FROM 
        销售记录表
)
SELECT 
    销售日期, 
    销售人员, 
    销售额
FROM 
    RankedSales
WHERE 
    ranking = 1;

这段代码首先使用 RANK() 窗口函数为每个销售人员每天的销售记录按销售额进行排名，然后在外部查询中只选择排名为 1 的记录，从而实现了过滤重复数据，保留了每天销售额最高的记录。

通过灵活运用 DISTINCT 关键字、GROUP BY 子句和窗口函数等方法，我们可以根据不同的数据需求和场景，有效地在 SQL 中过滤重复数据，提升数据处理和分析的效率与质量。