MySQL 中重复数据的删除方法

在 MySQL 数据库管理中，处理重复数据是常见的任务。重复数据不仅占用额外的存储空间，还可能影响查询性能和数据的准确性。下面将介绍几种有效的方法来删除 MySQL 中的重复数据。

利用 DISTINCT 关键字结合临时表

可以使用 DISTINCT 关键字来创建一个包含唯一数据的临时表，然后将原表数据清空，再把临时表中的数据插回到原表。

例如，有一个名为 employees 的表，包含 id、name 和 age 字段。要删除重复数据，可以这样操作：

-- 创建临时表存储唯一数据
CREATE TEMPORARY TABLE temp_employees AS
SELECT DISTINCT * FROM employees;

-- 清空原表
TRUNCATE TABLE employees;

-- 将临时表数据插回原表
INSERT INTO employees SELECT * FROM temp_employees;

-- 删除临时表
DROP TEMPORARY TABLE temp_employees;

这种方法适用于数据量较小的情况，因为创建和操作临时表会带来一定的开销。

利用 GROUP BY 子句

另一种方法是使用 GROUP BY 子句结合 MIN 或 MAX 函数来保留每条重复记录中的一条。假设 employees 表有一个自增的 id 字段，要删除除 id 最小的那条记录之外的所有重复记录，可以使用以下查询：

DELETE FROM employees
WHERE id NOT IN (
    SELECT min_id FROM (
        SELECT MIN(id) AS min_id
        FROM employees
        GROUP BY name, age
    ) AS subquery
);

这里通过 GROUP BY 按 name 和 age 分组，然后使用 MIN 函数找出每组中 id 最小的记录。外部查询删除那些不在最小 id 集合中的记录。

利用 ROW_NUMBER() 窗口函数

在支持窗口函数的 MySQL 版本中，可以使用 ROW_NUMBER() 来给每组重复记录编号，然后删除编号大于 1 的记录。

WITH RankedEmployees AS (
    SELECT id, name, age,
        ROW_NUMBER() OVER (PARTITION BY name, age ORDER BY id) AS row_num
    FROM employees
)
DELETE FROM employees
WHERE id IN (
    SELECT id FROM RankedEmployees
    WHERE row_num > 1
);

PARTITION BY 子句按 name 和 age 进行分组，ORDER BY id 确保编号顺序。最后删除编号大于 1 的记录。

掌握这些删除 MySQL 重复数据的方法，能帮助数据库管理员更好地管理和优化数据库，提高系统性能和数据质量。