阅读量:0
使用
DELETE 语句结合子查询，可以删除重复的表数据。，，``sql，DELETE FROM your_table，WHERE id NOT IN (， SELECT MIN(id)， FROM your_table， GROUP BY column1, column2, ...，);，`，，请将 your_table 替换为实际的表名，并将 column1, column2, ...` 替换为用于判断重复数据的列名。在MySQL中，删除重复数据是一个常见的操作，通常用于确保数据的完整性和一致性，以下是几种常用的方法来查询并删除重复数据：
使用DISTINCT关键字去重
1、查询不重复的数据：
使用DISTINCT关键字可以去除查询结果中的重复数据，要查询表中不重复的数据，可以使用以下语句：
```sql
SELECT DISTINCT name FROM my_table;
```
2、删除重复数据：
要删除表中的重复数据，只保留每个重复数据记录中id最小的记录，可以使用以下语句：
```sql
DELETE FROM my_table
WHERE id NOT IN (
SELECT MIN(id) FROM my_table GROUP BY name
);
```
使用GROUP BY和HAVING语句去重
1、查询重复的数据：
使用GROUP BY和HAVING语句可以查询表中的重复数据，要查询表中重复的数据，可以使用以下语句：
```sql
SELECT name, COUNT(*) as count
FROM my_table
GROUP BY name
HAVING count > 1;
```
2、删除重复数据：
要删除表中的重复数据，只保留每个重复数据记录中id最小的记录，可以使用以下语句：
```sql
DELETE FROM my_table
WHERE id NOT IN (
SELECT MIN(id) FROM my_table GROUP BY name
);
```
使用UNIQUE索引去重
1、添加UNIQUE索引：
UNIQUE索引可以保证表中的某个字段不重复，要给表中的name字段添加UNIQUE索引，可以使用以下语句：
```sql
ALTER TABLE my_table
ADD UNIQUE (name);
```
2、删除重复数据：
如果有重复数据，使用上述语句添加UNIQUE索引时，会删除表中的所有重复数据，只保留其中id最小的记录。
使用临时表去重
1、创建新表：
创建一个新表，字段与老表相同。
2、建立唯一索引：
在新表上建立唯一索引。
3、逐条插入数据：
编写程序或利用存储过程，逐条往新表插入数据，最后的新表即想要的结果。
使用窗口函数去重（MySQL 8.0及以上版本）
1、查询重复的数据：
使用窗口函数ROW_NUMBER()可以标记每组中的重复行，要查询表中的重复数据，可以使用以下语句：
```sql
SELECT *, ROW_NUMBER() OVER(PARTITION BY name ORDER BY id) AS row_number
FROM my_table;
```
2、删除重复数据：
要删除表中的重复数据，只保留每个重复数据记录中id最小的记录，可以使用以下语句：
```sql
DELETE FROM my_table
WHERE id IN (
SELECT id FROM (
SELECT id, ROW_NUMBER() OVER(PARTITION BY name ORDER BY id) AS row_number
FROM my_table
) temtable
WHERE temtable.row_number > 1
);
```
常见问题解答FAQs
1、如何查询指定条件下的重复数据？
要查询指定条件下的重复数据，可以使用WHERE子句结合GROUP BY和HAVING语句，要查询USER_NAME为特定值的重复记录，可以使用以下语句：
```sql
SELECT * FROM t_official_sys_user WHERE USER_NAME in (
SELECT USER_NAME FROM (
SELECT USER_NAME
FROM t_official_sys_user
GROUP BYUSER_NAME HAVING count(1) > 1
) as temtable
);
```
2、如何高效地删除大量重复数据？
如果需要删除大量重复数据，建议先备份数据，然后使用上述方法之一进行删除，在删除过程中，注意监控数据库性能，避免长时间锁定表，如果可能，可以在非高峰时间执行删除操作。
