SQL Server 去除重复数据问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 320 天前的主题，其中的信息可能已经有所发展或是发生改变。

我有一份 18 个 G 的 sql 文件, sql server 格式的,在导入过程中,老是导入一些就停止,然后我就删除 sql 文件已导入的部分,再重新运行 sql 文件,有一段删除之后忘了保存,直接运行了 sql 文件,导致有一部分数据重复,数据字段全是可重复的,有什么方法能去重码,数据量太大了

SQL

导入

文件

Server

4 条回复 • 2024-01-13 20:07:57 +08:00

Mithril

319 天前

Group By 然后 Count ID > 1 ，删掉这些就行了

makejohn2015

319 天前

@Mithril 主要就是数据太大, 这个重复的数据, 其实是在一个范围内的, 我能不能找到第一个重复的和最后一个重复的, 然后把这个区间内的删掉, 直接全表查的话,会不会太大呢
谢谢

Mithril

319 天前

@makejohn2015 你自己找个大概范围设进去就行了

alinwu05

319 天前

用存储过程去删除就行。导入的时候不用管有没有重复

WITH CTE AS (
SELECT
[YourPrimaryKeyColumn],
/* other columns, if any */
ROW_NUMBER() OVER (PARTITION BY [YourPrimaryKeyColumn] ORDER BY (SELECT NULL)) AS RowNum
FROM
YourTableName
)
DELETE FROM CTE WHERE RowNum > 1;