我有一份 18 个 G 的 sql 文件, sql server 格式的,在导入过程中,老是导入一些就停止,然后我就删除 sql 文件已导入的部分,再重新运行 sql 文件,有一段删除之后忘了保存,直接运行了 sql 文件,导致有一部分数据重复,数据字段全是可重复的,有什么方法能去重码,数据量太大了
1
Mithril 345 天前
Group By 然后 Count ID > 1 ,删掉这些就行了
|
2
makejohn2015 OP @Mithril 主要就是数据太大, 这个重复的数据, 其实是在一个范围内的, 我能不能找到第一个重复的和最后一个重复的, 然后把这个区间内的删掉, 直接全表查的话,会不会太大呢
谢谢 |
3
Mithril 345 天前
@makejohn2015 你自己找个大概范围设进去就行了
|
4
alinwu05 345 天前
用存储过程去删除就行。导入的时候不用管有没有重复
WITH CTE AS ( SELECT [YourPrimaryKeyColumn], /* other columns, if any */ ROW_NUMBER() OVER (PARTITION BY [YourPrimaryKeyColumn] ORDER BY (SELECT NULL)) AS RowNum FROM YourTableName ) DELETE FROM CTE WHERE RowNum > 1; |