有的时候咱们有一个文本,然后你猜怎么?这一个文本里面一大堆重复的东西,所以我写了个文本一键去重python脚本,不用再搁这手动的一个一个去重了,麻烦死,费劲死,哎,弄的还挺慢。
这是前两天我在搞那个扫描字典的时候发现很多字典都是重复的,所以去重的时候我写的这个脚本,经过测试,可以正常去重,大家也可以试一下这个脚本。
脚本如下
def remove_duplicates_and_overwrite_preserve_order(file_path):
seen_lines = []
with open(file_path, 'r') as f:
for line in f:
if line not in seen_lines:
seen_lines.append(line)
# 写回文件,覆盖原有内容,同时保持原始顺序
with open(file_path, 'w') as f:
f.writelines(seen_lines)
# 使用函数
remove_duplicates_and_overwrite_preserve_order(r'E:/Users/13091/Desktop/工具箱/10月26日御剑1.5/域名.txt')
使用方法,把脚本粘贴上去,最下面的路径给他修改一下,修改成你要去重的那个文本路径,我这个脚本是单文本去重,只能去重一个文本,我也弄了一个遍历所有文件夹,下面的所有文本去重脚本,但是不知道为啥测试的时候不管用,等我明天测试好了也发上。