Страницы

Поиск по вопросам

вторник, 9 апреля 2019 г.

Удаление дублирующихся строк в файле

Есть текстовой файл, в нём 1000 Email-ов, каждый Email с новой строки. Часть из них повторяются. Необходимо, чтобы на выходе после обработки был файл только с уникальными Email-ами. Как это реализовать с помощью Python 3?


Ответ

Самый быстрый и простой способ убрать дубликаты из списка - преобразовать его к множеству. Конструктор множества set() принимает любой итерируемый объект, в том числе дескриптор файла. После чего остаётся только преобразовать множество обратно в строку и записать в другой файл:
with open('emails.txt') as in_fh, open('deduplicated.txt', 'w') as out_fh: out_fh.write(''.join(set(in_fh)))

Комментариев нет:

Отправить комментарий