Лучшие программы для поиска дубликатов (одинаковых) файлов

Photo Database 4.5

Данная программа для поиска дубликатов фотографий очень часто используется специалистами при работе с фотографиями не только для поиска одинаковых файлов, но и для многих других функций.

Начиная с версии 4.5 в утилите появилась новая папка под названием «Коллекция», где можно найти категорию «Дубликаты». Она как раз отвечает за поиск нужных файлов. При открытии данной директории программа автоматически производит поиск дублирующихся фотографий.

Также в утилите доступна быстрая навигация, которая отвечает за переходы к папкам с выбранными изображениями. Удаление производится очень удобным образом. Для этого достаточно просто выбрать все ненужные файлы в проводнике, используя при этом быстрые клавиши. После чего достаточно нажать всего 1 кнопку «Удалить». Все выделенные фотографии перемещается в корзину и удаляются из коллекции.

Также доступно автоматическое удаление файлов. Для этого достаточно нажать соответствующую кнопку, которая расположена на нижней панели задач. Также можно выделить несколько изображений и избавиться только от них.

Программа для поиска дубликатов Awesome Duplicate Photo Finder

Если вы ищете именно предельно простую программу для качественного поиска дублирующихся фото и изображений, в которой было бы элементарно легко разобраться, то обратите внимание на Awesome Duplicate Photo Finder. Интерфейс здесь на английском, но он настолько прост, что разберётся в нём каждый

С помощью кнопки «+» укажите нужный для поиска каталог или несколько каталогов, после чего нажмите Start Search и по ним начнётся поиск. Опция Scan Subdirectories по умолчанию включена и отвечает за поиск в подпапках. Со своими задачами программа справляется, находя как весьма похожие:

Так и чуть более отличающиеся между собой картинки:

В настройках программы вы можете задать соответствие в 100%, если вам нужны исключительно абсолютно одинаковые фотографии.

Самих настроек, как видите, немного. Пожалуй, самое печальное, что работает программа всего с пятью основными форматами: BMP, JPG, PNG, GIF и TIFF. Причём последний по умолчанию не учитывается.

Также есть опции для обеспечения удаления дубликатов напрямую в корзину и отключения всплывающего подтверждения. Ещё программа умеет обновляться автоматически.

Duplicate File Remover

Еще одним мощным инструментом для поиска копий фотографий является Duplicate File Remover. Помимо поиска изображений, он также в состоянии выполнить сканирование компьютера на предмет наличия иных идентичных файлов. Возможности Дубликат Файл Ремувер значительно расширяют плагины, которые устанавливаются вместе с ним, но активировать их возможно только после приобретения лицензионного ключа. Еще одним недостатком можно считать отсутствие русского языка в настройках, но это не мешает использовать Duplicate File Remover по назначению, так как все действия здесь выполняются на интуитивном уровне.

Fast Duplicate File Finder

Бесплатная программа

Fast Duplicate File Finder — бесплатная редакция PRO-версии программы (Fast Duplicate File Finder Professional) с урезанным функционалом. Однако функции по работе с дубликатами файлов здесь все же доступны. Программа работает во всех версиях операционных систем Windows, начиная с NT (32/64 бит). Перевода на русский язык не предусмотрено.

Поиск и выполнение различных операций над дубликатами файлов — две основные функции программы Fast Duplicate File Finder. Приложение предоставляет пользователю возможность настройки функции поиска, а именно:

  • Выбор метода сравнения. Здесь их 4: поиск идентичных (на 100%) и похожих (процент схожести устанавливается вручную) по содержанию файлов, поиск файлов с одинаковыми именами и размером.
  • Возможность сохранения результатов сканирования с автоматическим выполнением определенного действия (например, выключение компьютера) после завершения процесса.
  • Автоматический выбор массива обнаруженных дубликатов/похожих файлов по заданным критериям: дата создания/изменения, длина имени, размер. Все параметры выделения задаются пользователем вручную.
  • Выполнение над отмеченными файлами стандартных для таких программ действий: удаление (безвозвратное или в корзину), копирование, перемещение, создание жестких ссылок с сохранением/без сохранения иерархии папок.

Остальные функции (фильтрация результатов, расширенные инструменты выделения и другие) доступны только в PRO-версии программы Fast Duplicate File Finder.

Здесь все довольно просто:

Создайте новый проект, кликнув по кнопке «New Project», и выберите в новом окне папку/диск/раздел, который следует очистить от дубликатов файлов. Выберите требуемый метод сканирования в выпадающем списке «Method» (т.к. мы ищем дубликаты, выбираем вариант «100% Equal Files»), после — кликните по кнопке «Start Scan» для начала сканирования.

Дождитесь окончания процесса сканирования. В результате программа Fast Duplicate File Finder отобразит список файлов, разбив их все по группам. В одну группу помещается «оригинал» файла и его дубликат.

Теперь останется отметить файлы, которые следует удалить/переместить/скопировать. Это можно сделать вручную либо воспользоваться функцией «Autocheck». В качестве критерия для автовыделения можно, к примеру, выбрать вариант «Newer File Dates»/»Created», в этом случае программа отметит файлы, которые были созданы позднее их дубликатов.

Выбираем нужное действие над отмеченными файлами (для удаления выбираем «Delete Checked Files») и нажимаем по кнопке «Perform» для его выполнения.

AntiDupl

Заключительный участник нашего обзора – программа AntiDupl может приглянуться вам сразу по нескольким причинам. Во-первых, она бесплатная. Во-вторых, у неё русский интерфейс. Последнее, впрочем, не очевидно. Для того чтобы включить русский, откройте меню View и в разделе Language выберете соответствующий пункт:

В отличие от других, эта программа не инсталлируется, а находится в самораспаковывающемся архиве, который извлекает её вместе с необходимыми файлами в отдельную папку.

Чтобы подготовить поиск дубликатов кликните по кнопке с подписью Open и в появившемся окне добавьте нужные каталоги:

Следом можно нажимать Ок, а потом активировать на панели инструментов зелёную кнопку «начать поиск». Используя базовый алгоритм, программа нашла для нас несколько групп дубликатов:

На вкладке «поиск» можно узнать, что AntiDupl поддерживает 13 форматов, среди которых помимо традиционных JPG/PNG, есть ICON, PSD и EXIF . Разумеется, форматы можно выбирать. Ещё в опциях есть проверка на дефекты, блочность и размытость, причём в последних двух случаях можно задавать порог. Есть возможность искать в скрытых и системных каталогах.

При поиске дубликатов часть пользователей интересует именно 100% соответствие, чтобы избавиться от дублей в своей коллекции. Однако нередко возникает и задача найти именно похожие картинки.

И вот здесь огромное пространство для возможных отличий. Этот могут быть разные форматы, разрешения, обрезанные версии одного и того же изображения, добавление рамок и водяных знаков, изменённые цвета и подписи на картинках.

Мы постарались учесть большинство из этих факторов и после всех проб создали в итоге небольшой набор с более чем шестью десятками картинок. В них мы создали девять групп дубликатов. Скажем честно, на истину в последней инстанции наш опыт точно не претендует, но попробовать было интересно. Результаты следующие:

  • Duplicate Remover Free: нашёл лишь 3 группы дубликатов;
  • Similar Images Finder: нашёл 4 группы, но неудобный интерфейс, множество ложных результатов и при этом платность приложения сильно испортили общее впечатление;
  • AntiDupl по умолчанию нашёл 3 типа дубликатов, установка алгоритма SSIM увеличила результат поиска до 5 групп;
  • VisiPics при базовом уровне поиска нашёл лишь 2 группы дубликатов, однако установка ползунка на уровень Loose позволила найти уже 7 групп;
  • Awesome Duplicate Photo Finder нашёл 7 групп дубликатов;
  • Image Comparer также сумел обнаружить 7 групп.

При этом Image Comparer сумел найти изображения, которые пропустили Awesome Duplicate Photo Finder и VisiPics, а те, в свою очередь, восполнили пробелы Image Comparer.

Обзор программы Image Comparer

Image Comparer представляет совершенно новую технологию того, как пользователи могут находить дубликаты фото. В отличие от большинства программ поиска дубликатов, которые выполняют поиск дубликатов по имени файла, его размеру и не способны находить похожие файлы, Image Comparer может находить похожие файлы с любой степенью схожести, которая может быть задана пользователем. Более того, программа Image Comparer способна
анализировать и распознавать изображения по содержанию,
независимо от имени файла, формата, размера изображения, битовой глубины и расположения объекта. Программа распознает даже повернутые или перевернутые фото или фотографии с разными условиями съемки. Инновационный алгоритм сравнения фотографий, основанный на содержании, обеспечивает феноменальную точность.

Поиск совпадающих фото по различным алгоритмам с AntiDupl

DiskBoss

нельзя полностью отнести к классу программ для удаления дубликатов файлов. Это лишь одна из функций, помимо которой утилита умеет очень и очень многое. DiskBoss – это оптимизатор дискового пространства и усовершенствованный файловый менеджер. Он предназначен для анализа использования накопителей и управления всеми объектами, которые на них находятся.

Функции и возможности DiskBoss

  • Исследование дискового пространства с отображением на круговой диаграмме, сколько места занимают те или иные объекты.
  • Классификация, сортировка и группировка файлов и папок по множеству критериев, в том числе по правилам пользователя.
  • Поиск и очистка дубликатов на рабочих станциях и серверах под управлением Windows. Гибкие критерии поиска.
  • Несколько вариантов действий с найденными дубликатами – удаление, архивация, перенос в другое место и т. д.
  • Замещение удаленных дубликатов ссылками.
  • Сохранение отчетов сканирования и очистки дисков от дублированных данных в форматах html, excel, pdf, txt, csv и xml.
  • Отображение результата поиска дубликатов на круговых диаграммах.
  • Создание и выполнение автоматических сценариев по очистке дисков.
  • Улучшенная система поиска данных на диске.
  • Синхронизация данных в указанных каталогах.
  • Удаление групп файлов на основе заданных критериев.
  • Мониторинг изменений в файловой системе дисков в реальном времени.
  • Анализ целостности и прочие операции с файлами.
  • Многое другое.

Утилита DiskBoss будет хорошим выбором для тех, кому нужна полная картина содержимого и состояния дисков, а также возможность управлять всеми данными на них, используя ручные и автоматические методы. Приложение выпускается в бесплатной и нескольких платных версиях, причем первая содержит почти всё, что есть в платной версии pro, кроме нескольких инструментов автоматизации.

Пожалуй, единственный недостаток DiskBoss – отсутствие русского языка, но ради такого богатства функций с этим можно смириться. В остальном утилита очень хороша, а для некоторых задач – незаменима.

***

Конечно, это далеко не исчерпывающий список программ, предназначенных для удаления идентичных копий файлов. Их десятки, а может, и сотни. Однако этого скромного набора достаточно, чтобы удовлетворить потребности 90% пользователей Windows. Надеюсь, что что-то из них пригодится и вам.

Определяем самую быструю программу для поиска дубликатов фото

В то же время, качество программы ещё зависит и от её скорости. 60+ картинок – это, конечно же, не то, что с чем могут работать пользователи. Поэтому мы провели ещё один тест. На этот раз на скорость. Для этого мы взяли подборку из 4450 самых разных изображений, общий вес которой превысил 2.1 ГБ.

Две программы из этого обзора, увы, в тесте не заняли никакого места. Как выяснилось, Similar Images Finder, за который просят 34 доллара, в бесплатной версии готов зараз обработать не более 200 изображений.

В свою очередь, универсальный поисковик дубликатов Duplicate Remover Free, столкнувшись с каталогом серьёзного размера, более пяти минут интенсивно работал, а потом основательно завис. Остальные программы показали следующее время:

  • AntiDupl: 0:39;
  • Image Comparer: 1:02 (35 секунд на создание галереи и 27 на поиск);
  • VisiPics: 2:37;
  • Awesome Duplicate Photo Finder: 3:17.

В итоге в тесте на скорость в лидеры явно выбились Image Comparer и AntiDupl. На обработку нашего архива у них ушло около или же, в случае AntiDupl, меньше минуты.

Auslogics Duplicate File Finder

Auslogics Duplicate File Finder является он предлагает те же функции, что и некоторые инструменты. Программа может сканировать указанные папки на наличие дубликатов и представлять их в довольно аккуратном интерфейсе, который упрощает управление найденными преступниками. Есть различные параметры поиска, которые вы можете определить, включая типы файлов, минимальный / максимальный размер файла, имена, даты создания и тому подобное.

Содержимое файла сопоставляется на основе контрольной суммы MD5, но побайтное сравнение отсутствует (MD5 все еще достаточно точен для реального использования). Вы также можете решить, что произойдет с найденными дубликатами, с помощью которых они могут быть отправлены в корзину или центр спасения или удалены навсегда. Это программное обеспечение также поддерживает работу в один клик, хотя и с менее дружественным пользовательским интерфейсом. Что касается бесплатного поиска дубликатов файлов для Windows, это лучший вариант на рынке. Черт возьми, это даже дает оплаченным опционам пробежку за свои деньги.

Скачать Auslogics Duplicate File Finder для Windows (бесплатно)

Программы по поиску копий аудиофайлов

Программы по поиску копий аудиофайлов точно пригодятся меломанам, хранящим у себя на ПК большие объёмы музыки, и в особенности тем, кто любит скачивать различные подборки музыки, ведь в таких подборках очень часто попадаются одинаковые композиции. Статистика такова, что примерно каждая десятая аудиозапись из сезонных подборок лучшей музыки уже есть у вас на ПК. Вот и считайте, если у вас на ПК, к примеру, сто гигабайтов музыки, то как минимум десять из них — дубликаты.

Ситуацию осложняет ещё и то, что такие файлы могут отличаться и по названию, и по размеру. Единственный критерий, по которому можно найти подобные копии – это аудиодорожка, которую можно отличить либо на слух, либо при помощи специальных программ. О лучших программах способных находить дубликаты аудиофайлов мы и поговорим далее.

Music Duplicate Remover

Лучшими качествами программы Music Duplicate Remover считаются её скорость и качество поиска. Принцип её работы заключается в том, что она прослушивает все аудиозаписи и запоминает их, а затем сравнивает друг с другом и ищет совпадения. Разумеется, такая процедура занимает гораздо больше времени, чем проверка универсальных программ, а потому скорость здесь быстрая лишь если сравнивать её с подобными программами. Средняя продолжительность проверки составляет около двух часов на сто гигабайт файлов (что, между прочим,около трёх композиций в секунду).

Audio Comparer

Программа Audio Comparer довольно сильно похожа на предыдущий вариант как по принципу поиска, так и по результативности. Она не уступает ей ни в скорости, ни в точности. Отдельно стоит упомянуть о наличии в ней своеобразного мастера, помогающего пользователям разобраться в основных принципах программы, когда они только начинают работать с ней.

Dupe Guru Music Edition

Ещё одна программа, заслуживающая вашего внимания – это Dupe Guru Music Edition. Даже оригинальная версия программы Dupe Guru является вполне конкурентоспособной и может похвастаться отличной скоростью и точностью. Но что особенно интересно, так это небольшая доработка сделанная разработчиками в версии Music Edition.

В работе программ, ищущих дубликаты существует такое понятие, как “оригинал файла”, которое обозначает файл, который не будет считаться копией и после очистки останется у вас на ПК. Обычно в качестве оригинала выступает тот файл, который был найден раньше его копий; в редких случаях его дают выбрать пользователю.

Но Dupe Guru Music Edition, кроме обычного сравнения по звуку, делает также сравнение и по качеству аудиофайла и после окончания проверки делает оригиналом тот файл, качество которого было выше, чем у остальных. То есть после удаления копий у вас на ПК останется только самая качественная версия композиции.

Удаляйте, копируйте, перемещайте файлы одним кликом

Image Comparer позволяет выполнять различные действия с найденными дубликатами. Когда сканирование закончено, программа отображает результат сравнения — перечень фотографий в галерее вместе с десятью самыми похожими изображениями для каждого выбранного фото. Можно также просматривать предполагаемые дубликаты парами, рядом друг с другом. Запись каждого фото-файла содержит подробные данные о формате изображения, разрешении и размере файла. Лишние файлы можно выделить, поставив отметку, и выполнить действия по ним — копировать, перемещать их в отдельную папку, или просто удалять. Также есть опция, позволяющая автоматически отмечать фото-файлы с высоким и низким качеством.

Поиск дубликатов аудио файлов

Если результаты поиска дубликатов не устраивают пользователя, можно рассмотреть вариант, предназначенный для определённых файлов. Например, для музыки, скопившейся на диске.

Такая необходимость часто возникает при загрузке сразу нескольких альбомов и сборников одного и того же исполнителя – нередко в разных папках оказываются одинаковые треки.

Они могут иметь похожие размеры и отличаться, по большому счёту, только названиями. Специально для этого существуют утилиты для поиска похожих мелодий.

8. Music Duplicate Remover

Среди особенностей программы Music Duplicate Remover – сравнительно быстрый поиск и неплохая эффективность.

Фактически, это приложение как бы «прослушивает» композицию и проводит её сравнение с другими аудио файлами.

При этом, естественно, время её работы больше, чем у универсальных утилит.

Однако количество проверяемых программой данных, как правило, в десятки раз меньше, поэтому средняя продолжительность проверки редко превышает пару часов.

Рис. 8. Обнаружение копий музыки и аудио файлов по альбомам.

9. Audio Comparer

Среди преимуществ утилиты Audio Comparer – очень простое меню и быстрый поиск копий музыки.

Так, среди нескольких тысяч аудио файлов она находит копии и дубликаты (естественно, при их наличии) всего за 1–2 часа.

При этом для обнаружения не имеет значения ни размер трека, ни его битрейт (битность, то есть качество звука, изменение которого приводит к другому объёму данных при той же продолжительности мелодии).

Рис. 9. Поиск дубликатов с помощью Audio Comparer.

10. DupeGuru Music Edition

Приложение представляет собой одну из дополнительных версий бесплатной утилиты DupeGuru. Скорость её работы меньше, чем у универсального варианта, зато вероятность обнаружения дубликата аудио файла в несколько раз выше.

Принципы работы и интерфейс практически полностью повторяют базовую программу, а одним из главных преимуществ является то, что Music Edition считает «оригиналами» музыку с лучшим битрейтом.

А, значит, что удаление дубликатов не приведёт к потере более качественных аудио файлов.

Рис. 10. Версия DupeGuru для поиска дубликатов музыки.

Нахождение одинаковых фотографий в три клика с VisiPics

Следующая программа – VisiPics. В отличие от рассмотренной выше Image Comparer, VisiPics является бесплатным приложением, также специализирующемся на дубликатах фото. Увы, локализации на русский здесь нет, но расстраиваться по этому поводу точно не стоит: всё очень просто и предельно понятно.

С помощью боковой панельки навигации (мы обвели её в рамку) выберите нужный каталог. Далее нажмите стрелочку со значком «+», чтобы добавить эту папку в список, по которому будет вестись поиск. При желании таким же образом вы можете выбрать ещё несколько папок. Наконец, третьим шагом нажмите кнопку Play, чтобы запустить процесс нахождения дубликатов.

Справа от неё располагается специальный ползунок, где вы можете настраивать уровень «внимательности» программы. В случае установленного по умолчанию базового уровня VisiPics обнаружила для нас лишь две группы дубликатов, одна из которых состояла из трёх изображений, а другая из двух:

Это те изображения, которые программа считает практически идентичными дубликатами. Однако если вы понизите ползунок до уровня Loose, то находиться будут и просто похожие друг на друга изображения. В нашем случае при установке Loose вместо Basic приложение нашло ещё четыре (в итоговом тесте ниже – 5) группы дубликатов, а одну из двух уже найденных дополнило ещё одной картинкой:

Дополнительных опций у программы относительно немного. Здесь можно настроить поиск в подпапках (по умолчанию он включён), отображение скрытых папок, учёт фотографий, повёрнутых на 90 градусов. На вкладке loader можно попросить VisiPics игнорировать мелкие файлы или, наоборот, картинки в слишком большом разрешении

Последнее важно для скорости

AntiDupl

Заключительный участник нашего обзора – программа AntiDupl может приглянуться вам сразу по нескольким причинам. Во-первых, она бесплатная. Во-вторых, у неё русский интерфейс. Последнее, впрочем, не очевидно. Для того чтобы включить русский, откройте меню View и в разделе Language выберете соответствующий пункт:

В отличие от других, эта программа не инсталлируется, а находится в самораспаковывающемся архиве, который извлекает её вместе с необходимыми файлами в отдельную папку.

Чтобы подготовить поиск дубликатов кликните по кнопке с подписью Open и в появившемся окне добавьте нужные каталоги:

Следом можно нажимать Ок, а потом активировать на панели инструментов зелёную кнопку «начать поиск». Используя базовый алгоритм, программа нашла для нас несколько групп дубликатов:

Переключив вверху алгоритм на более вольный SSIM, мы получили уже на две группы дубликатов больше, а после увеличения «свободы» поиска с 20 до 35% программа выдала нам ещё более подробный список:

При этом во всех случаях действительно нашлись как минимум заметно похожие друг на друга изображения. Так что не брезгуйте экспериментировать с настройками.

Дополнительных опций у программы немало:

На вкладке «поиск» можно узнать, что AntiDupl поддерживает 13 форматов, среди которых помимо традиционных JPG/PNG, есть ICON, PSD и EXIF. Разумеется, форматы можно выбирать. Ещё в опциях есть проверка на дефекты, блочность и размытость, причём в последних двух случаях можно задавать порог. Есть возможность искать в скрытых и системных каталогах.

SearchMyFiles

Как и в нашей первой записи, SearchMyFiles не является специальным инструментом удаления дубликатов. Вместо этого это многофункциональная утилита поиска файлов для Windows, которая поддерживает поиск дубликатов, Программное обеспечение, предлагаемое Nirsoft бесплатно, предлагает множество вариантов поиска дубликатов, включая фильтры размера и типа, местоположение и обычную сделку. Доступно цветовое кодирование, и программное обеспечение вернет сводку своих результатов, если вы захотите быстро взглянуть.

С другой стороны, и, возможно, большой минус, SearchMyFiles, по сути, является утилитой поиска файлов, поэтому, хотя она найдет дубликаты для вас, есть нет простого способа удалить дубликаты. Следовательно, это технически соответствует требованиям для «поиска» дубликатов, вы должны будете сделать удаление вручную. С другой стороны, дубликаты обнаруживаются только путем побайтового сравнения, поэтому поиск очень, очень точный и тщательный. SearchMyFiles также переносим, ​​поэтому вам не нужно беспокоиться об установке чего-либо на свой компьютер.

Скачать SearchMyFiles для Windows (бесплатно)

СМОТРИ ТАКЖЕ: 12 лучших программ резервного копирования для ПК с Windows в 2019 году

Оцените статью
Рейтинг автора
5
Материал подготовил
Андрей Измаилов
Наш эксперт
Написано статей
116
Добавить комментарий