日本語English

重複ファイル検出

フォルダごと読み込み、中身が完全に同じファイルをグループにして、無駄になっている容量を表示します。ファイルはアップロードされず、削除もしません。「残す／重複」の判定を CSV か JSON で保存して、あとの整理に使えます。

端末内で処理・アップロードなし

ファイルや入力内容はお使いの端末（ブラウザ）の中だけで処理され、サーバーへは送信されません。

フォルダやファイルをドロップして重複を探す

または

ファイルはアップロードされず、この端末の中で比べます対応形式: すべての形式（フォルダごと可）貼り付け（Ctrl+V）にも対応

上限: 10 万件・合計 100 GB（読み込むのはファイルへの参照だけで、中身は順に読みます）

見た目が近い画像（縮小・再保存・軽い色調整）を dHash で探します。縦方向・横方向の両方が近いものだけを同じグループにします。完全一致とは別に表示します。

無視するパターン

1 行に 1 つ。* と ? が使えます。末尾が / ならフォルダだけ、/ を含むものはパスの一部に一致します。# で始まる行はコメントです。パターンを減らしたときは、ファイルを読み込み直してください。

使い方

  1. 調べたいフォルダをドロップするか、「フォルダを選択」で選びます。ファイルを複数選んだり、何回かに分けて追加したりもできます。

  2. 写真の整理なら「似た画像も探す」をオンにします。縮小や再保存をした画像も探せます。

  3. 必要なら「無視するパターン」を確認します（.DS_Store・Thumbs.db・node_modules などは初期状態で除外）。

  4. 「重複を探す」を押します。サイズ、先頭と末尾、全体のハッシュの順に絞り込み、進み具合を表示します。途中で中止もできます。

  5. 残すファイルの既定ルール（最も古い・最も新しい・パスが短い）を選び、グループごとに変えたいときはラジオボタンで選び直します。

  6. 「CSV で保存」か「JSON で保存」で、グループ ID・判定・パス・サイズ・更新日時・ハッシュを書き出します。実際の整理はファイル管理ソフトで行います。

できること

3 段階の絞り込みで読む量を最小に

まずサイズが同じものだけを候補にし、次に先頭と末尾の 64 KB を比べ、残ったものだけ全体を BLAKE3 でハッシュします。128 KB 以下のファイルは先頭と末尾で全体を読み終えるため、2 回目の読み込みは不要です。内容が違うのにサイズが同じファイルは、全体のハッシュで確実に分かれます。

数万件・数十 GB でもメモリは一定

ファイルは 8 MB ずつ読み、ハッシュを少しずつ更新します。計算は別スレッド（Web Worker）で行うので画面は固まらず、進み具合と「中止」があります。保持するのはファイルへの参照とハッシュ値だけです。

似た画像を dHash で

画像を 9×9 のグレースケールに縮め、横方向と縦方向それぞれで、隣り合う明るさの大小を 64 ビットにした dHash で比べます。両方が近いものだけを同じグループにします。EXIF の向きは反映します。距離（異なるビット数）のしきい値は 0〜20 で、探したあとでも変えられます。

推移的な連結をしない

似た画像は「グループの最初の 1 枚との距離」でまとめます。A と B、B と C が近くても A と C が遠ければ C は別扱いなので、少しずつ変わる連写や連番が、無関係な写真まで巻き込んで 1 つにならずに済みます。

残す／重複の判定を出力

最も古い・最も新しい・パスが短い、から既定ルールを選び、グループごとに手で変更できます。CSV は UTF-8（BOM 付き）で、パスが =・+・-・@ で始まっても表計算ソフトで数式として動かないよう処理します。

無視パターンと絞り込み

.DS_Store・Thumbs.db・desktop.ini・node_modules・.git などは初期状態で対象外です。パターンは自由に編集でき、* と ? が使えます。結果はパスの文字列や最小サイズで絞り込めます。

こんなときに

  • バックアップや写真フォルダに溜まった同じファイルを洗い出し、空けられる容量を知りたい
  • コピーを重ねたダウンロードフォルダやプロジェクトの重複資料を整理したい
  • 縮小版や再保存した JPEG など、見た目が同じ写真をまとめて確認したい
  • ファイル名が違っても中身が同じものを探したい（名前では分からない重複）
  • 整理の前に、残す／消す候補の一覧を CSV で作って関係者と確認したい

対応形式

対象ファイル

すべての形式（中身をそのまま比較）フォルダのドロップ・選択（相対パスを保持）複数ファイルの選択・追加

似た画像の対象

JPEGPNGWebPGIF（最初のコマ）BMPAVIF（ブラウザが開けるもの）

出力

CSV（UTF-8 BOM 付き）JSON

対応状況

機能対応補足
内容が完全に同じファイルの検出対応サイズ → 先頭・末尾 64 KB → 全体の BLAKE3
フォルダの読み込み（ドロップ・選択）対応相対パスを保持。ブラウザの制限により絶対パスは分かりません
数万件・大容量フォルダの処理対応最大 10 万件・合計 100 GB。ファイルは 8 MB ずつ読みます
見た目が似た画像の検出一部対応縮小・再保存・軽い色調整に強い一方、トリミング・大きな回転・合成は検出できません。最大 2 万枚まで
残す／重複の判定の保存（CSV・JSON）対応既定ルールとグループごとの手動変更
ファイルの削除・移動・ゴミ箱への送信非対応ブラウザから安全に削除できないため、判定の出力のみです
重複をハードリンク・ショートカットに置き換え非対応ファイルは一切変更しません
動画・音声・文書の「似ている」判定非対応中身がバイト単位で同じものだけを検出します
HEIC など、ブラウザで開けない画像の類似判定非対応完全一致の検出は可能です
オフラインでの利用対応一度開いたあとは通信なしで動作

制限・注意事項

  • 読み込めるのは 10 万件・合計 100 GB までです。超えた分は読み込まず、画面に表示します。
  • 似た画像の比較は最大 2 万枚（パス順）です。完全一致の画像は 1 枚だけ使います。
  • 空（0 バイト）のファイルは重複として扱いません。
  • 単色に近い画像、明るさの変化が一方向だけの画像、一様な背景に小さな図形だけの画像は、dHash では見分けがつかないため、似た画像の判定から除外し、件数を表示します。
  • 内容は同じでも、ファイルを読み込んだあとに書き換えられた場合の結果は保証できません。
  • 無視パターンを減らしたときは、ファイルを読み込み直してください。

プライバシーと安全性

ファイルはアップロードされず、お使いのブラウザがファイルを直接読み込んで比べます。ファイル名・パス・内容・ハッシュ値をサーバーへ送信・保存することはなく、アクセス解析にも含めません。保存する CSV・JSON もこの端末の中で作られます。

よくある質問

ファイル名が違っても重複と分かりますか？
分かります。名前や更新日時ではなく、ファイルの中身（BLAKE3 ハッシュ）で判定します。名前が同じでも中身が違えば別のファイル、名前が違っても中身が同じなら重複として同じグループになります。
重複ファイルを、このツールで削除できますか？
できません。ブラウザからファイルを安全に削除する方法がないためです。「残す／重複」の判定を CSV か JSON で保存し、Explorer や Finder などで確認しながら整理してください。
サイズが同じで内容が少し違うファイルを間違えて重複にしませんか？
しません。同じサイズのものを先頭と末尾で比べ、それでも同じなら全体を BLAKE3 でハッシュして確定します。途中の 1 バイトだけが違うファイルも、全体のハッシュで別のファイルとして分かれます。
「似た画像」はどのくらい似ていると判定されますか？
dHash の 64 ビットのうち、異なるビット数（距離）が設定値以下のものを同じグループにします。初期値は 10 です。0 に近いほど厳しく、大きくするほど緩くなります。探したあとでも変えられます。
何件・何 GB まで調べられますか？
最大 10 万件・合計 100 GB です。ファイルは 8 MB ずつ読むためメモリは増えませんが、時間はストレージの速度に左右されます。
写真の向き（EXIF）が違うと別の画像になりますか？
向きは反映したうえで比べます。ただし、画像データそのものを回転して保存し直したものとは、見た目が同じなら似た画像として検出されます。

関連ツール

重複・類似画像検出

写真フォルダを読み込むと、完全に同じ画像と「ほぼ同じ写真」をグループにまとめ、グループごとに残す 1 枚を理由つきで推薦します。画像はアップロードされず、元のファイルも削除・変更しません。

ファイルハッシュ・整合性確認

ファイルをドロップするだけで SHA-256 などのハッシュ値を計算し、配布元に書かれた値を貼れば「一致／不一致」をすぐ表示します。数 GB の ISO も端末の中で分割して読み込むため、アップロードは一切ありません。

ファイル一括リネーム

複数のルールを組み合わせて、ファイル名を一括で変更。変更前後の一覧で重複や使えない名前をその場で確認でき、名前を変えたコピーを ZIP かフォルダに保存します。ファイルはサーバーへ送信されません。

フォルダ容量分析

フォルダを読み込んで、どこが容量を使っているかをツリーマップで見られます。四角をクリックして中へ掘り下げ、拡張子別・種類別・大きいファイル・古いファイル・重複候補の表を Excel や CSV に書き出せます。ファイル名も中身も端末の外へ出ません。

ファイル一覧・Manifest生成

フォルダを読み込んで、相対パス・サイズ・更新日時・種類の一覧を Excel や CSV に書き出します。ファイル名も中身もアップロードされません。納品物の一覧、棚卸し、監査、バックアップの記録に使えます。

ファイルの分割・結合

ファイルを指定サイズ（メール向けは 18 MB 前後）に切り分けて「名前.拡張子.001」の連番で保存し、同じページで元に戻せます。数 GB のファイルも端末の中で少しずつ読み込むため、メモリは増えません。欠番や別ファイルの混入は結合前に知らせ、SHA-256 の記録があれば結合後に一致を確認します。

最終更新: