ぱんだふるツール のマスコットぱんだふるツールやりたいことが、すぐできる。
テキスト

重複行の削除のやり方|テキストのリストを一瞬で整理する方法

重複行の削除のやり方の要点をまとめた図解

メールアドレスの一覧、キーワードのリスト、名簿。コピペして集めたら、同じ行が何度も出てきて困ったことはありませんか。

この記事では、重複行を削除する方法を、道具別に分かりやすく紹介します。Excelを開かなくても、ブラウザだけでできる方法もあります。

重複行とは?まず考え方を知っておこう

重複行とは、まったく同じ内容の行のことです。たとえば次のリストでは、「りんご」が2回出ています。

りんご
みかん
りんご
ぶどう

重複を削除すると、最初に出てきた行を残して、次のようになります。

りんご
みかん
ぶどう

見落としやすい「見た目は同じ」の罠

人の目には同じでも、コンピュータは別の行として扱うことがあります。

  • 行の最後にスペースが入っている
  • 全角と半角が混ざっている(「ABC」と「ABC」)
  • 大文字と小文字が違う(「Apple」と「apple」)

重複が消えないときは、まずこの3つを疑ってください。先に空白を取り除き、全角・半角をそろえると、うまく消えます。

方法1:ブラウザのツールで消す(いちばん手軽)

インストール不要で、貼り付けるだけで終わります。当サイトの「行の重複削除・並べ替え」を使う場合の流れです。

  1. 整理したいテキストを全部コピーする
  2. ツールの入力欄に貼り付ける
  3. 「重複を削除」を選ぶ
  4. 結果をコピーして使う

必要なら、同じ画面で空行の削除や並べ替えも一緒にできます。数千行ほどのリストでも、すぐ終わります。

方法2:Excelで重複を削除する

表のデータなら、Excelでもできます。

「重複の削除」ボタンを使う

  1. 対象の列を選ぶ
  2. 「データ」タブの「重複の削除」を押す
  3. 列を確認してOKを押す

元のデータが書き換わるので、先にコピーを取っておくと安心です。

元データを残したいときはUNIQUE関数

Microsoft 365など新しいExcelなら、=UNIQUE(A1:A100) と入力すると、重複を除いた一覧が別の場所に出ます。元のデータはそのまま残ります。

消す前に確認したいとき

「条件付き書式」の「重複する値」を使うと、重複している行に色が付きます。消す前に、本当に消してよいか確かめられます。

方法3:コマンドで消す(上級者向け)

Linux系なら sort と uniq が使えます。

sort list.txt | uniq > result.txt

uniq は隣り合った同じ行しか消さないため、先に sort で並べ替えるのがコツです。この場合、元の順番は失われます。順番を残したいなら、ブラウザのツールやExcelのほうが向いています。

どの方法を選ぶ?

場面 おすすめ
さっと整理したい・Excelが無い ブラウザのツール
表の特定の列で判定したい Excel
元データを残したい ExcelのUNIQUE関数
巨大なファイル・自動化したい コマンド

実例:キーワードリストを整理する

SEOのキーワード調査で、複数のツールから出した候補を1つにまとめるとします。

  1. すべてのキーワードを1つの入力欄に貼り付ける(例:300行)
  2. 空行を削除する
  3. 重複を削除する(例:残りが210行になる)
  4. 五十音順に並べ替える

この4手順で、同じ言葉の重複がなくなり、見やすいリストになります。数字はあくまで例ですが、複数の出どころを合わせると、1〜3割ほど重なることは珍しくありません。

まとめ

  • 重複行は「まったく同じ行」。見た目が同じでも、空白・全角半角・大文字小文字の違いで消えないことがある
  • 手軽さならブラウザのツール、表ならExcel、大量処理ならコマンド
  • 消す前にコピーを取っておくと安心

今すぐ試すなら、行の重複削除・並べ替えツールに貼り付けるだけです。空白をそろえたいときは、あわせて全角・半角変換も使ってみてください。

この記事で使うツール

📋 行の重複削除・並べ替え →

重複や空行を消して並べ替え。