重複行の削除のやり方|テキストのリストを一瞬で整理する方法

メールアドレスの一覧、キーワードのリスト、名簿。コピペして集めたら、同じ行が何度も出てきて困ったことはありませんか。
この記事では、重複行を削除する方法を、道具別に分かりやすく紹介します。Excelを開かなくても、ブラウザだけでできる方法もあります。
重複行とは?まず考え方を知っておこう
重複行とは、まったく同じ内容の行のことです。たとえば次のリストでは、「りんご」が2回出ています。
りんご
みかん
りんご
ぶどう
重複を削除すると、最初に出てきた行を残して、次のようになります。
りんご
みかん
ぶどう
見落としやすい「見た目は同じ」の罠
人の目には同じでも、コンピュータは別の行として扱うことがあります。
- 行の最後にスペースが入っている
- 全角と半角が混ざっている(「ABC」と「ABC」)
- 大文字と小文字が違う(「Apple」と「apple」)
重複が消えないときは、まずこの3つを疑ってください。先に空白を取り除き、全角・半角をそろえると、うまく消えます。
方法1:ブラウザのツールで消す(いちばん手軽)
インストール不要で、貼り付けるだけで終わります。当サイトの「行の重複削除・並べ替え」を使う場合の流れです。
- 整理したいテキストを全部コピーする
- ツールの入力欄に貼り付ける
- 「重複を削除」を選ぶ
- 結果をコピーして使う
必要なら、同じ画面で空行の削除や並べ替えも一緒にできます。数千行ほどのリストでも、すぐ終わります。
方法2:Excelで重複を削除する
表のデータなら、Excelでもできます。
「重複の削除」ボタンを使う
- 対象の列を選ぶ
- 「データ」タブの「重複の削除」を押す
- 列を確認してOKを押す
元のデータが書き換わるので、先にコピーを取っておくと安心です。
元データを残したいときはUNIQUE関数
Microsoft 365など新しいExcelなら、=UNIQUE(A1:A100) と入力すると、重複を除いた一覧が別の場所に出ます。元のデータはそのまま残ります。
消す前に確認したいとき
「条件付き書式」の「重複する値」を使うと、重複している行に色が付きます。消す前に、本当に消してよいか確かめられます。
方法3:コマンドで消す(上級者向け)
Linux系なら sort と uniq が使えます。
sort list.txt | uniq > result.txt
uniq は隣り合った同じ行しか消さないため、先に sort で並べ替えるのがコツです。この場合、元の順番は失われます。順番を残したいなら、ブラウザのツールやExcelのほうが向いています。
どの方法を選ぶ?
| 場面 | おすすめ |
|---|---|
| さっと整理したい・Excelが無い | ブラウザのツール |
| 表の特定の列で判定したい | Excel |
| 元データを残したい | ExcelのUNIQUE関数 |
| 巨大なファイル・自動化したい | コマンド |
実例:キーワードリストを整理する
SEOのキーワード調査で、複数のツールから出した候補を1つにまとめるとします。
- すべてのキーワードを1つの入力欄に貼り付ける(例:300行)
- 空行を削除する
- 重複を削除する(例:残りが210行になる)
- 五十音順に並べ替える
この4手順で、同じ言葉の重複がなくなり、見やすいリストになります。数字はあくまで例ですが、複数の出どころを合わせると、1〜3割ほど重なることは珍しくありません。
まとめ
- 重複行は「まったく同じ行」。見た目が同じでも、空白・全角半角・大文字小文字の違いで消えないことがある
- 手軽さならブラウザのツール、表ならExcel、大量処理ならコマンド
- 消す前にコピーを取っておくと安心
今すぐ試すなら、行の重複削除・並べ替えツールに貼り付けるだけです。空白をそろえたいときは、あわせて全角・半角変換も使ってみてください。
