我有一个像这样的 .csv 文件：
stack2@domain.example,2009-11-27 01:05:47.893000000,domain.example,127.0.0.1
overflow@domain2.example,2009-11-27 00:58:29.793000000,domain2.example,255.255.255.0
overflow@domain2.example,2009-11-27 00:58:29.646465785,domain2.example,256.255.255.0
...
我需要从文件中删除重复的电子邮件（整行），即从上面示例中包含 overflow@domain2.example 的一行。如何仅在第1列（由逗号分隔）上使用 uniq？根据 man，uniq 没有列选项。
我尝试了一些带有 sort | uniq 的东西，但它不起作用。
sort -u -t, -k1,1 file
-u 用于去重-t, 以逗号为分隔符-k1,1 用于指定第一个关键字段测试结果：
overflow@domain2.example,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
awk -F"," '!_[$1]++' file
-F设置字段分隔符。$1是第一个字段。_[val]在哈希_(一个普通变量)中查找val。++递增并返回旧值。!返回逻辑非。awk -F',' '{ x[$1]=$0 } END { for (i in x) print x[i] }' file - Sukima!_[$1][$2]++ 可用于按前两个字段排序。但是，我的 awk 技能不足以在一系列字段上进行唯一性处理。 :( - Soham Chowdhurysort -u -t : -k 1,1 -k 3,3 test.txt
-t :冒号是分隔符-k 1,1 -k 3,3基于第一列和第三列uniq命令：
<mycvs.cvs tr -s ',' ' ' | awk '{print $3" "$2" "$1}' | uniq -c -f2
输出如下：1 01:05:47.893000000 2009-11-27 tack2@domain.example
2 00:58:29.793000000 2009-11-27 overflow@domain2.example
1
cat！不要使用管道传输给tr，直接让tr使用<读取文件即可。对于新手来说，通过cat进行管道传输是常见但不必要的复杂操作。对于大量数据，这样做会有性能影响。 - Carl Smotriczrev 可以简化字段的反转。 - Hielke Walingarev 是将每行中的 字符 反转，而不是字段！ - Fixee<mycsv.cvs tr -s , ' ' | rev | uniq -f 4 | rev - Hielke Walinga tac a.csv | sort -u -t, -r -k1,1 |tac
这是我的要求
这里
tac 命令会按行反转文件内容
printf "%s" "$str" \
| awk '{ tmp_fixed_width=15; uniq_col=8; w=tmp_fixed_width-length($uniq_col); for (i=0;i<w;i++) { $uniq_col=$uniq_col" "}; printf "%s\n", $0 }' \
| uniq -f 7 -w 15 \
| awk '{ uniq_col=8; gsub(/ */, "", $uniq_col); printf "%s\n", $0 }'
printf "%s" "$str" \
| awk '{ uniq_col_1=4; printf "%15s %s\n", uniq_col_1, $0 }' \
| uniq -f 0 -w 15 \
| awk '{ $1=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'
printf "%s" "$str" \
| awk '{ uniq_col_1=4; uniq_col_2=8; printf "%5s %15s %s\n", uniq_col_1, uniq_col_2, $0 }' \
| uniq -f 0 -w 5 \
| uniq -f 1 -w 15 \
| awk '{ $1=$2=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'
awk命令行界面，行为类似于uniq但不需要sort，只捕获连续的重复项
迄今为止，大多数其他答案都提供了即使不是连续的重复项也会删除的方法。
这种方法的问题在于它要求首先进行排序或在内存中存储可能巨大的映射，这对于大型输入文件来说可能会很慢/不可行。
因此，对于这些情况，这里有一个awk解决方案，就像uniq一样，只有在连续的行上出现重复项时才会捕获。例如，要删除第一列上的所有连续重复项，我们可以使用$1：
awk '$1 != last { print $0; last = $1; }' infile.txt
a 0
a 1
b 0
a 0
a 1
a 0
b 0
a 0
#!/usr/bin/env python
import argparse
from argparse import RawTextHelpFormatter
import fileinput
import sys
parser = argparse.ArgumentParser(
description='uniq but with a memory of the n previous distinct lines rather than just one',
epilog="""Useful if you know that duplicate lines in an input file are nearby to one another, but not necessarily immediately one afte the other.
This command was about 3x slower than uniq, and becomes highly CPU (?) bound even on rotating disks. We need to make a C++ version one day, or try PyPy/Cython""",
formatter_class=RawTextHelpFormatter,
)
parser.add_argument("-k", default=None, type=int)
parser.add_argument("-n", default=10, type=int)
parser.add_argument("file", nargs='?', default=[])
args = parser.parse_args()
k = args.k
lastlines = {}
for line in fileinput.input(args.file):
line = line.rstrip('\r\n')
if k is not None:
orig = line
line = line.split()[k]
else:
orig = line
if not line in lastlines:
print(orig)
lastlines.pop(line, None)
lastlines[line] = True
if len(lastlines) == args.n + 1:
del lastlines[next(iter(lastlines))]
1 a
2 a
3 a
1 a
2 a
2 b
3 a
然后：
./uniqn -k0 -n3 uniqn-test
給:
1 a
2 a
3 a
1 a看到前面三行的第一个1 a并跳过它，这是由于-n3的结果。uniq选项需要考虑uniq没有一个很好的“仅考虑第N列”的选项，但它确实有一些标志可以解决某些更受限制的情况，来自man uniq：--check-chars的--check-fields补丁到其中，那么我们就可以使用--skip-fields N-1 --check-fields 1了。对于第一个字段的特定情况，它已经起作用了。148,156,631行、7.59 GiB大小的ASCII文本文件进行去重操作，最终发现使用sort | uniq比使用awk快了4.5%，分别耗时148秒和155秒。 - RARE Kpop Manifestoawk映射是可以的。但是当我们处理数百GB的文件时，它会消耗大量内存，并且排序（使用临时文件以避免内存溢出）可能比不使用映射的awk更慢。 - Ciro Santilli OurBigBook.com7 GB的完整行去重。通过适当大小的键进行去重，awk可以轻松处理100 GiB而不浪费时间进行排序。您始终可以通过python预先管道化它，并通过行的SHA256哈希使awk仅执行完整行去重。最大的排序仍然是n log n，所以我总是在过滤之后而不是之前进行排序，只要适用。 - RARE Kpop Manifesto7 GiB文件中，预先将其传送到python3进行逐行MD5处理后，速度竟然变慢了9秒。 - RARE Kpop Manifestosort对文件进行排序，然后再应用uniq，可以去重。$ cat test.csv
overflow@domain2.example,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.example,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
$ sort test.csv
overflow@domain2.example,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0
overflow@domain2.example,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
$ sort test.csv | uniq
overflow@domain2.example,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0
overflow@domain2.example,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
你也可以使用一些AWK的魔法：
$ awk -F, '{ lines[$1] = $0 } END { for (l in lines) print lines[l] }' test.csv
stack2@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.example,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.example,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0
sort，然后是 uniq，需要在执行 uniq 之前进行 sort，否则它不起作用（但你可以跳过第二个命令，直接使用 sort -u）。来自 uniq(1)："从输入（或标准输入）中过滤相邻匹配的行，并写入输出（或标准输出）"。 - Mikael S如果你需要删除给定文件中某个特定值的所有内容，为什么不直接使用grep -v呢？这比使用awk隔离列要简单得多：
例如，要删除第二行中值为"col2"的所有内容：col1,col2,col3,col4
grep -v ',col2,' file > file_minus_offending_lines
awk -F, '{print $2 "|" $line}'
-F参数将字段分隔符设置为“，”，$2表示第二列，然后是一些自定义的分隔符，最后是整行内容。您可以通过删除以有问题的值开头的行来进行过滤：
awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE
然后剥离分隔符之前的内容：
awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE | sed 's/.*|//g'
（注意 - sed 命令很粗糙，因为它不包括转义值。此外，sed 模式应该真正是类似于 "[^|]+"（即除了分隔符之外的任何内容）。但希望这足够清楚了。）
man sort）中有解释。它代表排序的起始和结束位置。 - Serranosort的手册所说的：“-u，--unique与-c一起使用时，检查严格排序；没有-c，仅输出相等运行的第一个。”因此，确实是“在排序之前重复的第一个出现”。 - Geremia