我有一个包含1000万行的文件，我想从中随机选择1/100行。这是我编写的AWK代码，但它会先将整个文件内容读入内存中。我的电脑内存无法处理这么大的文件。有其他方法可以实现吗？
awk 'BEGIN{srand()}
!/^$/{ a[c++]=$0}
END {
for ( i=1;i<=c ;i++ ) {
num=int(rand() * c)
if ( a[num] ) {
print a[num]
delete a[num]
d++
}
if ( d == c/100 ) break
}
}' file
如果你有那么多行的话，你确定你需要恰好1%吗？还是统计估计就足够了呢？
在第二种情况下，只需在每一行随机到1%即可...
awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}'
如果您想要标题行以及随机抽样的若干行，请使用以下代码：
awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print $0}'
你使用了awk，但我不知道是否必需。如果不是必需的话，这里有一种使用Perl的简单方法（而无需将整个文件加载到内存中）：
cat your_file.txt | perl -n -e 'print if (rand() < .01)'
（从评论中提取的更简单形式）：
perl -ne 'print if (rand() < .01)' your_file.txt
我在Gawk中编写了这段完全相同的代码，你很幸运。它的长度部分是因为它保留了输入顺序。可能可以进行性能优化。
这个算法在不知道输入大小的情况下也是正确的。我在这里发布了一篇罗塞塔石头关于它的文章。（我没有发布这个版本，因为它进行了不必要的比较。）
# Waterman's Algorithm R for random sampling
# by way of Knuth's The Art of Computer Programming, volume 2
BEGIN {
if (!n) {
print "Usage: sample.awk -v n=[size]"
exit
}
t = n
srand()
}
NR <= n {
pool[NR] = $0
places[NR] = NR
next
}
NR > n {
t++
M = int(rand()*t) + 1
if (M <= n) {
READ_NEXT_RECORD(M)
}
}
END {
if (NR < n) {
print "sample.awk: Not enough records for sample" \
> "/dev/stderr"
exit
}
# gawk needs a numeric sort function
# since it doesn't have one, zero-pad and sort alphabetically
pad = length(NR)
for (i in pool) {
new_index = sprintf("%0" pad "d", i)
newpool[new_index] = pool[i]
}
x = asorti(newpool, ordered)
for (i = 1; i <= x; i++)
print newpool[ordered[i]]
}
function READ_NEXT_RECORD(idx) {
rec = places[idx]
delete pool[rec]
pool[NR] = $0
places[idx] = NR
}
i>>k（注意：第i个项目被选择的概率为k/n，其中n是总项目数）时，替换发生在第i个项目上的概率为k/i。 - jfs#!gawk -f 就可以让它在我的系统上运行（并且使用 brew install gawk 安装 gawk 因为我使用的是 Mac）。我只有一个问题：这真的是蓄水池抽样吗？ - Jeremy Iglehart这应该在大多数GNU / Linux机器上都可以工作。
$ shuf -n $(( $(wc -l < $file) / 100)) $file
如果GNU shuf命令的内存管理被不当地执行，我会感到惊讶。
shuf确实首先将整个文件读入内存中，但很不幸。 - Louis Marasciowc -l < $file 不会输出文件名，因此您可以省略 cut 命令。 - Dennis Williamsonawk非常容易，我很惊讶还没有解决方案建议这一点。我不得不解决相同的问题，并编写了以下awk程序进行抽样：#!/usr/bin/env awk -f
BEGIN{
srand();
if(k=="") k=10
}
NR <= k {
reservoir[NR-1] = $0;
next;
}
{ i = int(NR * rand()) }
i < k { reservoir[i] = $0 }
END {
for (i in reservoir) {
print reservoir[i];
}
}
sample_lines并使其可执行，则可以像这样运行：./sample_lines -v k=5 input_file。如果没有给出k，则默认使用10。-v "k=$(dc -e "$(cat input_file | wc -l) 100 / n")"来实现。Python示例：
fn = '/usr/share/dict/words'
from random import randint
from sys import stdout
count = 0
with open(fn) as f:
for line in f:
count += 1
selected = set()
while len(selected) < count//100:
selected.add(randint(0, count-1))
index = 0
with open(fn) as f:
for line in f:
if index in selected:
stdout.write(line)
index += 1
wc -l），一次选择样本，则可以知道文件中的行数：file=/some/file
awk -v percent=0.01 -v n="$(wc -l < "$file")" '
BEGIN {srand(); p = int(n * percent)}
rand() * n-- < p {p--; print}' < "$file"
不要等到最后再随机选择你的1%行，而是在“/^ $ /”中的每100行执行一次。这样，你每次只需要保留100行。