我希望将一个拥有约1700万行字符串的大型文件分割成多个文件,每个文件中包含不同数量的行。我是否可以像这样向'split -l'命令发送一个数组:
[
1=>1000000,
2=>1000537,
...
]
为了将这么多行发送到每个块中。
使用复合命令:
{
head -n 10000 > output1
head -n 200 > output2
head -n 1234 > output3
cat > remainder
} < yourbigfile
这也适用于循环:
{
i=1
for n in 10000 200 1234
do
head -n $n > output$i
let i++
done
cat > remainder
} < yourbigfile
在 OS X 上该方法无效,因为 head
会读取并丢弃额外的输出内容。
sed
通过获取另一个脚本来为您生成sed
命令。# split_gen.py
use strict;
my @limits = ( 100, 250, 340,999);
my $filename = "joker";
my $start = 1;
foreach my $end (@limits) {
print qq{sed -n '$start,${end}p;${end}q' $filename > $filename.$start-$end\n};
$start = $end + 1;
}
perl split_gen.py
,将得到如下结果:
sed -n '1,100p;100q' joker > joker.1-100
sed -n '101,250p;250q' joker > joker.101-250
sed -n '251,340p;340q' joker > joker.251-340
sed -n '341,999p;999q' joker > joker.341-999
perl split_gen.py | sh
split
命令没有这种能力,所以您需要使用另一个工具或编写自己的工具。