Shell脚本-在文件中使用第二个文件进行查找并智能替换

Question

我是一名有用的助手，可以为您翻译文本。

我有两个文件，一个数据文件和一个查找文件。

数据文件中的一个字段必须通过在查找文件中找到的值进行更改。

数据文件如下：

2013-04-24;1;0.1635;1.4135
2013-04-24;1;0.9135;1.4135
2013-04-24;2;0.9135;1.4135

查找文件看起来像这样：

1;2ab1e4c0-de4d-11e2-a934-0f0479162b1b
2;2ab21e90-de4d-11e2-9ce8-d368d9512bad
3;2ab2582e-de4d-11e2-bb5f-6b1f6c4437f8

结果必须是：

2013-04-24 2ab1e4c0-de4d-11e2-a934-0f0479162b1b 0.1635 1.4135
2013-04-24 2ab1e4c0-de4d-11e2-a934-0f0479162b1b 0.9135 1.4135
2013-04-24 2ab21e90-de4d-11e2-9ce8-d368d9512bad 0.9135 1.4135

我知道如何使用awk读取数据文件并转换字段分隔符。

    awk 'BEGIN { FS = ";"; OFS = " " } ;
        {  print $1, $2, #3, $4 }' $1 > $1.updated

但我不知道在shell脚本中查找变量$2并用UUID替换原始值的聪明方法。

查找文件永远不会很大，在极端情况下最多只有1000条记录。

任何bash或perl中的解决方案也将受到赞赏。

- j3pinter

---

只是提供信息，你的结果是错误的。你的数据文件第三行的值是2，被查找文件中的值3替换了。 - jaypal singh

你说得对。我进行了编辑，以免进一步混淆读者。 - j3pinter

Answer 1

这应该对您有用：

awk -F';' 'NR==FNR{a[$1]=$2;next}{$2=a[$2]}1' lookup data

• 将输入字段分隔符设置为;
• 运行查找文件，创建一个数组a，其键为第1列并将第2列存储为值
• 一旦查找文件已经加载到内存中，将数据文件的第二列替换为数组值。

- jaypal singh

---

谢谢！这非常有帮助。我知道awk非常强大，但这是真的很简洁。太好了！ - j3pinter

Answer 2

这就是 join 的作用，但它需要两个输入文件在你想匹配的字段上进行排序：

sort -t\; -k2,2 datafile.txt > datafile.tmp
sort -t\; -k1,1 lookup.txt > lookup.tmp
join -t\; -1 2 -2 1 -o 1.1,2.2,1.3,1.4 datafile.tmp lookup.tmp | tr ';' ' '

如果你正在使用 bash，你可以将所有内容合并到一行，跳过临时文件：

join -t\; -1 2 -2 1 -o 1.1,2.2,1.3,1.4 <(sort -t\; -k2,2 datafile.txt) <(sort -t\; -k1,1 lookup.txt) | tr ';' ' '

- twalberg

Answer 3

awk有“数组”（实际上像哈希/字典一样工作）非常适合这种情况。

awk 'BEGIN { FS = ";"; OFS = " " }
     {
         if (NR == FNR)
             values[$1] = $2
         else
             print $1, values[$2], $3, $4
     }' lookup data

- nwk

---

在软件开发中，测试一个条件（例如 NR==FNR），然后测试该条件的否定（NR!=FNR）是一种不好的做法。只需使用 next 或者，在这种情况下不太推荐，编写 if-else 语句。 - Ed Morton

很好的观点；仅仅因为是awk并不意味着你应该忽略最佳实践。我根据你的建议编辑了代码。（我使用了if-else，因为已经有一个带有next的答案，而条件语句可能更容易让新手理解awk。） - nwk

Answer 4

你可以使用全Bash解决方案。

while IFS=\; read _ stored; do
    string+=($stored)
done < lookup_file
ref=0
while IFS=\; read date _ data1 data2; do
    echo $date ${string[$ref]} $data1 $data2
    ((ref++))
done < data_file

这将从查找文件中存储目标字符串到数组中，并在读取数据文件时引用它们。

- John B