如何在文本文件中替换 ${} 占位符？

Question

如何在文本文件中替换 ${} 占位符？

bashcommand-linetext-processingtemplating

231

我想将一个包含像${dbName}这样的变量的“模板”文件的输出导入到MySQL中。有什么命令行工具可以替换这些实例并将输出转储到标准输出？输入文件被认为是安全的，但可能存在错误的替换定义。执行替换应避免执行意外的代码执行。

- Dana the Sane

19个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Beau Simensen · Answer 1

如果您愿意使用Perl，那将是我的建议。虽然可能有一些sed和/或AWK专家知道如何更轻松地完成此操作。如果您有一个更复杂的映射，不仅仅是用于替换dbName，您可以很容易地扩展它，但在那时，您也可以将其放入标准的Perl脚本中。

perl -p -e 's/\$\{dbName\}/testdb/s' yourfile | mysql

一个简短的Perl脚本，用于处理稍微复杂一些的内容（处理多个键）：

#!/usr/bin/env perl
my %replace = ( 'dbName' => 'testdb', 'somethingElse' => 'fooBar' );
undef $/;
my $buf = <STDIN>;
$buf =~ s/\$\{$_\}/$replace{$_}/g for keys %replace;
print $buf;

如果您将上述脚本命名为replace-script，则可以按以下方式使用它：

replace-script < yourfile | mysql

- user976433 · Answer 2

file.tpl:

The following bash function should only replace ${var1} syntax and ignore 
other shell special chars such as `backticks` or $var2 or "double quotes". 
If I have missed anything - let me know.

script.sh:

template(){
    # usage: template file.tpl
    while read -r line ; do
            line=${line//\"/\\\"}
            line=${line//\`/\\\`}
            line=${line//\$/\\\$}
            line=${line//\\\${/\${}
            eval "echo \"$line\""; 
    done < ${1}
}

var1="*replaced*"
var2="*not replaced*"

template file.tpl > result.txt

- GlueC · Answer 3

3

我在寻找答案时发现了这个帖子。它启发了我做出以下的尝试（注意反引号的使用）。

$ echo $MYTEST
pass!
$ cat FILE
hello $MYTEST world
$ eval echo `cat FILE`
hello pass! world

- GlueC

5

一个简化$(cat file)的Bash快捷方式是 $(< file)。 - glenn jackman

3

显然，这种方法会干扰换行符，也就是说，我的文件输出时变成了一整行。 - Arthur Corenzan

@ArthurCorenzan：确实，换行符会被替换为空格。要解决这个问题，你需要使用 eval echo "\"$(cat FILE)\""，但是输入中的双引号可能仍然会被丢弃。 - mklement0

正如其他地方所指出的那样：仅在您完全信任或控制输入时使用此功能，因为嵌入在输入中的命令替换（\…` 或$(…)）由于使用了 eval`，允许执行任意命令。 - mklement0

请参考以下链接：https://dev59.com/7XE85IYBdhLWcg3wKwKD#17030906 - jetnet

- sfitts · Answer 4

这里有很多选择，但我想分享我的。它是基于Perl的，只针对形如${...}的变量，将要处理的文件作为参数，并将转换后的文件输出到标准输出：

use Env;
Env::import();

while(<>) { $_ =~ s/(\${\w+})/$1/eeg; $text .= $_; }

print "$text";

当然，我并不是真正的Perl专家，所以很可能存在致命缺陷（但对我来说可行）。

- Pax · Answer 5

如果您可以控制配置文件的格式，那么可以在bash本身中完成此操作。您只需要通过源代码(".")来读取配置文件，而不是作为子shell来执行它。这可以确保变量是在当前shell的上下文中创建(并继续存在)，而不是在子shell中(变量在子shell退出时会消失)。

$ cat config.data
    export parm_jdbc=jdbc:db2://box7.co.uk:5000/INSTA
    export parm_user=pax
    export parm_pwd=never_you_mind

$ cat go.bash
    . config.data
    echo "JDBC string is " $parm_jdbc
    echo "Username is    " $parm_user
    echo "Password is    " $parm_pwd

$ bash go.bash
    JDBC string is  jdbc:db2://box7.co.uk:5000/INSTA
    Username is     pax
    Password is     never_you_mind

如果您的配置文件不能是一个shell脚本，您可以在执行之前进行“编译”，这样就可以了（编译取决于输入格式）。

$ cat config.data
    parm_jdbc=jdbc:db2://box7.co.uk:5000/INSTA # JDBC URL
    parm_user=pax                              # user name
    parm_pwd=never_you_mind                    # password

$ cat go.bash
    cat config.data
        | sed 's/#.*$//'
        | sed 's/[ \t]*$//'
        | sed 's/^[ \t]*//'
        | grep -v '^$'
        | sed 's/^/export '
        >config.data-compiled
    . config.data-compiled
    echo "JDBC string is " $parm_jdbc
    echo "Username is    " $parm_user
    echo "Password is    " $parm_pwd

$ bash go.bash
    JDBC string is  jdbc:db2://box7.co.uk:5000/INSTA
    Username is     pax
    Password is     never_you_mind

在您的特定情况下，您可以使用类似以下的代码：

$ cat config.data
    export p_p1=val1
    export p_p2=val2
$ cat go.bash
    . ./config.data
    echo "select * from dbtable where p1 = '$p_p1' and p2 like '$p_p2%' order by p1"
$ bash go.bash
    select * from dbtable where p1 = 'val1' and p2 like 'val2%' order by p1

然后将 go.bash 的输出导入到 MySQL 中，完成了，希望你不会破坏你的数据库 :-).

- roy man · Answer 6

对我来说，这是最简单和最强大的解决方案，您甚至可以使用相同的命令eval echo "$(<template.txt)包含其他模板：

嵌套模板示例

创建模板文件，变量采用常规bash语法${VARIABLE_NAME}或$VARIABLE_NAME

在模板中必须使用\转义特殊字符，否则它们将被eval解释。

template.txt

Hello ${name}!
eval echo $(<nested-template.txt)

nested-template.txt

Nice to have you here ${name} :\)

创建源文件。

template.source

declare name=royman

解析模板

source template.source && eval echo "$(<template.txt)"

输出结果

Hello royman!
Nice to have you here royman :)

- joehep · Answer 7

使用 Perl 在原位编辑多个文件，并备份。

  perl -e 's/\$\{([^}]+)\}/defined $ENV{$1} ? $ENV{$1} : ""/eg' \
    -i.orig \
    -p config/test/*

- ocodo · Answer 8

使用 `envsubst`

请不要使用其他任何东西（例如，请勿使用 eval）

简单用法：

export name="Dana the Sane"

创建带有占位符的模板（template.txt）：

Hello ${name}

将占位变量安全地替换。将模板输入到envsubst的标准输入中。

envsubst < template.txt
Hello Dana the Sane

请注意，命令envsubst < template.txt > template.txt不起作用。重定向会在读取之前将输出文件清零。

- olopopo · Answer 9

我创建了一个名为shtpl的shell模板脚本。我的shtpl使用类似于jinja的语法，现在我经常使用ansible，对此非常熟悉：

$ cat /tmp/test
{{ aux=4 }}
{{ myarray=( a b c d ) }}
{{ A_RANDOM=$RANDOM }}
$A_RANDOM
{% if $(( $A_RANDOM%2 )) == 0 %}
$A_RANDOM is even
{% else %}
$A_RANDOM is odd
{% endif %}
{% if $(( $A_RANDOM%2 )) == 0 %}
{% for n in 1 2 3 $aux %}
\$myarray[$((n-1))]: ${myarray[$((n-1))]}
/etc/passwd field #$n: $(grep $USER /etc/passwd | cut -d: -f$n)
{% endfor %}
{% else %}
{% for n in {1..4} %}
\$myarray[$((n-1))]: ${myarray[$((n-1))]}
/etc/group field #$n: $(grep ^$USER /etc/group | cut -d: -f$n)
{% endfor %}
{% endif %}


$ ./shtpl < /tmp/test
6535
6535 is odd
$myarray[0]: a
/etc/group field #1: myusername
$myarray[1]: b
/etc/group field #2: x
$myarray[2]: c
/etc/group field #3: 1001
$myarray[3]: d
/etc/group field #4:

更多关于我的GitHub的信息

如何在文本文件中替换 ${} 占位符？

使用 envsubst

使用 `envsubst`