如何使用自定义版本的glibc和静态链接构建C程序?

26

我已经构建了glibc 2.14并将其安装在目录~/GLIBC/glibc_install。现在我想使用这个C库构建和运行程序,而不是使用系统默认的C库。

  • 为了确保我正在使用我的自定义glibc,我在glibc/stdio-common/printf.c:__printf中添加了一个puts调用以打印一条消息。

  • 然后我重新构建并重新安装了glibc。

  • 然后我编写了一个“Hello, World”程序,并尝试按以下方式进行编译和链接:

    gcc -nodefaultlibs -static -lgcc -L~/GLIBC/glibc_install/lib -o myprog myprog.c
    
    但是我得到了以下链接器错误报告:
    /usr/lib/gcc/x86_64-linux-gnu/4.4.3/../../../../lib/crt1.o: In function `_start':
    (.text+0x19): undefined reference to `__libc_csu_init'
    /usr/lib/gcc/x86_64-linux-gnu/4.4.3/../../../../lib/crt1.o: In function `_start':
    (.text+0x25): undefined reference to `__libc_start_main'
    /tmp/ccACTQEp.o: In function `main':
    c1.c:(.text+0xa): undefined reference to `puts'
    collect2: ld returned 1 exit status
    

    我做错了什么?


5
GCC高度依赖于Glibc拥有的内部函数。为了不依赖这些内部函数,您需要重新构建早期版本的GCC。这并不是一件轻而易举的事情... - user529758
1
我不明白为什么我需要早期版本的GCC。我构建的glibc是第二新的版本,即2.14。(在我的Ubuntu系统上,我使用2.15遇到了构建问题,因为已知问题无法通过推荐的解决方法解决。) - Amittai Aviram
2
GCC版本应该与此无关。GCC无法找到的符号应该在libc.a中定义,所以如果它们丢失了,可能是libc.a编译错误了..? - R.. GitHub STOP HELPING ICE
1
GCC版本与此问题无关。请查看我下面发布的解决方案(第二个答案)。 - Amittai Aviram
3个回答

27

在glibc帮助邮件列表(libc-help@sourceware.org)上得到了一些建议后,我有了一个解决方案。事实证明,这个任务有点棘手,因为你必须告诉链接器省略它通常自动(悄悄地)包含的所有内容,然后再包含它需要的所有东西,包括一堆起始和结束文件。一些起始和结束文件来自于libc,一些来自于gcc,所以make规则有点复杂。下面是一个通用的示例makefile,用于说明这种方法。假设您正在从名为prog.c的源文件构建一个名为prog的程序,并且已经将自定义的glibc安装在目录/home/my_acct/glibc_install中。

TARGET = prog
OBJ = $(TARGET).o
SRC = $(TARGET).c
CC = gcc
CFLAGS = -g
LDFLAGS = -nostdlib -nostartfiles -static
GLIBCDIR = /home/my_acct/glibc_install/lib
STARTFILES = $(GLIBCDIR)/crt1.o $(GLIBCDIR)/crti.o `gcc --print-file-name=crtbegin.o`
ENDFILES = `gcc --print-file-name=crtend.o` $(GLIBCDIR)/crtn.o
LIBGROUP = -Wl,--start-group $(GLIBCDIR)/libc.a -lgcc -lgcc_eh -Wl,--end-group

$(TARGET): $(OBJ)
        $(CC) $(LDFLAGS) -o $@ $(STARTFILES) $^ $(LIBGROUP) $(ENDFILES) 

$(OBJ): $(SRC)
        $(CC) $(CFLAGS) -c $^

clean:
        rm -f *.o *.~ $(TARGET)

下一次寻找此类问题的好方法是在/lib /usr/lib目录上运行nm以查找您缺少的符号。实际上,libcrt仅包含对主函数的调用。 - Alexander Oh
2
你能链接到GCC邮件列表线程吗?我还会添加-nostdinc -I来控制头文件。 - Ciro Santilli OurBigBook.com

9

设置1:编译自己的glibc并使用它,而不需要专用GCC

没有静态也可以在以下链接中工作:单台主机上多个glibc库

这种设置可能会起作用,并且速度快,因为它不重新编译整个GCC工具链,只是编译glibc。

但是它不可靠,因为它使用主机C运行时对象,例如由glibc提供的 crt1.o ,crti.o和crtn.o 。这在https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location中有所提及。这些对象进行了早期设置,glibc依赖于它们,因此如果事情以奇妙和微妙的方式崩溃,我不会感到惊讶。

对于更可靠的设置,请参见下面的设置2。

构建glibc并进行本地安装:

export glibc_install="$(pwd)/glibc/build/install"

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
mkdir build
cd build
../configure --prefix "$glibc_install"
make -j `nproc`
make install -j `nproc`

设置1: 验证构建

test_glibc.c

#define _GNU_SOURCE
#include <assert.h>
#include <gnu/libc-version.h>
#include <stdatomic.h>
#include <stdio.h>
#include <threads.h>

atomic_int acnt;
int cnt;

int f(void* thr_data) {
    for(int n = 0; n < 1000; ++n) {
        ++cnt;
        ++acnt;
    }
    return 0;
}

int main(int argc, char **argv) {
    /* Basic library version check. */
    printf("gnu_get_libc_version() = %s\n", gnu_get_libc_version());

    /* Exercise thrd_create from -pthread,
     * which is not present in glibc 2.27 in Ubuntu 18.04.
     * https://dev59.com/rXVD5IYBdhLWcg3wL4mM#52453291 */
    thrd_t thr[10];
    for(int n = 0; n < 10; ++n)
        thrd_create(&thr[n], f, NULL);
    for(int n = 0; n < 10; ++n)
        thrd_join(thr[n], NULL);
    printf("The atomic counter is %u\n", acnt);
    printf("The non-atomic counter is %u\n", cnt);
}

使用test_glibc.sh进行编译和运行:

#!/usr/bin/env bash
set -eux
rm -rf tmp
mkdir tmp
gcc \
  -L "${glibc_install}/lib" \
  -I "${glibc_install}/include" \
  -Wl,--rpath="${glibc_install}/lib" \
  -Wl,--dynamic-linker="${glibc_install}/lib/ld-linux-x86-64.so.2" \
  -static \
  -std=c11 \
  -o tmp/test_glibc.out \
  -v \
  test_glibc.c \
  -pthread \
;
sudo chroot tmp /test_glibc.out

该程序输出预期结果:
gnu_get_libc_version() = 2.28
The atomic counter is 10000
The non-atomic counter is 8674

即使我们在一个干净的chroot上运行了它,所以“-static”一定起作用了。
该命令来自https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location,但使用“--sysroot”会导致失败并出现以下错误:
cannot find /home/ciro/glibc/build/install/lib/libc.so.6 inside /home/ciro/glibc/build/install

我将其删除了。

ldd输出确认我们刚刚构建的ldd和库正在按预期使用:

+ ldd test_glibc.out
        linux-vdso.so.1 (0x00007ffe4bfd3000)
        libpthread.so.0 => /home/ciro/glibc/build/install/lib/libpthread.so.0 (0x00007fc12ed92000)
        libc.so.6 => /home/ciro/glibc/build/install/lib/libc.so.6 (0x00007fc12e9dc000)
        /home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)

gcc编译调试输出显示使用了我的主机运行时对象,这很糟糕,正如之前提到的那样,但我不知道该如何解决,例如:

COLLECT_GCC_OPTIONS=/usr/lib/gcc/x86_64-linux-gnu/7/../../../x86_64-linux-gnu/crt1.o

设置1:修改glibc

现在,让我们使用以下方法修改glibc:

diff --git a/nptl/thrd_create.c b/nptl/thrd_create.c
index 113ba0d93e..b00f088abb 100644
--- a/nptl/thrd_create.c
+++ b/nptl/thrd_create.c
@@ -16,11 +16,14 @@
    License along with the GNU C Library; if not, see
    <http://www.gnu.org/licenses/>.  */

+#include <stdio.h>
+
 #include "thrd_priv.h"

 int
 thrd_create (thrd_t *thr, thrd_start_t func, void *arg)
 {
+  puts("hacked");
   _Static_assert (sizeof (thr) == sizeof (pthread_t),
                   "sizeof (thr) != sizeof (pthread_t)");

然后重新编译和安装glibc,再重新编译和运行我们的程序:

cd glibc/build
make -j `nproc`
make -j `nproc` install
./test_glibc.sh

我们可以看到,像我们预期的那样几次打印了 hacked,这进一步证实了我们实际使用的是我们编译的glibc而不是主机上的。

在Ubuntu 18.04上进行测试。

设置2:crosstool-NG原始设置

这是一个替代设置1的方法,并且到目前为止,这是我最正确的设置:从我的观察来看,所有内容都是正确的,包括C运行时对象,例如crt1.ocrti.ocrtn.o

在此设置中,我们将编译一个完整的专用GCC工具链,该工具链使用我们想要的glibc。

唯一的缺点是构建时间较长。但是在生产环境中,我不会冒任何风险。

crosstool-NG是一组脚本,可以为我们下载和编译所有内容,包括GCC、glibc和binutils。

是的,GCC构建系统非常糟糕,以至于我们需要另一个项目来完成它。

由于crosstool-NG不支持构建不带额外-Wl标志的可执行文件,所以此设置并不完美,这感觉很奇怪,因为我们已经构建了GCC本身。但是一切似乎都能正常工作,所以这只是一个不便。

获取crosstool-NG并进行配置:

git clone https://github.com/crosstool-ng/crosstool-ng
cd crosstool-ng
git checkout a6580b8e8b55345a5a342b5bd96e42c83e640ac5
export CT_PREFIX="$(pwd)/.build/install"
export PATH="/usr/lib/ccache:${PATH}"
./bootstrap
./configure --enable-local
make -j `nproc`
./ct-ng x86_64-unknown-linux-gnu
./ct-ng menuconfig

我所看到的唯一必需的选项是,要使其与您的主机内核版本匹配以使用正确的内核头文件。使用以下命令查找您的主机内核版本:

uname -a

这显示给我:

4.15.0-34-generic

menuconfig中,我执行以下操作:

  • 操作系统
    • Linux版本

因此我选择:

4.14.71

这是第一个相等或更旧的版本。必须更旧,因为内核向后兼容。

现在您可以使用以下方式构建:

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

现在,等待约30分钟到2小时进行编译。

设置2:可选配置

我们使用./ct-ng x86_64-unknown-linux-gnu生成的.config包含以下内容:

CT_GLIBC_V_2_27=y

如果你想更改版本,在menuconfig中执行以下操作:

  • C库
  • glibc的版本

保存.config文件,然后继续进行构建。

或者,如果你想使用自己的glibc源代码,比如从最新的git中获取glibc,请按照以下方式进行:

  • 路径和其他选项
    • 尝试标记为实验性的功能:设置为true
  • C库
    • glibc的源
      • 自定义位置:选择是
      • 自定义位置
        • 自定义源位置:指向包含glibc源代码的目录

其中glibc的克隆地址为:

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28

设置2:测试它

一旦您构建了所需的工具链,请使用以下命令进行测试:

#!/usr/bin/env bash
set -eux
install_dir="${CT_PREFIX}/x86_64-unknown-linux-gnu"
rm -rf tmp
mkdir tmp
PATH="${PATH}:${install_dir}/bin" \
  x86_64-unknown-linux-gnu-gcc \
  -Wl,--dynamic-linker="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib/ld-linux-x86-64.so.2" \
  -Wl,--rpath="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib" \
  -static \
  -v \
  -o tmp/test_glibc.out \
  test_glibc.c \
  -pthread \
;
sudo chroot tmp /test_glibc.out

一切似乎与Setup 1相同,只是现在使用了正确的运行时对象:

COLLECT_GCC_OPTIONS=/home/ciro/crosstool-ng/.build/install/x86_64-unknown-linux-gnu/bin/../x86_64-unknown-linux-gnu/sysroot/usr/lib/../lib64/crt1.o

安装2: 失败的高效glibc重新编译尝试

使用crosstool-NG似乎不可能实现,原因如下所述。

如果您仅重新构建;

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

如果您更改了自定义glibc源位置的内容,则会考虑到这些更改,但是需要从头开始构建所有内容,这使得它无法用于迭代开发。

如果我们这样做:

./ct-ng list-steps

这提供了一个构建步骤的良好概述:

Available build steps, in order:
  - companion_tools_for_build
  - companion_libs_for_build
  - binutils_for_build
  - companion_tools_for_host
  - companion_libs_for_host
  - binutils_for_host
  - cc_core_pass_1
  - kernel_headers
  - libc_start_files
  - cc_core_pass_2
  - libc
  - cc_for_build
  - cc_for_host
  - libc_post_cc
  - companion_libs_for_target
  - binutils_for_target
  - debug
  - test_suite
  - finish
Use "<step>" as action to execute only that step.
Use "+<step>" as action to execute up to that step.
Use "<step>+" as action to execute from that step onward.

因此,我们看到有几个GCC步骤交织在一起的glibc步骤,其中最明显的是libc_start_files出现在cc_core_pass_2之前,这可能是与cc_core_pass_1一起最昂贵的步骤。
为了构建单个步骤,您必须首先在初始构建中设置“保存中间步骤”选项:.config
  • 路径和杂项选项
    • 调试crosstool-NG
      • 保存中间步骤
然后,您可以尝试:
env -u LD_LIBRARY_PATH time ./ct-ng libc+ -j`nproc`

但不幸的是,如https://github.com/crosstool-ng/crosstool-ng/issues/1033#issuecomment-424877536所述,需要使用+
请注意,重新开始中间步骤会将安装目录重置为该步骤期间的状态。也就是说,您将拥有一个已重建的libc,但没有使用此libc构建的最终编译器(因此也没有编译器库,如libstdc++)。
基本上,这仍然使重建过程对于开发来说速度太慢,我看不出如何在不修改crosstool-NG的情况下克服这个问题。
此外,从libc步骤开始似乎没有再次复制源代码从Custom source location,进一步使得此方法无法使用。
奖励:stdlibc++
如果您还对C ++标准库感兴趣,这里有一个奖励:如何编辑和重新构建GCC libstdc ++ C ++标准库源?

6

你的命令行是无效的。尝试使用以下命令:

gcc -nodefaultlibs -static -L~/GLIBC/glibc_install/lib -o myprog myprog.c -lgcc -lc -lgcc -lc

或类似的。你省略了-lc,并且错误地将库文件放在输入文件之前。
而你正在寻找一个名为libibgcc而不是libgcc的库...

1
为什么会传递两次-lgcc -lc - Ciro Santilli OurBigBook.com
第一个“-lgcc”只会解析在“myprog.c”中未定义的符号。如果“libc”也需要“libgcc”,则需要在“-lc”之后加上第二个“-lgcc”。 - R.. GitHub STOP HELPING ICE
1
这在我的Ubuntu 14.04 GCC 4.8上失败了,出现了undefined reference to __gcc_personality_v0_Unwind_Resume的错误。这两个错误都是在libgcc_s.so中定义的,但在libgcc.a中没有定义(没有libgcc.so)。如果我去掉-static选项,不知何故它就能正常工作,即使没有添加-lgcc_s选项。 - Ciro Santilli OurBigBook.com
需要使用-nostdinc -I设置包含路径吗? - Ciro Santilli OurBigBook.com
使用Amittai建议的-lgcc_eh解决了链接问题,因为libgcc_eh.a包含这些符号。当使用-static选项时,它由gcc传递给链接器。 - Ciro Santilli OurBigBook.com
显示剩余4条评论

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接