最近，我的同事需要使用NVML来查询设备信息，所以我下载了Tesla开发工具包3.304.5，并将nvml.h文件复制到了/usr/include。为了测试，我编译了tdk_3.304.5/nvml/example中的示例代码，它可以正常工作。
但是，在一个周末后，系统中发生了一些变化（我无法确定发生了什么变化，而我不是这台机器的唯一使用者），现在任何使用nvml.h的代码（例如示例代码），都会失败并显示以下错误：
然而，我仍然可以运行nvidia-smi并读取有关我的K20m状态的信息，据我所知，nvidia-smi只是对nvml.h的一组调用。我收到的错误消息有点神秘，但我认为它告诉我nvidia-ml.so文件需要与我在系统上安装的Tesla驱动程序匹配。为确保一切正确，我重新下载了CUDA 5.0并安装了驱动程序、CUDA运行时和测试文件。我确定nvidia-ml.so文件与驱动程序匹配（都是304.54），所以我很困惑可能出了什么问题。只要不包括nvml.h，我可以使用nvcc编译和运行测试代码以及运行自己的CUDA代码。
但是，在一个周末后，系统中发生了一些变化（我无法确定发生了什么变化，而我不是这台机器的唯一使用者），现在任何使用nvml.h的代码（例如示例代码），都会失败并显示以下错误：
Failed to initialize NVML:
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
WARNING:
You should always run with libnvidia-ml.so that is installed with your NVIDIA Display Driver. By default it's installed in /usr/lib and /usr/lib64. libnvidia-ml.so in TDK package is a stub library that is attached only for build purposes (e.g. machine that you build your application doesn't have to have Display Driver installed).
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
然而，我仍然可以运行nvidia-smi并读取有关我的K20m状态的信息，据我所知，nvidia-smi只是对nvml.h的一组调用。我收到的错误消息有点神秘，但我认为它告诉我nvidia-ml.so文件需要与我在系统上安装的Tesla驱动程序匹配。为确保一切正确，我重新下载了CUDA 5.0并安装了驱动程序、CUDA运行时和测试文件。我确定nvidia-ml.so文件与驱动程序匹配（都是304.54），所以我很困惑可能出了什么问题。只要不包括nvml.h，我可以使用nvcc编译和运行测试代码以及运行自己的CUDA代码。
是否有人遇到过这个错误或者对纠正这个问题有任何想法？
$ ls -la /usr/lib/libnvidia-ml*
lrwxrwxrwx. 1 root root 17 Jul 19 10:08 /usr/lib/libnvidia-ml.so -> libnvidia-ml.so.1
lrwxrwxrwx. 1 root root 22 Jul 19 10:08 /usr/lib/libnvidia-ml.so.1 -> libnvidia-ml.so.304.54
-rwxr-xr-x. 1 root root 391872 Jul 19 10:08 /usr/lib/libnvidia-ml.so.304.54
$ ls -la /usr/lib64/libnvidia-ml*
lrwxrwxrwx. 1 root root 17 Jul 19 10:08 /usr/lib64/libnvidia-ml.so -> libnvidia-ml.so.1
lrwxrwxrwx. 1 root root 22 Jul 19 10:08 /usr/lib64/libnvidia-ml.so.1 -> libnvidia-ml.so.304.54
-rwxr-xr-x. 1 root root 394792 Jul 19 10:08 /usr/lib64/libnvidia-ml.so.304.54
$ cat /proc/driver/nvidia/version
NVRM version: NVIDIA UNIX x86_64 Kernel Module 304.54 Sat Sep 29 00:05:49 PDT 2012
GCC version: gcc version 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC)
$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2012 NVIDIA Corporation
Built on Fri_Sep_21_17:28:58_PDT_2012
Cuda compilation tools, release 5.0, V0.2.1221
$ whereis nvml.h
nvml: /usr/include/nvml.h
$ ldd example
linux-vdso.so.1 => (0x00007fff2da66000)
libnvidia-ml.so.1 => /usr/lib64/libnvidia-ml.so.1 (0x00007f33ff6db000)
libc.so.6 => /lib64/libc.so.6 (0x000000300e400000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x000000300ec00000)
libdl.so.2 => /lib64/libdl.so.2 (0x000000300e800000)
/lib64/ld-linux-x86-64.so.2 (0x000000300e000000)
编辑：解决方案是删除所有额外的libnvidia-ml.so实例。由于某种原因，有很多这样的实例。
$ sudo find / -name 'libnvidia-ml*'
/usr/lib/libnvidia-ml.so.304.54
/usr/lib/libnvidia-ml.so
/usr/lib/libnvidia-ml.so.1
/usr/opt/lib/libnvidia-ml.so
/usr/opt/lib/libnvidia-ml.so.1
/usr/opt/lib64/libnvidia-ml.so
/usr/opt/lib64/libnvidia-ml.so.1
/usr/opt/nvml/lib/libnvidia-ml.so
/usr/opt/nvml/lib/libnvidia-ml.so.1
/usr/opt/nvml/lib64/libnvidia-ml.so
/usr/opt/nvml/lib64/libnvidia-ml.so.1
/usr/lib64/libnvidia-ml.so.304.54
/usr/lib64/libnvidia-ml.so
/usr/lib64/libnvidia-ml.so.1
/lib/libnvidia-ml.so.old
/lib/libnvidia-ml.so.1
ldd myapp？（将myapp更改为你编译的可执行文件的名称）也就是说，请编辑你的问题并附上该ldd命令的输出。 - Robert Crovella