在包代码中查找其他包命名空间的对象

Question

我正在重构一个导入许多其他包的完整名称空间的包。我认为这些依赖项中有很多是用于单个函数调用的使用，最好使用importFrom进行处理，或者是已经不再使用的孤立依赖项。

由于包中有足够的代码，手动检查每一行以查找陌生的函数调用将变得很繁琐。

如何确定在包中使用了多少次来自导入名称空间的对象以及它们的使用位置？请注意，此包不包括单元测试。

以下是可复现的示例：

DESCRIPTION文件：

Package: my_package
Title: title
Version: 0.0.1
Authors@R: person(
  given = "A",
  family = "Person",
  role = c("aut", "cre"),
  email = "[e-mail]"
)
Description: Something
License: Some license
Encoding: UTF-8
LazyData: true
RoxygenNote: 7.1.1
Imports: 
  dplyr,
  purrr,
  stringr

NAMESPACE文件:

import(dplyr)
import(purrr)
import(stringr)

my_package.R 文件：

#' my_package
#' @docType package
#' @name my_package
NULL
#' @import dplyr
#' @import purrr
#' @import stringr
NULL

functions.R文件

#' add 1 to "banana" column and call it "apple"
#' @description demonstrate a variety of dplyr functions
#' @param x a data.frame object
#' @return a data.frame object with columns "apple" and "banana"
#' @examples
#' my_fruit <- data.frame(banana = c(1,2,3), pear = c(4,5,6))
#' my_function(my_fruit)
#' @export
my_function <- function(x) {
  x %>%
    mutate(apple = banana + 1) %>%
    select(apple, banana)
}

我正在寻找一种解决方案，可以识别%>% 、mutate和select是从dplyr导出的，%>% 是从purrr导出的，并且未使用附加命名空间stringr中的任何导出项。 对于像%>% 这样从多个命名空间导出的函数，区分导出来自哪个命名空间并不是很重要（在本例中，两个%>% 均为magrittr依赖关系的重新导出），因为当加载包时发生实际掩码操作时会生成警告。

- bcarlsen

---

你应该考虑使用awk/perl/sed来遍历每个文件，并检查其他包中特定函数的调用。 - Onyambu

如果您包含一个简单的可重现示例，其中包括样本输入和所需输出，那么我们更容易帮助您测试和验证可能的解决方案。您可以删除导入并运行软件包检查以查找所有错误。或者，这个关于查找自由变量的答案的变体也许会起作用。 - MrFlick

@MrFlick 我已经添加了一个 reprex。 - bcarlsen

Answer 1

这是一个基础解决方案

pkgs <- readLines("NAMESPACE")
pattern <- "^import\\((.*?)\\)$"
pkgs <- pkgs[grepl(pattern, pkgs)]
pkgs <- sub(pattern, "\\1", pkgs)
pkgs
#> [1] "dplyr"   "purrr"   "stringr"

exports <- sapply(pkgs, getNamespaceExports)
exports <- do.call(rbind, Map(data.frame, package = pkgs, fun = exports))
rownames(exports) <- NULL
head(exports)
#>   package         fun
#> 1   dplyr rows_upsert
#> 2   dplyr   src_local
#> 3   dplyr  db_analyze
#> 4   dplyr    n_groups
#> 5   dplyr    distinct
#> 6   dplyr  summarise_

code <- sapply(list.files("R", full.names = TRUE), parse)
funs <- sapply(code, function(x) setdiff(all.names(x), all.vars(x)))
funs <- funs[lengths(funs) > 0]
funs <- do.call(rbind, Map(data.frame, fun = funs, file = names(funs)))
rownames(funs) <- NULL
funs
#>        fun          file
#> 1       <- R/functions.R
#> 2 function R/functions.R
#> 3        { R/functions.R
#> 4      %>% R/functions.R
#> 5   mutate R/functions.R
#> 6        + R/functions.R
#> 7   select R/functions.R

最终输出：

merge(exports, funs)
#>      fun package          file
#> 1    %>% stringr R/functions.R
#> 2    %>%   purrr R/functions.R
#> 3    %>%   dplyr R/functions.R
#> 4 mutate   dplyr R/functions.R
#> 5 select   dplyr R/functions.R

它并不是100%强大的，例如一个函数function(x) {select<-identity; select(x)}，将会显示从{dplyr}中取出的select。

它也会忽略那些不以fun()形式使用的函数，比如 lapply(my_list, fun)。

我们无法稳定地检测到这些函数，但如果我们有100%的测试覆盖率，避开这些的方法或许可以让我们更接近目标，即使只是一点点，我们可以对这些导入的功能进行柯里化，以便在调用时通知我们，然后运行测试。

虽然你可能不需要这个。

- moodymudskipper

Answer 2

您可以使用 getParsedData 来获取包中使用的所有函数调用，并将它们与 NAMESPACE 中可用的函数连接起来，以找出它们的来源。

在可重现的示例 my_package 上进行了测试：

library(dplyr)
library(purrr)
library(stringr)

# List functions used in Package
path <- "./my_package"
files <- file.path(path,list.files(path= path, recursive = TRUE, pattern ='\\.R$'))

functions <- files %>% map_dfr(~{
  getParseData(parse(.x, keep.source=TRUE)) %>% 
          filter(token %in% c("SYMBOL_FUNCTION_CALL","SPECIAL")) %>%
          mutate(file = .x) %>%
          rename(fctname = text) %>%
          select(file, fctname) %>% unique })

# List of all possible functions imports
imports <- readLines(file.path(path,"NAMESPACE"))
imports <- str_match(imports, "import\\(\\s*(.*?)\\s*\\)")[,2]
imports <- imports[!is.na(imports)]

possible.imported.functions <- imports %>% map_dfr(~{
  data.frame(package.import = .x,fctname = getNamespaceExports(.x)) })

# Imported functions in use
inner_join(functions,possible.imported.functions, by = c('fctname'='fctname')) %>%
  arrange(package.import,fctname) %>%
  select(file,package.import,fctname)
#>                             file package.import fctname
#> 1 my_package/R/functions.R          dplyr     %>%
#> 2 my_package/R/functions.R          dplyr  mutate
#> 3 my_package/R/functions.R          dplyr  select
#> 4 my_package/R/functions.R          purrr     %>%
#> 5 my_package/R/functions.R        stringr     %>%

- Waldi