为多个标记变量设置缺失值

Question

如何在数据框中为多个标记向量设置缺失值。我正在使用来自spss的调查数据集。我正在处理大约20个不同的变量，具有相同的缺失值。因此，我希望找到一种使用lapply()使其正常工作的方法，但我无法做到这一点。

实际上，我可以通过base R的as.numeric()和recode()来完成这个任务，但我对haven和标记类的可能性感到好奇，所以我想找到一种在Hadley's tidyverse中完成所有操作的方法。

大概看起来像这样。如果这是一个基本问题，我很抱歉，但我发现与haven和标记包相关的帮助文档并没有什么用。

library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
lapply(v3, function(x) set_na_values(x, c(5,6)))

- spindoctor

---

我很难理解你到底想做什么。你的示例数据似乎没有任何缺失值或标签。我有所遗漏吗？ - Ian Wesley

亲爱的@spindoctor，您能否使用dput(<structure>,"")提供一个示例，并将其添加到您的代码示例中。完整或子集都有帮助。注意：我更新了您发布的代码，“data_frame（）”应更改为“data.frame（）”。 - Technophobe01

我想要将每个变量中的值5和6转换成缺失值，这样当从标签类别转换成数字或因子类别时，R就可以读取它们。 - spindoctor

v3[] = lapply(v3, set_na_values, c(5, 6)) 不是你想要的吗？ - Johan

@spindoctor，许多答案变得非常冗长和复杂，而实现你问题中的代码期望功能有一种非常简单的方法（请参见我的答案）。如果这不再是你想要的，请更新你的问题。 - CJ Yetman

Answer 1

好的，我现在明白你想做什么了...

也就是说，将标签和值标记为NA，而不删除底层导入的数据...

有关更详细的示例，请参见附录，其中使用公共数据文件展示了一个利用dplyr更新多个列、标签的示例...

建议的解决方案

df <- data_frame(s1 = c(1,2,2,2,5,6), s2 = c(1,2,2,2,5,6)) %>%
  set_value_labels(s1 = c(agree=1, disagree=2, dk=5, refused=6), 
                   s2 = c(agree=1, disagree=2, dk = tagged_na("5"), refused = tagged_na("6"))) %>%
  set_na_values(s2 = c(5,6))


val_labels(df)
is.na(df$s1)
is.na(df$s2)
df

解决方案结果：

> library(haven)
> library(labelled)
> library(dplyr)
> df <- data_frame(s1 = c(1,2,2,2,5,6), s2 = c(1,2,2,2,5,6)) %>%
+   set_value_labels(s1 = c(agree=1, disagree=2, dk=5, refused=6), 
+                    s2 = c(agree=1, disagree=2, dk = tagged_na("5"), refused = tagged_na("6"))) %>%
+   set_na_values(s2 = c(5,6))
> val_labels(df)
$s1
   agree disagree       dk  refused 
       1        2        5        6 

$s2
   agree disagree       dk  refused 
       1        2       NA       NA 

> is.na(df$s1)
[1] FALSE FALSE FALSE FALSE FALSE FALSE
> is.na(df$s2)
[1] FALSE FALSE FALSE FALSE  TRUE  TRUE
> df
# A tibble: 6 × 2
         s1        s2
  <dbl+lbl> <dbl+lbl>
1         1         1
2         2         2
3         2         2
4         2         2
5         5         5
6         6         6

现在我们可以操作数据了

mean(df$s1, na.rm = TRUE)
mean(df$s2, na.rm = TRUE)

> mean(df$s1, na.rm = TRUE)
[1] 3
> mean(df$s2, na.rm = TRUE)
[1] 1.75

使用Labelled包去除标签并用R NA替换

如果您希望剥离标签并用R NA值替换，可以使用remove_labels(x, user_na_to_na = TRUE)

示例：

df <- remove_labels(df, user_na_to_na = TRUE)
df

结果：

> df <- remove_labels(df, user_na_to_na = TRUE) 
> df
# A tibble: 6 × 2
     s1    s2
  <dbl> <dbl>
1     1     1
2     2     2
3     2     2
4     2     2
5     5    NA
6     6    NA

SPSS格式的解释/概述：

IBM SPSS（应用程序）可以导入和导出许多格式和非矩形配置的数据；但是，数据集总是被转换为SPSS矩形数据文件，称为系统文件（使用扩展名*.sav）。元数据（关于数据的信息），如变量格式、缺失值和变量和值标签与数据集一起存储。

值标签

Base R 有一种数据类型，有效地维护整数和字符标签之间的映射：因子。然而，这不是因子的主要用途：它们设计用于自动生成线性模型的有用对比。因子在重要方面与其他工具提供的标记值不同：

SPSS 和 SAS 可以标记数字和字符值，而不仅仅是整数值。

缺失值

这三个工具（SPSS、SAS、Stata）都提供全局“系统缺失值”，显示为.。这大致相当于 R 的 NA，尽管 Stata 和 SAS 都不会在数字比较中传播缺失值：SAS 将缺失值视为最小可能的数字（即 -inf），而 Stata 将其视为最大可能的数字（即 inf）。

每个工具还提供了一种记录多种缺失类型的机制：

• Stata 有“扩展”缺失值，.A 到 .Z。
• SAS 有“特殊”缺失值，.A 到 .Z 加上 ._ 。
• SPSS 有每列的“用户”缺失值。每个列可以声明最多三个不同的值或一个值范围（加上一个不同的值），应将其视为缺失。

用户定义的缺失值

SPSS 的用户定义值与 SAS 和 Stata 不同。每一列可以有最多三个被视为缺失的不同值或一个范围。Haven 提供 labelled_spss() 作为 labelled() 的子类来模拟这些额外的用户定义缺失。

x1 <- labelled_spss(c(1:10, 99), c(Missing = 99), na_value = 99)
x2 <- labelled_spss(c(1:10, 99), c(Missing = 99), na_range = c(90, Inf))

x1
#> <Labelled SPSS double>
#>  [1]  1  2  3  4  5  6  7  8  9 10 99
#> Missing values: 99
#> 
#> Labels:
#>  value   label
#>     99 Missing
x2
#> <Labelled SPSS double>
#>  [1]  1  2  3  4  5  6  7  8  9 10 99
#> Missing range:  [90, Inf]
#> 
#> Labels:
#>  value   label
#>     99 Missing

标记缺失值

为了支持Stata的扩展和SAS的特殊缺失值，haven实现了一个标记NA。它利用浮点NA的内部结构来实现这一点。这使得这些值在常规R操作中的行为与NA相同，同时仍然保留标记的值。

创建带有标记的NA的R接口有点笨拙，因为通常它们将由haven为您创建。但是，您可以使用tagged_na()自己创建标记的NA：

重要提示：

请注意，这些标记的NA的行为与常规NA完全相同，即使在打印时也是如此。要查看它们的标记，请使用print_tagged_na()：

因此：

    library(haven)
    library(labelled)
    v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
    v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=tagged_na("5"), refused= tagged_na("6")))
    v3<-data.frame(v1 = v1, v2 = v2)
    v3
    lapply(v3, val_labels)

---

> v3
  x x.1
1 1   1
2 2   2
3 2   2
4 2   2
5 5   5
6 6   6
> lapply(v3, val_labels)
$x
   agree disagree       dk  refused 
       1        2        5        6 

$x.1
   agree disagree       dk  refused 
       1        2       NA       NA 

注意事项：

SPSS的自定义值与SAS和Stata不同。每个列可以有最多三个被视为缺失的不同值或一个范围。Haven提供了labelled_spss()作为labelled()的子类来模拟这些额外的用户定义的缺失。

希望以上内容对您有所帮助。

保重 T。

参考资料：

• https://cran.r-project.org/web/packages/haven/haven.pdf
• https://cran.r-project.org/web/packages/haven/vignettes/semantics.html
• https://www.spss-tutorials.com/spss-missing-values-tutorial/

补充示例使用公共数据...

SPSS缺失值示例使用SPPS数据文件{hospital.sav}

首先，让我们确保强调：

• 系统缺失值 - 是完全不存在于数据中的值
• 用户缺失值 - 是存在于数据中但必须从计算中排除的值。

SPSS数据查看...

让我们查看图像和数据...在变量视图中显示的SPSS数据显示每行都有一个标签 [列5]，我们注意到第10到14行有特定的值[1..6] [列6]，这些值具有名称属性，并且没有指定任何值为缺失[列7]。

现在让我们看一下SPSS数据视图：

在这里，我们可以注意到有缺失数据...(请参见突出显示的“.”)。关键点是我们有缺失数据，但目前没有"缺失用户值"

现在让我们转向R，并将数据载入R

hospital_url <- "https://www.spss-tutorials.com/downloads/hospital.sav"
hospital <- read_sav(hospital_url, 
                     user_na = FALSE)
head(hospital,5)

# We're interested in columns 10 through 14...
head(hospital[10:14],5)

结果

> hospital_url <- "https://www.spss-tutorials.com/downloads/hospital.sav"
> hospital <- read_sav(hospital_url, 
+                      user_na = FALSE)
> head(hospital,5)
# A tibble: 5 × 14
  visit_id patient_id first_name surname_prefix last_name    gender entry_date entry_time
     <dbl>      <dbl>      <chr>          <chr>     <chr> <dbl+lbl>     <date>     <time>
1    32943      23176    JEFFREY                 DIJKSTRA         1 2013-01-08   16:56:10
2    32944      20754       MARK        VAN DER      BERG         1 2013-02-01   14:24:45
3    32945      25419     WILLEM                VERMEULEN         1 2013-02-02   10:01:43
4    32946      21139      LINDA                  JANSSEN         0 2013-02-10   10:24:39
5    32947      25419     WILLEM                VERMEULEN         1 2013-02-10   18:05:59
# ... with 6 more variables: exit_moment <dttm>, doctor_rating <dbl+lbl>, nurse_rating <dbl+lbl>,
#   room_rating <dbl+lbl>, food_rating <dbl+lbl>, facilities_rating <dbl+lbl>

第10到14列包含数值

1="Very Dissatisfied"
2="Dissatisfied"
3="Neutral"
4="Satisfied"
5="Very Satisfied"
6="Not applicable or don't want to answer"

因此：

> head(hospital[10:14],5)
# A tibble: 5 × 5
  doctor_rating nurse_rating room_rating food_rating facilities_rating
      <dbl+lbl>    <dbl+lbl>   <dbl+lbl>   <dbl+lbl>         <dbl+lbl>
1             5            5           4           2                 3
2             4            5           4           3                 3
3             5            6           4           5                 4
4             4            5           5           4                 4
5             5            5           6           6                 6

SPSS取值标签

> lapply(hospital[10], val_labels)
$doctor_rating
                     Very dissatisfied                           Dissatisfied 
                                     1                                      2 
                               Neutral                              Satisfied 
                                     3                                      4 
                        Very satisfied Not applicable or don't want to answer 
                                     5                                      6

好的，请注意，以上我们可以确认已导入数值标签。

从调查数据中删除不适用的数据

我们的目标现在是将“不适用或不想回答”的数据条目设置为“用户NA值”，即SPSS缺失值，以便删除它们。

解决方案 - 第一步 - 单个列

我们希望在数据的多列上设置缺失值属性...让我们首先为一列执行此操作...

请注意，我们使用add_value_labels而不是set_value_labels，因为我们希望添加一个新标签，而不是完全覆盖现有标签...

d <- hospital
mean(d$doctor_rating, na.rm = TRUE)

d <- hospital %>% 
  add_value_labels( doctor_rating = c( "Not applicable or don't want to answer" 
                                       = tagged_na("6") )) %>%
  set_na_values(doctor_rating = 5)

val_labels(d$doctor_rating)
mean(d$doctor_rating, na.rm = TRUE)

---

> d <- hospital
> mean(d$doctor_rating, na.rm = TRUE)
[1] 4.322368
> d <- hospital %>% 
+   add_value_labels( doctor_rating = c( "Not applicable or don't want to answer" 
+                                        = tagged_na("6") )) %>%
+   set_na_values(doctor_rating = 6)
> val_labels(d$doctor_rating)
                     Very dissatisfied                           Dissatisfied 
                                     1                                      2 
                               Neutral                              Satisfied 
                                     3                                      4 
                        Very satisfied Not applicable or don't want to answer 
                                     5                                      6 
Not applicable or don't want to answer 
                                    NA 
> mean(d$doctor_rating, na.rm = TRUE)
[1] 4.097015

解决方案 - 第二步 - 现在应用于多列...

mean(hospital$nurse_rating)
mean(hospital$nurse_rating, na.rm = TRUE)
d <- hospital %>% 
  add_value_labels( doctor_rating = c( "Not applicable or don't want to answer" 
                                       = tagged_na("6") )) %>%
  set_na_values(doctor_rating = 6) %>%
  add_value_labels( nurse_rating = c( "Not applicable or don't want to answer" 
                                     = tagged_na("6") )) %>%
  set_na_values(nurse_rating = 6)
mean(d$nurse_rating, na.rm = TRUE)

结果

请注意，nurse_rating包含"NaN"值和NA标记的值。第一个mean()调用失败，第二个成功，但在过滤器之后包括"Not Applicable..."，在移除"Not Applicable..."后...

> mean(hospital$nurse_rating)
[1] NaN
> mean(hospital$nurse_rating, na.rm = TRUE)
[1] 4.471429
> d <- hospital %>% 
+   add_value_labels( doctor_rating = c( "Not applicable or don't want to answer" 
+                                        = tagged_na("6") )) %>%
+   set_na_values(doctor_rating = 6) %>%
+   add_value_labels( nurse_rating = c( "Not applicable or don't want to answer" 
+                                      = tagged_na("6") )) %>%
+   set_na_values(nurse_rating = 6)
> mean(d$nurse_rating, na.rm = TRUE)
[1] 4.341085

将标记的NA转换为R里的NA

在这里，我们将上述标记的NA转换为R中的NA值。

d <- d %>% remove_labels(user_na_to_na = TRUE)

- Technophobe01

---

这非常详细，但我试图解决的核心问题就在这里：df <- data_frame(s1 = c(1,2,2,2,5,6), s2 = c(1,2,2,2,5,6)) %>% set_value_labels(s1 = c(agree=1, disagree=2, dk=5, refused=6), s2 = c(agree=1, disagree=2, dk = tagged_na("5"), refused = tagged_na("6"))) %>% #我是否需要为每个变量逐行设置这些值；我想一次性为多个变量做到这一点。类似于 #lapply(x, function(x) set_na_values(x=c(5,6))或 #set_na_values(s1:s2=c(5,6)) set_na_values(s2 = c(5,6)) - spindoctor

@spindoctor - 也许我在这里漏掉了什么。我假设您正在使用Haven导入带有标签的SPSS数据文件。是吗？ 如果是这样，您可以使用导入的标签数据来设置tagged_na()，然后使用remove_labels(x, user_na_to_na = TRUE)。您能提供一个数据样本吗？FYI：PURR::map()函数是lapply的更好的类型安全等效函数 - 两者都可以用于迭代数据集。 - Technophobe01

@spindoctor - 请查看更新的解决方案，使用公共数据集跨多列工作...保重 T. - Technophobe01

非常感谢您，Technophobe；我非常感激您的时间！ - spindoctor

@spindoctor - 没问题 - 我总是乐意帮助。保重，祝你有美好的一天。T. - Technophobe01

Answer 2

不确定这是否是您正在寻找的内容：

v1 <- labelled(c(1, 2, 2, 2, 5, 6), c(agree = 1, disagree = 2, dk = 5, refused = 6))
v2 <- labelled(c(1, 2, 2, 2, 5, 6), c(agree = 1, disagree = 2, dk = 5, refused = 6))
v3 <- data_frame(v1 = v1, v2 = v2)

lapply(names(v3), FUN = function(x) {
  na_values(v3[[x]]) <<- 5:6
})

lapply(v3, na_values)

最后一行返回

$v1
[1] 5 6

$v2
[1] 5 6

验证缺失值:

is.na(v3$v1)
[1] FALSE FALSE FALSE FALSE  TRUE  TRUE

- Martin Schmelzer

---

我可以做到那一步，但那并没有设置缺失的值。 - spindoctor

它为什么没有将5和6定义为“NA”值？你期望什么？ - Martin Schmelzer

Answer 3

定义SPSS风格的用户自定义缺失值

主要功能

labelled包中用于操作SPSS风格的用户自定义缺失值的两个主要函数是na_values和na_range。

library(labelled)
v1 <-c(1,2,2,2,5,6)
val_labels(v1) <- c(agree=1, disagree=2, dk=5, refused=6)
na_values(v1) <- 5:6
v1

<Labelled SPSS double>
[1] 1 2 2 2 5 6
Missing values: 5, 6

Labels:
 value    label
     1    agree
     2 disagree
     5       dk
     6  refused

set_* 函数

labelled 中的 set_* 函数旨在与 magrittr / dplyr 一起使用。

library(dplyr)
d <- tibble(v1 = c(1, 2, 2, 2, 5, 6), v2 = c(1:3, 1:3))
d <- d %>%
  set_value_labels(v1 = c(agree=1, disagree=2, dk=5, refused=6)) %>%
  set_na_values(v1 = 5:6)
d$v1

<Labelled SPSS double>
[1] 1 2 2 2 5 6
Missing values: 5, 6

Labels:
 value    label
     1    agree
     2 disagree
     5       dk
     6  refused

什么是用户定义的缺失值？

用户定义的缺失值仅仅是元信息，不会改变向量中的值。这只是一种告诉用户在某些情况下应该将这些值视为缺失值的方式。这意味着如果您从向量计算某些内容（例如平均值），这些值仍将被考虑在内。

mean(v1)
[1] 3

您可以使用user_na_to_na轻松将用户定义的缺失值转换为正确的NA。

mean(user_na_to_na(v1), na.rm = TRUE)
[1] 1.75

很少有函数会考虑到这些元信息。例如，可以查看questionr包中的freq函数。

library(questionr)
freq(v1)
             n    % val%
[1] agree    1 16.7   25
[2] disagree 3 50.0   75
[5] dk       1 16.7   NA
[6] refused  1 16.7   NA
NA           0  0.0   NA

标记缺失值和普通缺失值的区别是什么？

haven引入了标记缺失值的目的是为了模拟Stata管理缺失值的方式。所有标记缺失值在R内部都被视为普通的NA。

- Joseph Larmarange

Answer 4

这个正确吗？

#Using replace to substitute 5 and 6 in v3 with NA
data.frame(lapply(v3, function(a) replace(x = a, list = a %in% c(5,6), values = NA)))
#   x x.1
#1  1   1
#2  2   2
#3  2   2
#4  2   2
#5 NA  NA
#6 NA  NA

我知道 labelled_spss 允许你指定 na_range，甚至是一个 na_values 向量。

#DATA
v11 = labelled_spss(x = c(1,2,2,2,5,6),
                    labels = c(agree=1, disagree=2, dk=5, refused=6),
                    na_range = 5:6)

#Check if v11 has NA values
is.na(v11)
#[1] FALSE FALSE FALSE FALSE  TRUE  TRUE

v22 = labelled_spss(x = c(1,2,2,2,5,6),
                    labels = c(agree=1, disagree=2, dk=5, refused=6),
                    na_range = 5:6)

#Put v11 and v22 in a list
v33 = list(v11, v22)

#Use replace like above
data.frame(lapply(X = v33, FUN = function(a) replace(x = a, list = is.na(a), values = NA)))
#   x x.1
#1  1   1
#2  2   2
#3  2   2
#4  2   2
#5 NA  NA
#6 NA  NA

- d.b

---

这很接近，但我希望能够使用标记包中提供的命令来实现类似这样的操作。 - spindoctor

@spindoctor - 你能否澄清一下，你是否只想使用SPSS标签将值转换为R的NA值。即搜索标签，替换值为R NA并清除基础数据。正确吗？ - Technophobe01

请参见更新后的答案 - 您可以使用 remove_labels(df, user_na_to_na = TRUE) 来剥离标记为 NA 的标签，并将它们替换为 R 定义的 NA 值。 - Technophobe01

Answer 5

set_na_values的第一个参数是数据帧，而不是向量/列，这就是为什么您的lapply命令无法工作的原因。您可以为数据框中任意数量的列构建set_na_values的参数列表，然后使用do.call调用它，如下所示...

v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
na_values(v3)

args <- c(list(.data = v3), setNames(lapply(names(v3), function(x) c(5,6)), names(v3)))
v3 <- do.call(set_na_values, args)
na_values(v3)

更新：您还可以在lapply语句中使用na_values函数的赋值形式，因为它接受向量作为第一个参数，而不是像set_na_values一样接受数据框...

library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
na_values(v3)

v3[] <- lapply(v3, function(x) `na_values<-`(x, c(5,6)))
na_values(v3)

甚至可以在lapply命令中使用na_values的普通版本，只需确保返回“fixed”向量即可。

library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
na_values(v3)

v3[] <- lapply(v3, function(x) { na_values(x) <- c(5,6); x } )
na_values(v3)

这个想法也可以在dplyr链中使用，可以应用于所有变量，也可以使用dplyr的选择工具应用于选定的列...

library(haven)
library(labelled)
library(dplyr)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
na_values(v3)

v4 <- v3 %>% mutate_all(funs(`na_values<-`(., c(5,6))))
na_values(v4)

v5 <- v3 %>% mutate_each(funs(`na_values<-`(., c(5,6))), x)
na_values(v5)

- CJ Yetman

Answer 6

您可以使用非常简单的解决方案，使用base R：

v3[v3 == 5 ] <- NA
v3[v3 == 6 ] <- NA

但如果你正在寻找一个真正快速的解决方案，你可以使用 data.table 方法。

library(data.table)

setDT(v3)

for(j in seq_along(v3)) { 
            set(v3, i=which(v3[[j]] %in% c(5,6)), j=j, value=NA) 
            }

- rafa.pereira