有没有一个R软件包可以从频率表中计算一阶转移矩阵？

Question

有没有一个R软件包可以从频率表中计算一阶转移矩阵？

3

我有一个聚合自 8 亿条记录的频率表，想知道是否可以使用软件包从该频率表计算一阶转移矩阵，但由于某些状态不再发生，因此该矩阵不对称。以下是频率表的样本：

library(data.table)
model.data <- data.table(state1 = c(3, 1, 2, 3), state2 = c(1, 2, 1, 2), Freq = c(1,2,3,4))

该数据模型的样式如下：

状态1	状态2	n
3	1	1
1	2	2
2	1	3
3	2	4

使用pollster包，我可以计算比例表：

library(pollster)
crosstab(model.data, state1, state2, Freq)

状态1	1	2	n
1	0	100	2
2	100	0	3
3	20	80	5

然而，我需要的对称转移矩阵是：

状态1	1	2	n
1	0	100	2
2	100	0	3
3	20	80	5

也就是说，即使没有人转移到状态3，我仍然希望包括它，并且代码应该能够自动发现需要添加一列0到状态3。

我不确定markovchain包中的markovchainFit函数是否能够处理我需要转换为数百万序列列表的800万行数据，由于内存限制和计算速度慢。

有人知道吗？

- smz

2个回答

3

< p>使用igraph中的选项

model.data %>%
  setorder(state1) %>%
  graph_from_data_frame() %>%
  as_adjacency_matrix(attr = "Freq", sparse = FALSE) %>%
  proportions(1)  # 1 sets rows as the margin, similar to `prop.table`

提供

    1   2 3
1 0.0 1.0 0
2 1.0 0.0 0
3 0.2 0.8 0

或者使用基本的R语言

> proportions(xtabs(Freq ~ ., model.data), 1)
      state2
state1   1   2
     1 0.0 1.0
     2 1.0 0.0
     3 0.2 0.8

- ThomasIsCoding

1

这相当优雅。不知道igraph有这个功能。 - IRTFM

同意。这样可以节省我查找state2缺失哪些状态的几行代码。谢谢！ - smz

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- IRTFM · Accepted Answer

看起来你可能已经知道了 stats::xtabs 函数，因为你要求我们处理的结果似乎是 base::as.data.frame.table 函数的结果，该函数将 table 调用的“宽”结果转换为相同数据的“长”数据框表示。(但是由于您发布了添加了额外混淆列的民意调查员代码，所以这点可能不确定。) 在这里，我们将颠倒该过程，以便我们可以恢复矩阵(R table 对象从中继承)。

请注意，我正在使用您的数据对象，但没有使用 pkg:pollster 代码，因为您的表格似乎不是基于那个 data.table 对象创建的。

如何获取零列，只需在 state2=3 的“列”位置插入单个零数据元素。对于整个列，您只需要在 state2 中添加一个数据点，但显然它需要来自某个 state1 值。它可以来自任何一个 state1 值：

model.data <- data.table(state1 = c(3, 1, 2, 3,  3), 
                         state2 = c(1, 2, 1, 2,  3), 
                         Freq = c(1,2,3,4, 0))
xtabs(Freq~state1+state2, model.data)
#------------
      state2
state1 1 2 3
     1 0 2 0
     2 3 0 0
     3 1 4 0

注意：仅仅是为了展示这个方法在“舆情分析”Tidyverse环境下的可行性...

> library(pollster)
> crosstab(model.data, state1, state2, Freq)
# A tibble: 3 x 5
  state1   `1`   `2`   `3`     n
   <dbl> <dbl> <dbl> <dbl> <dbl>
1      1     0   100     0     2
2      2   100     0     0     3
3      3    20    80     0     5

并且需要注意，如果您想创建一个转移矩阵，“n”列需要被删除。（我无法确定它代表什么。）

关于如何创建转移矩阵（如果需要的话），请将矩阵除以“rowSums”的结果，因为转移矩阵的每一行都需要总和为1。

 mat <- xtabs(Freq~state1+state2, model.data)

 trans_mat <- mat/rowSums(mat)
 trans_mat
#-----
       state2
state1   1   2   3
     1 0.0 1.0 0.0
     2 1.0 0.0 0.0
     3 0.2 0.8 0.0

现在你可以使用矩阵乘法计算任何离散间隔的状态：查看?'%*%'或矩阵指数?expm::expm

以下是与转移矩阵相关的矩阵操作的代码和绘图，用于生成马尔科夫模拟：R中的简单马尔科夫链（可视化）

在markovchain包中提供了进一步的马尔科夫序列统计操作，但我没有看到它有任何实际从数据构建转移矩阵的内容。我可能错了，因为我只读了vignette的前5个包。（他们似乎假设每个人都知道如何做到这一点，尽管当我编写上面链接答案的代码时，我需要回到我的书本进行复习。）