LDA模型_关于lda模型中的k

https://www.cnblogs.com/pinard/p/6831308.html

LDA主题模型
　　　　前面做了这么多的铺垫，我们终于可以开始LDA主题模型了。

我们的目标是找到每一篇文档的主题分布和每一个主题中词的分布。在LDA模型中，我们需要先假定一个主题数目$K$，这样所有的分布就都基于$K$个主题展开。那么具体LDA模型是怎么样的呢？具体如下图：

我们的问题是这样的，我们有$M$篇文档，对应第d个文档中有有$N_d$个词。即输入为如下图：
　LDA假设文档主题的先验分布是Dirichlet分布，即对于任一文档$d$, 其主题分布${\theta }_d$为：$${\theta }_d=Dirichlet(\vec{\alpha })$$

其中，$\alpha$为分布的超参数，是一个$K$维向量。

LDA假设主题中词的先验分布是Dirichlet分布，即对于任一主题$k$, 其词分布${\beta }_k$为：$${\beta }_k=Dirichlet(\vec{\eta })$$

其中，$\eta$为分布的超参数，是一个$V$维向量。$V$代表词汇表里所有词的个数。

对于数据中任一一篇文档$d$中的第$n$个词，我们可以从主题分布${\theta }_d$中得到它的主题编号$z_{dn}$的分布为：$$z_{dn}=multi({\theta }_d)$$

而对于该主题编号，得到我们看到的词$w_{dn}$的概率分布为： $$w_{dn}=multi({\beta }_{z_{dn}})$$

理解LDA主题模型的主要任务就是理解上面的这个模型。这个模型里，我们有$M$个文档主题的Dirichlet分布，而对应的数据有$M$个主题编号的多项分布，这样($\alpha \to {\theta }_d\to {\vec{z}}_d$)就组成了Dirichlet-multi共轭，可以使用前面提到的贝叶斯推断的方法得到基于Dirichlet分布的文档主题后验分布。

如果在第d个文档中，第k个主题的词的个数为：$n_d^{(k)}$, 则对应的多项分布的计数可以表示为 $${\vec{n}}_d=(n_d^{(1)},n_d^{(2)},...n_d^{(K)})$$

利用Dirichlet-multi共轭，得到${\theta }_d$的后验分布为：$$Dirichlet({\theta }_d|\vec{\alpha }+{\vec{n}}_d)$$

同样的道理，对于主题与词的分布，我们有$K$个主题与词的Dirichlet分布，而对应的数据有$K$个主题编号的多项分布，这样($\eta \to {\beta }_k\to {\vec{w}}_{(k)}$)就组成了Dirichlet-multi共轭，可以使用前面提到的贝叶斯推断的方法得到基于Dirichlet分布的主题词的后验分布。

如果在第k个主题中，第v个词的个数为：$n_k^{(v)}$, 则对应的多项分布的计数可以表示为 $${\vec{n}}_k=(n_k^{(1)},n_k^{(2)},...n_k^{(V)})$$

利用Dirichlet-multi共轭，得到${\beta }_k$的后验分布为：$$Dirichlet({\beta }_k|\vec{\eta }+{\vec{n}}_k)$$

由于主题产生词不依赖具体某一个文档，因此文档主题分布和主题词分布是独立的。理解了上面这$M+K$组Dirichlet-multi共轭，就理解了LDA的基本原理了。

现在的问题是，基于这个LDA模型如何求解我们想要的每一篇文档的主题分布和每一个主题中词的分布呢？

一般有两种方法，第一种是基于Gibbs采样算法求解，第二种是基于变分推断EM算法求解。

如果你只是想理解基本的LDA模型，到这里就可以了，如果想理解LDA模型的求解，可以继续关注系列里的另外两篇文章。