距离（distance）、相似性（similarity）、向量范数（norm）_xnx

距离

      对函数 $dist(\cdot,\cdot)$，若它是一个“距离度量”（distance measure），则需满足一些基本性质$^{[1]}$：
      非负性(Positive)：$dist(\textbf{x},\textbf{y})\ge0$
      同一性(Reflexive)：$dist(\textbf{x},\textbf{y})=0$ 当且仅当 $\textbf{x}=\textbf{y}$
      对称性(Symmetric)：$dist(\textbf{x},\textbf{y})=dist(\textbf{y},\textbf{x})$
      直递性(Triangular inequation)：$dist(\textbf{x},\textbf{y})\le dist(\textbf{x},\textbf{z})+dist(\textbf{z},\textbf{y})$

相似性

      对函数 $sim(\cdot,\cdot)$，若它是一个归一化“相似性度量”（similarity measure），则有以下一些基本性质$^{[1]}$：
      $sim(\textbf{x},\textbf{y})\in[0,1]$
      $sim(\textbf{x},\textbf{y})=1$ 当且仅当 $\textbf{x}=\textbf{y}$
      $sim(\textbf{x},\textbf{y})=0$ 当且仅当 $\textbf{x}$ 和 $\textbf{y}$ 完全不一样

      通常可以通过距离来定义相似性：

$sim(\textbf{x},\textbf{y})=1-dist(\textbf{x},\textbf{y})$
$sim(\textbf{x},\textbf{y})=\frac{1}{\large{dist(\textbf{x},\textbf{y})}}$

向量范数

定义 如果 ${V}$ 是数域 ${K}$ 上的线性空间，且对于${V}$ 的任一向量 ${\chi}$，对应一个实值函数 $\parallel\chi\parallel$，它满足以下三个条件$^{[2]}$：
      非负性：当 ${\chi}\neq0$ 时 $\parallel\chi\parallel\gt0$；当 ${\chi}=0$ 时 $\parallel\chi\parallel=0$；
      齐次性：$\parallel\alpha\chi\parallel=|\alpha|\parallel\chi\parallel$，$\chi\in V$；
      三角不等式：$\parallel\chi+\zeta\parallel\le\parallel\chi\parallel+\parallel\zeta\parallel$，$\chi，\zeta \in V$
则称 $\parallel\chi\parallel$ 为 $V$ 上 $\chi$ 的范数（norm）。

常用范数

假设向量 $\chi=(\xi_1,\xi_2,\cdot\cdot\cdot,\xi_n)$，则有$^{[2]}$
      1范数：

$\parallel\chi\parallel=\sum_{i=1}^n|\xi_i|$
      2范数（欧式范数）： $\parallel\chi\parallel_2=\sqrt{|{\xi}_1|^2+|{\xi}_2|^2+\cdot\cdot\cdot+|{\xi}_n|^2}$
       $\infty$ 范数： $\parallel\chi\parallel_\infty=\underline{max}_{i}|\xi_i|$
      p范数： $\parallel\chi\parallel_p=(\sum_{i=1}^n|\xi_i|^p)^{\frac{1}p}，1\leq p\lt+\infty$

      从上面定义及特性可以看出，距离、相似性、向量范数在很多种情况下是可以互相转化的。

常用的距离/相似性测度公式

• 下面按照句法相似性（syntactic similarities）介绍一些距离测度、相似性测度家族$^{[3]}$
        假设 $\textbf P=(P_1,P_2,\cdot\cdot\cdot,P_d), \textbf Q=(Q_1,Q_2, \cdot\cdot\cdot,Q_d)$

  • $L_p$ Minkowski family (闵可夫斯基距离测度家族)
    
    • Euclidean $L_2$      $d_{Euc}=\sqrt{\sum_{i=1}^d|P_i-Q_i|^2}$
    • City block $L_1$      $d_{CB}=\sum_{i=1}^d|P_i-Q_i|$
    • Minkowski $L_p$      $d_{MK}=({\sum_{i=1}^d|P_i-Q_i|^p})^{\frac{1}p}$
    • Chebyshev $L_\infty$      $d_{Cheb}=max_i|P_i-Q_i|$
  • $L_1$ family （$L_1$范数测度家族）
    
    • Sorensen