LaMDA: Language Models for Dialog Applications

Abstract

LaMDA: Language Models for Dialog Applications.

• 虽然增大模型可以提高质量，但是在 safety 和 factual grounding 方面的改进较少
• 可以通过使用标注数据微调和查询外部知识源来提升 safety 和 factual grounding
  • Safety: 使用标注数据训练一个分类器用于过滤有害内容
    • 指标：metric based on an illustrative set of human values
  • Factual grounding: 查询外部知识源，如检索系统、翻译器或者计算器
    • 指标：groundedness metric

1 Introduction

LaMDA 使用单个模型进行多项任务：

• 生成候选
• 安全过滤
• 基于外部知识源
• re-rank 以找到最佳结果

三个关键的指标：

• Quality: sensibleness，specificity，and interestingness
  • 收集标注数据，微调一个判别器来对候选进行 re-rank
• safety
  • 使用标注数据微调一个判别器，移除不安全的候选
• groundedness
  • 使用外部工作（如检索系统࿰