old; color: #3e4753; margin-top: 10px;" data-tool="mdnice编辑器">知识反刍提示

尽管现有的预训练语言模型（PLMs）在许多任务上表现出色，但它们仍然存在一些问题，比如在处理知识密集型任务时，它们往往不能充分利用模型中的潜在知识。

作者们提出了一种名为”Knowledge Rumination”的方法，通过添加像”As far as I know”这样的提示，让模型回顾相关的潜在知识，并将其注入回模型以进行知识巩固。这种方法的灵感来自于动物的反刍过程，即动物会将食物从胃中带回口中再次咀嚼，以便更好地消化和吸收。

文章提出了三种不同类型的提示：

Background Prompt：这种提示旨在帮助模型思考背景知识。提示的形式是”As far as I know [MASK]”。这种提示鼓励模型回顾和思考其已经知道的一般信息或背景知识。
Mention Prompt：这种提示用于引发模型对提及的记忆。形式是”About [Mention], I know [MASK]”。这种提示鼓励模型回顾和思考与特定主题或实体（即”[Mention]”）相关的知识。
Task Prompt：这种提示旨在帮助模型回忆任务的记忆。例如，对于情感分析，提示是”About sentiment analysis, I know [MASK]”。这种提示鼓励模型回顾和思考与特定任务（例如情感分析）相关的知识。

目前网上已经有不少 prompt 优化工具，比如 chatgpt 的插件中就有一个不错的工具 prompt perfect，能够基于用户给的 prompt 进行优化，再喂给 chatgpt 进行提问

当然，经过前面那么多提示工程的介绍，大家也可以思考一下，如何用一个提示工程来帮助自己写提示工程，下面是笔者之前做的一个工具，感兴趣的也可以试试用 chatgpt 来优化自己的 prompt，提示词的效果肉眼可见提升。

Prompt Engineering Guide
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Multimodal Chain-of-Thought Reasoning in Language Models
Automatic Chain of Thought Prompting in Large Language Models
Self-Consistency Improves Chain of Thought Reasoning in Language Models
Chain-of-thought prompting for responding to in-depth dialogue questions with LLM
Think Outside the Code: Brainstorming Boosts
Large Language Models in Code Generation
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
Active Prompting with Chain-of-Thought for Large Language Models
Generated Knowledge Prompting for Commonsense Reasoning
Large Language Models are Zero-Shot Reasoners
A universal local knowledge base solution based on vector database and GPT3.5
Text Classification via Large Language Models
Progressive-Hint Prompting Improves Reasoning in Large Language Models
Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models
Knowledge Rumination for Pre-trained Language Models

正文完

发表至： GPT应用

2023-08-07

ChatGPT革新：大语言模型人工智能在OSINT领域的优势详解

ChatGPT 或被关闭：销毁数据集

文章搜索