【吴恩达-AIGC/ChatGPT提示工程课程】第一章 – 简介

作者 吴恩达教授

欢迎来到本课程,我们将为开发人员介绍 ChatGPT 提示工程。本课程由 Isa Fulford 教授和我一起授课。Isa Fulford 是 OpenAI 的技术团队成员,曾开发过受欢迎的 ChatGPT 检索插件,并且在教授人们如何在产品中使用 LLM 或 LLM 技术方面做出了很大贡献。她还参与编写了教授人们使用 Prompt 的 OpenAI cookbook。

互联网上有很多有关提示的材料,例如《30 prompts everyone has to know》之类的文章。这些文章主要集中在 ChatGPT Web 用户界面上,许多人在使用它执行特定的、通常是一次性的任务。但是,我认为 LLM 或大型语言模型作为开发人员的更强大功能是使用 API 调用到 LLM,以快速构建软件应用程序。我认为这方面还没有得到充分的重视。实际上,我们在 DeepLearning.AI 的姊妹公司 AI Fund 的团队一直在与许多初创公司合作,将这些技术应用于许多不同的应用程序上。看到 LLM API 能够让开发人员非常快速地构建应用程序,这真是令人兴奋。

在本课程中,我们将与您分享一些可能性以及如何实现它们的最佳实践。

随着大型语言模型(LLM)的发展,LLM 大致可以分为两种类型,即基础LLM和指令微调LLM。基础LLM是基于文本训练数据,训练出预测下一个单词能力的模型,其通常是在互联网和其他来源的大量数据上训练的。例如,如果你以“从前有一只独角兽”作为提示,基础LLM可能会继续预测“生活在一个与所有独角兽朋友的神奇森林中”。但是,如果你以“法国的首都是什么”为提示,则基础LLM可能会根据互联网上的文章,将答案预测为“法国最大的城市是什么?法国的人口是多少?”,因为互联网上的文章很可能是有关法国国家的问答题目列表。

许多 LLMs 的研究和实践的动力正在指令调整的 LLMs 上。指令调整的 LLMs 已经被训练来遵循指令。因此,如果你问它,“法国的首都是什么?”,它更有可能输出“法国的首都是巴黎”。指令调整的 LLMs 的训练通常是从已经训练好的基本 LLMs 开始,该模型已经在大量文本数据上进行了训练。然后,使用输入是指令、输出是其应该返回的结果的数据集来对其进行微调,要求它遵循这些指令。然后通常使用一种称为 RLHF(reinforcement learning from human feedback,人类反馈强化学习)的技术进行进一步改进,使系统更能够有帮助地遵循指令。

因为指令调整的 LLMs 已经被训练成有益、诚实和无害的,所以与基础LLMs相比,它们更不可能输出有问题的文本,如有害输出。许多实际使用场景已经转向指令调整的LLMs。您在互联网上找到的一些最佳实践可能更适用于基础LLMs,但对于今天的大多数实际应用,我们建议将注意力集中在指令调整的LLMs上,这些LLMs更容易使用,而且由于OpenAI和其他LLM公司的工作,它们变得更加安全和更加协调。

因此,本课程将重点介绍针对指令调整 LLM 的最佳实践,这是我们建议您用于大多数应用程序的。在继续之前,我想感谢 OpenAI 和 DeepLearning.ai 团队为 Izzy 和我所提供的材料作出的贡献。我非常感激 OpenAI 的 Andrew Main、Joe Palermo、Boris Power、Ted Sanders 和 Lillian Weng,他们参与了我们的头脑风暴材料的制定和审核,为这个短期课程编制了课程大纲。我也感激 Deep Learning 方面的 Geoff Ladwig、Eddy Shyu 和 Tommy Nelson 的工作。

当您使用指令调整 LLM 时,请类似于考虑向另一个人提供指令,假设它是一个聪明但不知道您任务的具体细节的人。当 LLM 无法正常工作时,有时是因为指令不够清晰。例如,如果您说“请为我写一些关于阿兰·图灵的东西”,清楚表明您希望文本专注于他的科学工作、个人生活、历史角色或其他方面可能会更有帮助。更多的,您还可以指定文本采取像专业记者写作的语调,或者更像是您向朋友写的随笔。

当然,如果你想象一8下让一位新毕业的大学生为你完成这个任务,你甚至可以提前指定他们应该阅读哪些文本片段来写关于 Alan Turing的文本,那么这能够帮助这位新毕业的大学生更好地成功完成这项任务。下一章你会看到如何让提示清晰明确,创建提示的一个重要原则,你还会从提示的第二个原则中学到给LLM时间去思考。

系统视频学习课程请关注「元壤教育」公众号进入知识商城系统学习

本教程为吴恩达《ChatGPT Prompt Engineering for Developers》课程中文版,主要内容为指导开发者如何构建 Prompt 并基于 OpenAI API 构建新的、基于 LLM 的应用,包括:

书写 Prompt 的原则 文本总结(如总结用户评论); 文本推断(如情感分类、主题提取); 文本转换(如翻译、自动纠错); 扩展(如书写邮件)

目录:

  1. 简介 Introduction @邹雨衡
  2. Prompt 的构建原则 Guidelines @邹雨衡
  3. 如何迭代优化 Prompt Itrative @邹雨衡
  4. 文本总结 Summarizing @玉琳
  5. 文本推断 @长琴
  6. 文本转换 Transforming @玉琳
  7. 文本扩展 Expand @邹雨衡
  8. 聊天机器人 @长琴
  9. 总结 @长琴

本文转载自:https://github.com/datawhalechina/prompt-engineering-for-developers,本文观点不代表「AIGC博客派 - AIGC提示工程开源学习社区」立场。

(0)
上一篇 2023年5月6日 下午9:10
下一篇 2023年5月3日 上午1:38

相关推荐

  • 【吴恩达-AIGC/ChatGPT提示工程课程】第五章 – **推断 Inferring**

    在这节课中,你将从产品评论和新闻文章中推断情感和主题。 这些任务可以看作是模型接收文本作为输入并执行某种分析的过程。这可能涉及提取标签、提取实体、理解文本情感等等。如果你想要从一段文本中提取正面或负面情感,在传统的机器学习工作流程中,需要收集标签数据集、训练模型、确定如何在云端部署模型并进行推断。这样做可能效果还不错,但是这个过程需要很多工作。而且对于每个任…

    ChatGPT 提示工程 2023年5月3日
    5.4K00
  • ChatGPT是如何工作的?从GPT-1到ChatGPT的历程

    ChatGPT是如何工作的?从GPT-1到ChatGPT的历程 AIGC,或人工智能生成的内容,是使用人工智能进行内容创建的一种方式,被认为是继PGC(专业生成的内容)和UGC(用户生成的内容)后的新型内容创建方式。AIGC在许多领域如文本、图像、音频/视频、软件开发等都发展迅速,近年来,有许多专注于AIGC的创作体验平台,用户可以输入一句话让AI合成与描述…

    2023年6月7日
    3.6K00
  • AIGC提示工程(AIGC Prompt Engineering):人工智能的新里程,创新你的创作世界

    在由AI生成内容(AI Generated Content, AIGC)的时代,提示工程这个新兴的人工智能领域已经成为一门重要的学问。简单来说,就像老师向学生提供提示以帮助他们学习一样,用户向AI提供准确的线索,逐步引导它进入场景,帮助AI更深入地理解人类的思想,逐步提高答案的质量,从而生成符合用户期望的结果。 去年一幅由人工智能(AI)绘图工具Midjou…

    ChatGPT 提示工程 2023年5月12日
    6.7K00
  • 【AIGC培训系列:AI智能绘图——从入门到精通】Diffusion Models 101:AI 不能做的一些事情(至今)

    很遗憾地告诉您,目前有些事情AI还无法做到。在某些任务中,即使您做得再好,结果仍然不甚理想。这并非您的过错——这项技术仍处于初级阶段。请将生成式AI视为一个五岁的孩子。 🤌 扩散模型的当前局限性 生成式AI目前还无法完成某些任务。 当您初次了解扩散模型的能力时,很容易被AI的热潮所吸引。然而,这些模型并非完美无缺,还存在技术上的局限性,导致某些事物尚无法实现…

    2023年5月7日
    5.5K00
  • 什么是 tokens,ChatGPT里面的Tokens如何计数?

    什么是 tokens,ChatGPT里面的Tokens如何计数? 什么是 tokens? Tokens 可以被认为是词语的片段。在 API 处理提示之前,输入会被分解成 tokens。这些 tokens 并不会精确地在单词的开始或结束处切分 – tokens 可以包含尾随的空格甚至子词。以下是一些帮助理解 tokens 长度的经验法则: 1 to…

    2023年6月9日
    5.8K00

发表回复

登录后才能评论

联系我们

(010)82964070

在线咨询: QQ交谈

邮件:yuanrang@cldy.org

电话:15313090019

工作时间:周一至周日,9:30-18:30

关注专属客服
「提升生产力10倍?关注「元壤教育」公众号,系统学习 AIGC 提示工程课程。」