ChatGPT

以下是巴鲁克商学院管理学院的一些名言：

“ChatGPT擅长定义，并生成编写得非常好的样板/通用文本。它不擅长细节，但如果你正确地提示它，它就能融入细节。”

“由于它在文档上的训练方式，ChatGPT擅长重复基本知识（完成句子），但在多步骤推理方面却很困难，尤其是在常见的误解上（实际上，它很可能把常见的误解当作事实重复）。”

弗曼大学（Furman University）哲学教授达伦·希克（Darren Hick）在《纽约时报》“Tech Fix”专栏中提到：

“对熟悉材料的人来说，它引发了许多问题……这对高级哲学课程来说是个好消息，因为这些课程的材料相当复杂和晦涩。但对于大一的课程（更不用说其他学科的作业了，在这些课程中，学生可能会被要求解释《白鲸记》的主要主题，或者乌克兰战争的起因——我测试了这两个题目），这是一个改变游戏规则的方法。”

会计系的一名教员在ChatGPT上尝试了一系列问题，并得出结论认为它可以提供

• 解释-“向5岁小孩解释租赁会计”
• 问题
  • 选择题，对/错，填空，简答
  • 一些数值问题
• 开放式写作
  • 解释性：写一篇文章，解释机器学习对审计的影响
  • 创意：写一首关于在会计中使用ChatGPT的乡村歌曲
• 编码
  • 编写Python代码来计算异常返回
  • 在下面这段代码中找到bug

当他尝试将测试库中的考试问题与定制的试卷混合使用时，ChatGPT答对了超过84%的测试库问题，而定制题的正确率只有48%。

1. 重复的反应

在最简单的示例中，ChatGPT对相同的问题重复给出相同的响应。北卡罗来纳大学威尔明顿分校教授雷·帕斯托雷在YouTube视频中解释说，他在几天内多次向ChatGPT提出同样的问题，但总是得到完全相同的答案。这为教师提供了一个打击作弊的工具：只需输入他们自己的作文提示，他们就会知道要找什么。这个缺点也意味着使用ChatGPT的多个学生将提交非常相似的作业。（“教育工作者的聊天- K12和高等教育”，2022年12月20日。）

2. 引用

ChatGPT也在努力引用来源，或者完全捏造它们。由于它的工作方式是将相关的单词和短语拼凑在一起，而不是像人类那样在互联网上搜索答案，因此它永远不会从任何一个来源提取信息，也无法创建准确的引用。相反，当它被要求提供引文时，它似乎完全是捏造的。

瑞士的一位数据科学家告诉美国国家公共电台（NPR），她编造了一个虚假的物理现象来测试ChatGPT，该应用程序给出了听起来令人惊讶的可信信息，包括来源。然而，这些信息和来源都是捏造的：使用了真正的物理专家的名字，但引用的出版物并不存在。(“一个新的人工智能聊天机器人可能会帮你做作业。但它仍然不是A+学生，”2022年12月19日。)

3. 时事

ChatGPT数据集的文本示例将持续到2021年，因此有关当前事件的问题将返回不准确、通用或过时的答案。例如，如果提示回答有关乌克兰战争原因的问题，ChatGPT将根据2022年开始的当前战争之前的数据集生成答案。

如果ChatGPT认为用户询问的事情发生在2022年或之后，它会返回一条消息，说它的“知识截止日期是2021年”，即使问题是关于2021年或之前发生的事件，它有时也会给出这个错误。

4. 独特的写作风格

ChatGPT生成的文章具有独特的语气和风格，通常被描述为“直言不讳”或“生硬的散文”。有些人认为这是“写得太好”，而另一些人则认为这是“乏味”或“平庸”。

巴鲁克管理学院的一名教员指出，如果学生在课堂上或以前作业中的沟通方式与书面作业中的沟通方式大相径庭，这可能是“一个天然的危险信号”。

出现的另一个观察结果是，虽然ChatGPT输出并不总是准确，但它对其写作风格似乎相当自信。

此外，ChatGPT遵循一些模式，例如在开头重新表述问题，并在整个回答中标明，即以“乌克兰战争的原因是……”开头。尽管我们可能鼓励学生以可能包含他们语言的方式回答我们的问题和提示，但ChatGPT倾向于提供重复和生硬的问题。

5. 某些数学问题和图像

虽然ChatGPT可以正确计算基本的数学问题，但巴鲁克学院的一位教员指出，它在处理多步骤问题时遇到了困难：

“例如，在我的一个问题中，它推断早上5点到晚上10点是15个小时。在试图计算过程能力时，它决定USL=2.2和LSL=2.0之间的范围是0.22而不是0.2。”

另一位巴鲁克学院的教员指出：“ChatGPT不能回答涉及图像或单独数据集的问题，尽管ChatGPT可以读取有限数量的表格信息。它可能会遇到复杂的问题，包括复杂的计算或许多概念的整合。”

以下是教师可以采取的一些措施。其中一些，比如复习你的考题，可能是你日常备课的一部分。其他的，比如对你的学术诚信声明进行批判性的审查和修改，可能是你偶尔会做的事情。如果你想在这学期融入这些建议，并且可以做到，那就太好了！也可以尝试一些，看看效果如何，并计划在以后的学期多做一些。

强调并澄清你的学术诚信声明用新鲜的眼光看待你讨论学术诚信的方式总是一个好主意，以确保它清楚地传达了你的方法和期望。您可以添加一些语言来概述您对ChatGPT和其他技术的期望。

这可能听起来很傻，但你应该问自己以下问题：为什么你发现学生使用ChatGPT有问题？为什么你会认为这违反了学术诚信？

使用ChatGPT来设计作业和评估。通过ChatGPT运行作业后，有一系列的原因和选择可供您选择。通过让学生知道你已经这样做了，你可能会阻止一些学生使用它。

随着技术的发展，我们有责任教会学生如何高效、负责任地使用人工智能，包括使用人工智能，反思人工智能的实用性和局限性。

确保教你的学生在脚注或参考文献中承认他们使用了人工智能，比如ChatGPT。虽然目前还没有普遍接受的方式来引用Chat GPT，但我们应该尽最大努力模拟我们使用计算机生成技术的路标。这种做法可能有一个隐藏的好处，即将ChatGPT规范化为“另一种技术”，它有自己的优点和缺点，而不是诱惑潜在的剽窃者。

这是一个很好的时间来看看你的课程学习目标，活动和评估。如果你可以灵活地改变你的教学大纲，重新考虑你目前的方法是否仍然是最好的选择。随着时间的推移，你很容易习惯使用一个特定的作业或一组测试问题。修改和编写课程计划可能需要很多工作。有时我们需要学习一项新的技术技能或工具。然而，也许有另一种方法可以达到这个学习目标？或更新模式或赋值指令集。

考虑工作在哪里和如何完成有越来越多的建议供教师考虑。这里有一些：

• 将较长的作业搭建起来，让学生先交大纲，再交草稿，然后再交最终稿，这并不能杜绝作弊行为，但要求学生以多种形式提交的多份作业保持一致。
• 将带注释的参考书目作为可交付成果之一，还需要学生进行一定程度的研究，这是ChatGPT目前无法做到的。如果不使用脚手架式的方法，教师也可以让学生提前提交一份来源列表，并要求这些来源纳入他们的最终草稿，或者只是要求在最终草稿中列出引用列表，然后检查这些来源的有效性。
• 自从引入ChatGPT以来，我们经常看到的一个建议是减少或消除课外评分作业，增加课堂作业。另一个想法是——如果你能在课堂上分配时间——在课堂上回到（或继续使用）纸笔测试和练习。

尽管ChatGPT相对较新，但已经有一股创建ChatGPT检测软件的热潮。例子包括:

• GPT-2输出检测器
• GPTZero.me

这项技术的影响有限。这就是为什么我们推荐一种注重教学而不是依赖技术的方法。

随着科技的发展，许多关于抄袭、修改和作弊的规范和假设都需要质疑。我想到了一些问题：

• 在抄袭或作弊之前，使用ChatGPT的界限是什么？
• 只要你自己做研究和写作，你可以用它来为你的论文提供想法吗？
• 你能用它来突破写作的瓶颈吗？

重要的是要记住，计算器、维基百科、谷歌搜索、笔记本电脑和语法的引入是值得关注的。作为一个需要劳动和反思的社会，我们在很大程度上驾驭了这些介绍，但可以说丰富了我们思考技术发展潜力和局限性的方式。

与ChatGPT类似，维基百科作为一种参与和指向信息的方式是有价值的，但它本身并不作为来源。虽然抄袭维基百科比抄袭ChatGPT更容易被发现，但我们希望本文档中关于ChatGPT的局限性和潜在用途的信息将为批判性思考其对教学和学习的影响提供一个框架。

我们的教学环境和背景总是在不断变化。在某些时候，它们是有问题的，而在其他时候，它们为深度学习和创新提供了机会。ChatGPT是另一个这样的引入，我们需要一些时间来适应它的广泛引入。