ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning
P Törnberg
[University of Amsterdam]
ChatGPT-4在零样本学习标注政治Twitter信息方面超过专家和众包标注人员
要点:
- 动机:旨在评估大型语言模型ChatGPT-4在Twitter信息分析任务中的准确性、可靠性和偏差,并将其与专家分类器和众包工作者手动标注的结果进行比较。
- 方法:通过零样本学习的方式来对政治Twitter信息进行分类,以此评估ChatGPT-4模型的性能表现,同时与专家和众包工作者手动标注的结果进行比较。
- 优势:发现ChatGPT-4在分类政治Twitter信息方面的表现优于专家和众包标注人员。这些发现表明,LLM对于文本数据的使用具有显著的科学意义,能够使得大规模的解释性研究成为可能,具有比传统方法更高的数据质量,而且成本和技术门槛更低。
ChatGPT-4通过零样本学习在分类政治Twitter信息方面的表现超过了专家和众包标注人员。
https://arxiv.org/abs/2304.06588
正文完
可以使用微信扫码关注公众号(ID:xzluomor)