《 Challenges in evaluating AI systems》
- 多项选择题评估存在已知问题,如模型可能提前看到题目、评估实现不一致、题目本身可能有误。
- 测量社会性偏见更加困难,需要谨慎地定义、计算和解释偏差分数。
- 第三方评估框架如BIG-bench需要大量工程工作来实施,选择代表性任务也非常困难。
- 人工评估存在主观性,不同评估人员的创造力、动机等会影响结果。还需平衡有用性和无害性。
- 在国家安全相关领域的红队评估非常具有挑战性,需要专业知识、标准化流程、法律保障措施等。
- 使用模型生成的评估存在模型本身的偏见等隐患。
- 第三方安全审计需要在保持客观性的同时,也利用内部专业知识更好地执行。
- 政策制定者需要增加评估的研究和资金支持,并给予法律保护措施,以推进AI系统评估的发展。
正文完
可以使用微信扫码关注公众号(ID:xzluomor)