品玩6月9日讯,据 huggingface 显示,新加坡科技设计大学旗下的DeCLaRe Lab 近日联手新加坡阿里达摩院推出评估套件INSTRUCTEVAL。
INSTRUCTEVAL是一款较为全面的评估套件,专为指令调整的大语言模型设计。研发团队表示,INSTRUCTEVAL 的评估基于解决问题、写作能力以及是否和人类的价值观保持一致。INSTRUCTEVAL 还将会通过模型的预训练基础、指令调优数据以及训练方法等多个因素对大语言模型进行评估。研究结果表明,指令数据的质量是衡量模型性能的最关键因素。
研发团队表示,INSTRUCTEVA的目标是帮助加深对指令调整模型及其功能进步的理解。
正文完
可以使用微信扫码关注公众号(ID:xzluomor)