香港中文大学(港中大)今日(10月30日)宣布推出专为粤语而设的动态评测平台及生态系统CLEVA-Cantonese。粤语是香港、广东及其他粤语流行地区的重要语言,这个创新平台通过提供公平、动态且具参考价值的基准评估,揭示各类大语言模型对粤语的支持程度,并为研究人员及开发者提供具参考价值的分析,加速粤语大语言模型的优化及实际应用。
此项目由港中大InnoHK博智感知交互研究中心与港中大语言与视觉实验室合作研发,港中大禤永明系统工程与工程管理学讲座教授兼博智感知交互研究中心主任蒙美玲教授,与港中大计算器科学与工程学系助理教授、语言与视觉实验室负责人及CLEVA项目负责人王历伟教授共同领导。
港中大语言与视觉实验室研发的CLEVA(Chinese Language Models EVAluation Platform),是目前公认规模最大、涵盖最全面的中文大语言模型评估基准之一。CLEVA-Cantonese在此基础上,建立持续演进的粤语大语言模型评估生态系统。
它整合一个协作式的自动化工作流程,涵盖四个关键阶段:数据导入和筛选、语言模型理解、评估与反馈。这个持续循环的流程能实时提供洞见、推动模型创新、提升对粤语社群的服务质素,并产出可帮助其他低资源语言评测的研究成果。
大语言模型的粤语评估至关重要,它能提供清晰的效能指针,准确指出模型的优势与待改进之处,从而加快大语言模型的发展。它亦支持可扩展且实时的评估方式,配合模型的快速迭代的周期,同时通过标准化任务、提示和多重指针评估,确保比较结果的可信度。









