这是要让她干活?
好的。
有事做总比尴尬站着要好。
唐念麻利地走到电脑后,登上自己的邮箱,最新一条未读邮件来自[email protected]
任务是要她给一堆中医药材分类。
唐念根据提示登进服务器,数据是从74万篇中医古籍中采集出来的6.5万种药材,里面有很多别名、错名、重复等干扰项,需要先删除重复、冗余或噪声数据,再人工标注并对数据进行归类。
唐念以前做过机器学习方面的比赛,懂得归类问题的基本步骤,一般先是建立词汇表,获取每个词的embedding,然后使用CNN进行特征提取,最后挑选算法做二分类。
唐念凭借多年工作形成的肌肉记忆,搭建了个算法框架,把6.5万条数据灌进去,结果出来后拿着对照组验证准确度。
陈知礼从办公桌前走出,走到她身后,只扫一眼得出结论:“过拟合了,重测。”
“……”
唐念只好删掉记录,又重新跑了一遍,陈知礼看一眼,仍不满意:“我说的重测是让你换一种算法,不是让你拿着3000万美金的GPU在这磨时间,消耗性能,OK?”
“……”
那你一开始说清楚啊!
“还有,你样本选的有问题,SMOTE得到的增强样本有误差,可能已经偏离了原来的语义,大概是文本embedding后距离向量处于高维空间,需要映射到低维再处理。”
唐念没听懂,一脸茫然地看着他。
“看我干什么,数据增强不会做就去查资料,瞪着一双大眼只会喘气吗?”