本文为看雪论坛优秀文章
看雪论坛作者ID：大大薇薇
python_mmdt:一种基于敏感哈希生成特征向量的python库(一)我们介绍了一种叫mmdthash（敏感哈希）生成方法，并对其中的概念做了基本介绍。python_mmdt:从0到1--实现简单恶意代码分类器(二)我们介绍了基于mmdthash的一种简单恶意代码分类器应用。python_mmdt:从1到2--实现基于KNN的机器学习恶意代码分类器(三)我们介绍基于mmdthash的机器学习恶意代码分类器应用。python_mmdt:mmdthash的在线使用(四)我们介绍如何使用mmdthash实现在线恶意文件检测。本篇，我们对基于KNN机器学习算法的分类结果进行统计测试，评估分类模型。
1、KNN模型共计632253条mmdthash，覆盖1150个恶意家族标签；2、基于KNN模型的多分类结果，准确率ACC达到80%以上，召回率REC达到60%以上；3、相似度判定阈值可按0.95划分：相似度不低于0.95，判定结果极大可信（精确率PRE达到100%）；低于0.95的结果可信度逐步降低；4、相似度阈值设定为0.95时，KNN模型没有发现误报。
基本信息
1、KNN模型信息：共计632253条mmdthash记录，覆盖1150个恶意家族标签，其中二进制文件占比超90%。2、测试文件集信息：任意挑选200个黑文件（不在KNN模型中）和200个白文件，共计400个，95%以上为二进制文件。其中200个黑文件覆盖58个恶意家族，加上1个干净文件家族，共计59个家族分类。3、测试方法说明：使用400个测试文件，通过web（http://146.56.242.184/mmdt/scan ）接口，获取KNN模型给出的最相似样本及信息，结合相似度判定（阈值判定），对比预测标签与实际标签，统计准确率ACC、精确率PRE与召回率REC，从而判定基于mmdthash的KNN模型的效果。
KNN模型信息
KNN模型名称: mmdt_feature_20220120.data
测试文件集信息
测试数据集名称：mmdt_feature_test_400.data
测试方法
1、使用python_mmdt库，编码对400个文件进行mmdthash计算，生成测试数据集mmdt_feature_test_400.data；
2、使用python_mmdt库，编码请求web服务，对400条测试数据集进行KNN模型分类；3、统计KNN模型分类结果，统计维度为TP、TN、FP、FN，计算维度包括准确率ACC、精确率PRE、召回率REC：TP表示实际标签为真（恶意），预测标签为真（恶意）的数目
TN表示实际标签为假（干净），预测标签为假（干净）的数目
FP表示实际标签为假（干净），预测标签为真（恶意）的数目
FN表示实际标签为真（恶意），预测标签为假（干净）的数目
准确率ACC表示所有预测标签正确的数量占比（可以理解为KNN模型的检出率），计算公式为：ACC = (TP + TN)/(TP + TN + FP + FN)
精确率PRE表示所有实际为真（恶意）的数量在预测为真（恶意）的占比（可以理解为KNN模型对检测的恶意样本的结果可信度），计算公式为：PRE = TP/(TP + FP)
召回率REC表示所有预测为真（恶意）的数量在实际为真（恶意）的占比（可以理解为KNN模型对恶意样本的检出覆盖能力），计算公式为：REC = TP/(TP + FN)
1、准确率ACC衡量了分类器的效果，准确率ACC越高，分类器效果越好；2、精确率PRE衡量了分类器对真例（恶意）的检出正确率，精确率PRE越高，对真例（恶意）的检出正确率越高，模型可信度越高；3、召回率REC衡量了分类器对真例（恶意）的检出查全率，召回率REC越高，对真例（恶意）的检出查全率越高，模型检出覆盖能力越高。
1、本次统计测试中，相似度取两个阈值进行对比，大于0.95（和0.90），则才判定为真（恶意）；否则判定为假（干净）。2、KNN模型、测试文件集都是多标签的，在实际使用中等价于多分类，所以本次统计测试中，在判定为恶意的前提下，还需要预测标签与实际标签一致，才可判定为TP。此种情况下统计出的准确率、精确率、召回率等会低于二分类（非白即黑）的统计情况。
测试代码
import sysimport requestsfrom python_mmdt.mmdt.common import mmdt_load dlt = 0.95 def mmdt_scan_online_check(): file_name = sys.argv[1] features = mmdt_load(file_name) TP = 0 TN = 0 FP = 0 FN = 0 count = 0 print('检测结果,文件md5,真实标签,相似文件,预测标签,相似度') for feature in features: count += 1 tmp = feature.strip().split(":") file_mmdt = ':'.join(tmp[:2]) tag = tmp[2] file_sha1 = tmp[3] data = { "md5": file_sha1, "sha1": file_sha1, "file_name": file_sha1, "mmdt": file_mmdt, "data": {} } r = requests.post(url='http://146.56.242.184/mmdt/scan', json=data) r_data = r.json() if r_data.get('status', 0) == 20001: status = r_data.get('status', 0) message = r_data.get('message', '') print('文件md5: %s, 状态码: %d, 提交信息: %s' % (file_sha1, status, message)) else:
label = r_data.get('data', {}).get('label', 'unknown') sim_hash = r_data.get('data', {}).get('similars', [])[0].get('hash', 'None') sim = r_data.get('data', {}).get('similars', [])[0].get('sim', 0.0) check_result = '' if tag == label and sim > dlt: TP += 1 check_result = '正确' elif tag == 'clean' and sim > dlt: FP += 1 check_result = '错误' elif tag == 'clean' and sim <= dlt: TN += 1 check_result = '正确' else: FN += 1 check_result = '错误' print('%s,%s,%s,%s,%s,%.5f' % (check_result, file_sha1, tag, sim_hash, label, sim)) if count >= 500: break print('测试mmdthash总数：%d' % count) print('检测正确总数：%d' % (TP + TN)) print('检测错误总数：%d' % (FP + FN)) print('检测TP总数：%d' % TP) print('检测TN总数：%d' % TN) print('检测FP总数：%d' % FP) print('检测FN总数：%d' % FN) print('检测准确率ACC：%.3f' % ((TP + TN)/(TP + TN + FP + FN))) print('检测精确率PRE：%.3f' % (TP/(TP + FP))) print('检测召回率REC：%.3f' % (TP/(TP + FN))) def main(): mmdt_scan_online_check() if __name__ == '__main__': main()
测试结果如下：
KNN模型检测的准确率ACC高于80%，召回率REC高于60%
0.95指标下的准确率ACC比0.90指标下的准确率ACC提升了3.68‰，准确率ACC达到81.8%
0.95指标下的精确率PRE比0.90指标下的精确率PRE提升了83.42‰，精确率PRE达到100%
0.95指标下的召回率REC比0.90指标下的召回率REC降低了72.99‰，召回率REC达到63.5%
0.95指标下，没有发现存在误报（FP=0）
综合衡量，0.95可设定为初始判定阈值：不低于0.95的判定结果可初步判定为可信；低于0.95的判定结果可初步判定为不可信
分类错误样本抽样分析
相似度等于1的错误：gandcrypt和gandcrab属于同一个恶意家族的不同名称，相似度等于1的此类检测结果正确；
相似度大于0.99，小于1的错误：由于agent样本的标签错误导致，通过VT查询，agent样本实际也为klez，检测结果正确；
相似度大于0.95，小于0.99的错误：两个文件差异很大，mmdthash问题，确认检测结果错误。
相似度大于0.95的错误：同0.95阈值的分类错误；
相似度大于0.94，小于0.95的错误：检测结果确认全部错误，如将UPX壳的文件和Delphi编译文件关联，将NSIS文件和word文件关联，将PE文件和excel文件关联；
相似度低于0.94的错误：绝大部分检出错误，错误原因很多，包含部分少量正确结果。
备注
1、后续可以扩展KNN模型中的mmdthash数量，再进行测试；2、在分析检测测试结果时，发现某些特定家族或者特定时期的样本，计算得到的mmdthash并没有差异，从而导致KNN得出的最相似样本几乎是固定不变的。在这种情况下，可以考虑对基础库数据进行过滤，减少数量，减小体积，优化查询速度以及减少内存占用等。
看雪ID：大大薇薇
https://bbs.pediy.com/user-home-467421.htm
*本文由看雪论坛 大大薇薇 原创，转载请注明来自看雪社区
