机器学习（三）——K最临近方法构建分类模型（matlab）

K最临近（K-Nearest Neighbors，KNN）方法是一种简单且直观的分类和回归算法，主要用于分类任务。其基本原理是用到表决的方法，找到距离其最近的K个样本，然后通过K个样本的标签进行表决，预测结果给出的标签是表决多的一方。
在使用K最临近方法的时候，有两个方面可调：
一是K值的大小，K一般选用单数，这样不会导致在进行表决时出现概率相等的情况。
二是样本之间的距离，由于样本特征的分布不同，因此在描述两样本之间的距离时有多种方式可以描述，例如：欧氏距离（Euclidean Distance）、曼哈顿距离（Manhattan Distance）和闵可夫斯基距离（Minkowski Distance）等。而且往往由于选择的距离不同，对应的K值也不一样，大家可以根据自己的数据特点尝试用不用的距离构建分类模型。本文提供了这些方法供大家选择。

在matlab中实现K最临近方法构建分类模型的代码如下：

labels = res(:, 1);  % 第一列是标签 features = res(:, 2:end);  % 后面的列是特征 features = zscore(features);   %归一化处理    % %% 欧式距离 % %  % % 设置 K 值 % K = 7; %  % % 初始化分类准确度 % accuracy = 0; %  % % 留一交叉验证 % for i = 1:size(features, 1) %     % 从样本中选择一个作为验证样本，其余作为训练样本 %     validation_sample = features(i, :); %     validation_label = labels(i); %      %     train_samples = features([1:i-1, i+1:end], :); %     train_labels = labels([1:i-1, i+1:end]); %      %     % 计算验证样本与训练样本的距离 %     distances = sqrt(sum((train_samples - validation_sample).^2, 2)); %      %     % 寻找最近的 K 个邻居 %     [~, idx] = mink(distances, K); %      %     % 投票确定验证样本的类别 %     predicted_label = mode(train_labels(idx)); %      %     % 检查预测结果是否正确 %     if predicted_label == validation_label %         accuracy = accuracy + 1; %     end % end %  % % 计算分类准确度 % accuracy = accuracy / size(features, 1); % disp(['分类准确度：', num2str(accuracy)]);  %  %  % % 曼哈顿距离 %  %  % % 设置 K 值 % K = 9; %  % % 初始化分类准确度 % accuracy = 0; %  % % 留一交叉验证 % for i = 1:size(features, 1) %     % 从样本中选择一个作为验证样本，其余作为训练样本 %     validation_sample = features(i, :); %     validation_label = labels(i); %      %     train_samples = features([1:i-1, i+1:end], :); %     train_labels = labels([1:i-1, i+1:end]); %      %     % 计算曼哈顿距离 %     distances = sum(abs(train_samples - validation_sample), 2); %      %     % 寻找最近的 K 个邻居 %     [~, idx] = mink(distances, K); %      %     % 投票确定验证样本的类别 %     predicted_label = mode(train_labels(idx)); %      %     % 检查预测结果是否正确 %     if predicted_label == validation_label %         accuracy = accuracy + 1; %     end % end %  % % 计算分类准确度 % accuracy = accuracy / size(features, 1); % disp(['分类准确度：', num2str(accuracy)]);   % %% 闵可夫斯基距离 %  % % 设置 K 值 % K = 5; %  % % 初始化分类准确度 % accuracy = 0; %  % % 留一交叉验证 % for i = 1:size(features, 1) %     % 从样本中选择一个作为验证样本，其余作为训练样本 %     validation_sample = features(i, :); %     validation_label = labels(i); %      %     train_samples = features([1:i-1, i+1:end], :); %     train_labels = labels([1:i-1, i+1:end]); %      %     % 计算闵可夫斯基距离 %     distances = pdist2(train_samples, validation_sample, 'minkowski', 1); % p=1, 曼哈顿距离 %      %     % 寻找最近的 K 个邻居 %     [~, idx] = mink(distances, K); %      %     % 投票确定验证样本的类别 %     predicted_label = mode(train_labels(idx)); %      %     % 检查预测结果是否正确 %     if predicted_label == validation_label %         accuracy = accuracy + 1; %     end % end %  % % 计算分类准确度 % accuracy = accuracy / size(features, 1); % disp(['分类准确度：', num2str(accuracy)]); %        %% KD树搜索方法   % 设置 K 值 K = 5;  % 初始化分类准确度 accuracy = 0; predictedScores=zeros(56,2);  % 留一交叉验证 for i = 1:size(features, 1)     % 从样本中选择一个作为验证样本，其余作为训练样本     validation_sample = features(i, :);     validation_label = labels(i);          train_samples = features([1:i-1, i+1:end], :);     train_labels = labels([1:i-1, i+1:end]);          % 创建KD树     mdl = fitcknn(train_samples, train_labels, 'NumNeighbors', K, 'Distance', 'euclidean', 'NSMethod', 'kdtree');          % 预测验证样本的类别     %predicted_label = predict(mdl, validation_sample);      [predicted_label,predictedScore] = predict(mdl, validation_sample);     predictedScores(i,:)=predictedScore;          % 检查预测结果是否正确     if predicted_label == validation_label         accuracy = accuracy + 1;     end end  % 计算分类准确度 accuracy = accuracy / size(features, 1); disp(['分类准确度：', num2str(accuracy)]);