Python 中决策树的零起点构建

在数据科学和机器学习领域，决策树是一种强大而直观的算法。它能够从数据中自动学习决策规则，并用于分类和回归任务。在 Python 中，我们可以从零开始构建决策树，下面让我们逐步展开。

我们需要导入必要的库，比如 numpy 用于数值计算，matplotlib.pyplot 用于数据可视化。

import numpy as np
import matplotlib.pyplot as plt

接下来，我们定义一个简单的数据集。假设我们有一些关于水果的特征数据，如颜色、大小和形状，以及对应的类别（苹果、香蕉、橙子）。

data = np.array([
    [1, 2, 0, '苹果'],
    [2, 3, 1, '香蕉'],
    [3, 1, 0, '橙子'],
    [1, 1, 1, '苹果'],
    [2, 2, 0, '香蕉'],
    [3, 3, 1, '橙子']
])

然后，我们需要定义一个函数来计算数据集的信息熵。信息熵用于衡量数据集的混乱程度。

def entropy(data):
    labels = data[:, -1]
    unique_labels, counts = np.unique(labels, return_counts=True)
    probabilities = counts / len(labels)
    entropy = -np.sum(probabilities * np.log2(probabilities))
    return entropy

接下来，我们定义一个函数来根据某个特征分割数据集。

def split_data(data, feature_index):
    values = data[:, feature_index]
    unique_values = np.unique(values)
    split_datasets = []
    for value in unique_values:
        subset = data[data[:, feature_index] == value]
        split_datasets.append(subset)
    return split_datasets

构建决策树的核心部分是选择最佳的特征进行分割，以最大程度地减少信息熵。

def best_split(data):
    best_feature = None
    min_entropy = float('inf')
    num_features = data.shape[1] - 1
    for feature_index in range(num_features):
        split_datasets = split_data(data, feature_index)
        entropy_after_split = 0
        for subset in split_datasets:
            entropy_after_split += len(subset) / len(data) * entropy(subset)
        if entropy_after_split < min_entropy:
            min_entropy = entropy_after_split
            best_feature = feature_index
    return best_feature

最后，我们可以递归地构建决策树。

def build_tree(data):
    if len(np.unique(data[:, -1])) == 1:
        return data[0, -1]
    best_feature = best_split(data)
    split_datasets = split_data(data, best_feature)
    tree = {best_feature: {}}
    for subset in split_datasets:
        value = subset[0, best_feature]
        subtree = build_tree(subset)
        tree[best_feature][value] = subtree
    return tree

通过以上步骤，我们成功地在 Python 中从零开始构建了一个简单的决策树。这只是决策树的基础实现，实际应用中还需要考虑更多的优化和细节处理。但通过这个简单的示例，您已经对决策树的构建原理有了更深入的理解。