训练一个弱学习器

Question

我正在使用AdaBoost实现一个应用程序，用于分类是亚洲象还是非洲象。我的输入数据为：

Elephant size: 235  Elephant weight: 3568  Sample weight: 0.1  Elephant type: Asian
Elephant size: 321  Elephant weight: 4789  Sample weight: 0.1  Elephant type: African
Elephant size: 389  Elephant weight: 5689  Sample weight: 0.1  Elephant type: African
Elephant size: 210  Elephant weight: 2700  Sample weight: 0.1  Elephant type: Asian
Elephant size: 270  Elephant weight: 3654  Sample weight: 0.1  Elephant type: Asian
Elephant size: 289  Elephant weight: 3832  Sample weight: 0.1  Elephant type: African
Elephant size: 368  Elephant weight: 5976  Sample weight: 0.1  Elephant type: African
Elephant size: 291  Elephant weight: 4872  Sample weight: 0.1  Elephant type: Asian
Elephant size: 303  Elephant weight: 5132  Sample weight: 0.1  Elephant type: African
Elephant size: 246  Elephant weight: 2221  Sample weight: 0.1  Elephant type: African

我创建了一个分类器类（Classifier class）：

import java.util.ArrayList;

public class Classifier {
private String feature;
private int treshold;
private double errorRate;
private double classifierWeight;

public void classify(Elephant elephant){
    if(feature.equals("size")){
        if(elephant.getSize()>treshold){
            elephant.setClassifiedAs(ElephantType.African);
        }
        else{
            elephant.setClassifiedAs(ElephantType.Asian);
        }           
    }
    else if(feature.equals("weight")){
        if(elephant.getWeight()>treshold){
            elephant.setClassifiedAs(ElephantType.African);
        }
        else{
            elephant.setClassifiedAs(ElephantType.Asian);
        }
    }
}

public void countErrorRate(ArrayList<Elephant> elephants){
    double misclassified = 0;
    for(int i=0;i<elephants.size();i++){
        if(elephants.get(i).getClassifiedAs().equals(elephants.get(i).getType()) == false){
            misclassified++;
        }
    }
    this.setErrorRate(misclassified/elephants.size());
}

public void countClassifierWeight(){
    this.setClassifierWeight(0.5*Math.log((1.0-errorRate)/errorRate));
}

public Classifier(String feature, int treshold){
    setFeature(feature);
    setTreshold(treshold);
}

我在main()函数中训练了一个分类器，它按“大小”分类，并设置阈值为250，就像这样：

 main.trainAWeakClassifier("size", 250);

在我的分类器对每只大象进行分类后，我会计算分类器错误率，更新每个样本（大象）的权重并计算分类器的权重。我的问题是：

我该如何创建下一个分类器？它如何更关注被错误分类的样本（我知道样本权重很关键，但我不知道如何实现）？

我是否正确创建了第一个分类器？

- gadzix90

---

如果你正在处理大象，你可能想尝试一个强学习者。你怎么能指望一个弱学习者来处理一只5吨的哺乳动物呢？ - thkala

我不是很理解你的观点，但我欣赏你的幽默感。AdaBoost算法是基于弱学习器的。 - gadzix90

你需要从头开始实现它，还是可以使用像Weka或R这样的库？ - marc_ferna

该应用程序必须由我自己实现。 - gadzix90

“size”和“weight”应该有自己的阈值，因为它们具有不同的比例尺。 - Peter Lawrey

Answer 1

你可以计算错误率并对实例进行分类，但你缺少的是根据Ada Boost公式更新分类器并将它们组合成一个分类器。 在这里查看算法： Wikipedia的Ada Boost网页

- fiacobelli