Sklearn SGDClassifier部分拟合
gradient-descent
machine-learning
python
scikit-learn
9
0

我正在尝试使用SGD对大型数据集进行分类。由于数据太大而无法放入内存,因此我想使用partial_fit方法来训练分类器。我选择了适合内存的数据集样本(100,000行)来测试fitpartial_fit

from sklearn.linear_model import SGDClassifier

def batches(l, n):
    for i in xrange(0, len(l), n):
        yield l[i:i+n]

clf1 = SGDClassifier(shuffle=True, loss='log')
clf1.fit(X, Y)

clf2 = SGDClassifier(shuffle=True, loss='log')
n_iter = 60
for n in range(n_iter):
    for batch in batches(range(len(X)), 10000):
        clf2.partial_fit(X[batch[0]:batch[-1]+1], Y[batch[0]:batch[-1]+1], classes=numpy.unique(Y))

然后,我使用相同的测试集测试两个分类器。在第一种情况下,我的准确度为100%。据我了解,默认情况下,SGD在训练数据上传递5次(n_iter = 5)。

在第二种情况下,我必须对数据传递60次才能达到相同的精度。

为什么会有这种差异(5比60)?还是我做错了什么?

参考资料:
Stack Overflow
收藏
评论
共 1 个回答
高赞 时间 活跃

我终于找到了答案。您需要在每次迭代之间重新整理训练数据 ,因为在实例化模型时设置shuffle = True不会在使用partial_fit时重新整理数据(仅适用于fit )。注意:在sklearn.linear_model.SGDClassifier页面上找到此信息将很有帮助

修改后的代码如下:

from sklearn.linear_model import SGDClassifier
import random
clf2 = SGDClassifier(loss='log') # shuffle=True is useless here
shuffledRange = range(len(X))
n_iter = 5
for n in range(n_iter):
    random.shuffle(shuffledRange)
    shuffledX = [X[i] for i in shuffledRange]
    shuffledY = [Y[i] for i in shuffledRange]
    for batch in batches(range(len(shuffledX)), 10000):
        clf2.partial_fit(shuffledX[batch[0]:batch[-1]+1], shuffledY[batch[0]:batch[-1]+1], classes=numpy.unique(Y))
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号