TensorFlow / Keras多线程模型拟合
keras
tensorflow
7
0

我正在尝试使用多个线程(和tensorflow后端)训练具有不同参数值的多个keras模型。我已经看到了几个在多个线程中使用同一模型的示例,但是在这种特殊情况下,我遇到了有关冲突图等的各种错误。这是我想做的一个简单示例:

from concurrent.futures import ThreadPoolExecutor
import numpy as np
import tensorflow as tf
from keras import backend as K
from keras.layers import Dense
from keras.models import Sequential


sess = tf.Session()


def example_model(size):
    model = Sequential()
    model.add(Dense(size, input_shape=(5,)))
    model.add(Dense(1))
    model.compile(optimizer='sgd', loss='mse')
    return model


if __name__ == '__main__':
    K.set_session(sess)
    X = np.random.random((10, 5))
    y = np.random.random((10, 1))
    models = [example_model(i) for i in range(5, 10)]

    e = ThreadPoolExecutor(4)
    res_list = [e.submit(model.fit, X, y) for model in models]

    for res in res_list:
        print(res.result())

结果错误为ValueError: Tensor("Variable:0", shape=(5, 5), dtype=float32_ref) must be from the same graph as Tensor("Variable_2/read:0", shape=(), dtype=float32). 。我也尝试过初始化线程中的模型,这会导致类似的失败。

有什么关于最佳解决方案的想法吗?我完全不喜欢这个确切的结构,但是我更希望能够使用多个线程而不是进程,因此所有模型都在同一GPU内存分配中训练。

参考资料:
Stack Overflow
收藏
评论
共 1 个回答
高赞 时间 活跃

Tensorflow图不是线程安全的(请参阅https://www.tensorflow.org/api_docs/python/tf/Graph ),当您创建新的Tensorflow会话时,默认情况下它将使用默认图。

您可以通过在并行化函数中使用新图形创建新会话并在其中构建keras模型来解决此问题。

这是一些在每个可用gpu上并行创建和拟合模型的代码:

import concurrent.futures
import numpy as np

import keras.backend as K
from keras.layers import Dense
from keras.models import Sequential

import tensorflow as tf
from tensorflow.python.client import device_lib

def get_available_gpus():
    local_device_protos = device_lib.list_local_devices()
    return [x.name for x in local_device_protos if x.device_type == 'GPU']

xdata = np.random.randn(100, 8)
ytrue = np.random.randint(0, 2, 100)

def fit(gpu):
    with tf.Session(graph=tf.Graph()) as sess:
        K.set_session(sess)
        with tf.device(gpu):
            model = Sequential()
            model.add(Dense(12, input_dim=8, activation='relu'))
            model.add(Dense(8, activation='relu'))
            model.add(Dense(1, activation='sigmoid'))

            model.compile(loss='binary_crossentropy', optimizer='adam')
            model.fit(xdata, ytrue, verbose=0)

            return model.evaluate(xdata, ytrue, verbose=0)

gpus = get_available_gpus()
with concurrent.futures.ThreadPoolExecutor(len(gpus)) as executor:
    results = [x for x in executor.map(fit, gpus)]
print('results: ', results)
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号