默认情况下，TensorFlow会映射该进程可见的几乎所有GPU的所有GPU内存（取决于CUDA_VISIBLE_DEVICES）。这样做是为了通过减少内存碎片来更有效地使用设备上相对宝贵的GPU内存资源。

TensorFlow在Session上提供了两个Config选项来控制它。

第一个是allow_growth选项，它尝试根据运行时分配仅分配尽可能多的GPU内存：

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

第二种方法是per_process_gpu_memory_fraction选项，该选项确定应为每个可见GPU分配的总内存量的一部分。例如，您可以通过以下方式告诉TensorFlow仅分配每个GPU的总内存的40％：

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
session = tf.Session(config=config)

不是那个首先，您可以通过监视gpu来查看运行时它将获得多少内存。例如，如果您有nvidia gpu，则可以使用watch -n 1 nvidia-smi命令进行检查。但是在大多数情况下，如果您未设置gpu内存的最大部分，它将分配几乎全部可用内存。您的问题是您的GPU内存不足。 CNN网络非常繁重。当您尝试馈送网络时，请勿对整个数据进行处理。以小批量进行此进料程序。

在GTX 970上训练小型CNN时，我遇到了内存不足的错误。通过一点fl幸，我发现告诉TensorFlow根据需要（而不是预先）在GPU上分配内存可以解决我所有的问题。可以使用以下Python代码完成此操作：

    config = tf.ConfigProto()
    config.gpu_options.allow_growth = True
    sess = tf.Session(config=config)

以前，TensorFlow会预分配约90％的GPU内存。由于某些未知的原因，即使模型完全适合GPU内存，这也会在以后导致内存不足错误。通过使用上面的代码，我不再有OOM错误。

注意：如果模型太大而无法容纳GPU内存，这可能无济于事！