如何在tensorflow中将jpeg图像目录转换为TFRecords文件?
tensorflow
5
0

我有训练数据,该数据是jpeg图像的目录以及包含文件名和相关类别标签的相应文本文件。我试图按照tensorflow文档中的描述将此训练数据转换为tfrecords文件。我花了很多时间尝试使其工作,但是tensorflow中没有任何示例演示如何使用任何读取器读取jpeg文件并将其添加到使用tfrecordwriter的tfrecord中

参考资料:
Stack Overflow
收藏
评论
共 4 个回答
高赞 时间 活跃

我也有同样的问题。

所以这是我如何获取自己的jpeg文件的tfrecords文件的方法

编辑:添加溶胶1-一种更好更快的更新方式:2020年1月5日

(推荐)解决方案1:TFRecordWriter

请参阅此《 Tfrecords指南》帖子

解决方案2:

来自tensorflow官方github: 如何构建用于重新 训练 的新数据集,直接使用官方python脚本build_image_data.pybazel是一个更好的主意。

这是说明:

要运行build_image_data.py ,可以运行以下命令行:

# location to where to save the TFRecord data.        
OUTPUT_DIRECTORY=$HOME/my-custom-data/

# build the preprocessing script.
bazel build inception/build_image_data

# convert the data.
bazel-bin/inception/build_image_data \
  --train_directory="${TRAIN_DIR}" \
  --validation_directory="${VALIDATION_DIR}" \
  --output_directory="${OUTPUT_DIRECTORY}" \
  --labels_file="${LABELS_FILE}" \
  --train_shards=128 \
  --validation_shards=24 \
  --num_threads=8

其中$OUTPUT_DIRECTORY是分片TFRecords的位置。 $LABELS_FILE将是一个文本文件,该脚本将由提供所有标签列表的脚本读取。

然后,它应该可以解决问题。

ps。由Google制造的bazel将代码转换为makefile。

解决方案3:

首先,我参考@capitalistpug的指令并检查shell脚本文件

(由Google提供的shell脚本文件: download_and_preprocess_flowers.sh

其次,我还找到了NVIDIA的迷你Inception-v3培训教程

(NVIDIA官方采用GPU加速的TENSORFLOW进行了快速培训

请注意 ,在Bazel WORKSAPCE环境中需要执行以下步骤

因此Bazel构建文件可以成功运行


第一步 ,我注释掉了已经下载的imagenet数据集的下载部分

其余部分我不需要download_and_preprocess_flowers.sh

第二步 ,将目录更改为tensorflow / models / inception

它是Bazel环境, 由Bazel在

$ cd tensorflow/models/inception 

可选:如果以前未构建过,请在cmd中键入以下代码

$ bazel build inception/download_and_preprocess_flowers 

您需要在下图中找出内容

在此处输入图片说明

最后一步 ,输入以下代码:

$ bazel-bin/inception/download_and_preprocess_flowers $Your/own/image/data/path

然后,它将开始调用build_image_data.py并创建tfrecords文件

收藏
评论

请注意,图像将以未压缩的张量形式保存在TFRecord中,可能会将大小增加约5倍。这浪费了存储空间,并且由于需要读取的数据量而导致速度很慢。

最好只将文件名保存在TFRecord中,然后按需读取文件。新的Dataset API可以很好地工作,并且文档中包含以下示例:

# Reads an image from a file, decodes it into a dense tensor, and resizes it
# to a fixed shape.
def _parse_function(filename, label):
  image_string = tf.read_file(filename)
  image_decoded = tf.image.decode_jpeg(image_string)
  image_resized = tf.image.resize_images(image_decoded, [28, 28])
  return image_resized, label

# A vector of filenames.
filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...])

# `labels[i]` is the label for the image in `filenames[i].
labels = tf.constant([0, 37, ...])

dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))
dataset = dataset.map(_parse_function)
收藏
评论

Tensorflow的初始模型有一个文件build_image_data.py ,假设每个子目录都代表一个标签,则可以完成相同的操作。

收藏
评论

我希望这有帮助:

filename_queue = tf.train.string_input_producer(['/Users/HANEL/Desktop/tf.png']) #  list of files to read

reader = tf.WholeFileReader()
key, value = reader.read(filename_queue)

my_img = tf.image.decode_png(value) # use decode_png or decode_jpeg decoder based on your files.

init_op = tf.initialize_all_variables()
with tf.Session() as sess:
  sess.run(init_op)

# Start populating the filename queue.

coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(coord=coord)

for i in range(1): #length of your filename list
  image = my_img.eval() #here is your image Tensor :) 

print(image.shape)
Image.show(Image.fromarray(np.asarray(image)))

coord.request_stop()
coord.join(threads)

为了将所有图像作为张量的数组获取,请使用以下代码示例。

ImageFlow的Github回购


更新:

在上一个答案中,我只是告诉了如何读取TF格式的图像,而不是将其保存在TFRecords中。为此,您应该使用:

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))


def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

# images and labels array as input
def convert_to(images, labels, name):
  num_examples = labels.shape[0]
  if images.shape[0] != num_examples:
    raise ValueError("Images size %d does not match label size %d." %
                     (images.shape[0], num_examples))
  rows = images.shape[1]
  cols = images.shape[2]
  depth = images.shape[3]

  filename = os.path.join(FLAGS.directory, name + '.tfrecords')
  print('Writing', filename)
  writer = tf.python_io.TFRecordWriter(filename)
  for index in range(num_examples):
    image_raw = images[index].tostring()
    example = tf.train.Example(features=tf.train.Features(feature={
        'height': _int64_feature(rows),
        'width': _int64_feature(cols),
        'depth': _int64_feature(depth),
        'label': _int64_feature(int(labels[index])),
        'image_raw': _bytes_feature(image_raw)}))
    writer.write(example.SerializeToString())

更多信息在这里

您会像这样读取数据:

# Remember to generate a file name queue of you 'train.TFRecord' file path
def read_and_decode(filename_queue):
  reader = tf.TFRecordReader()
  _, serialized_example = reader.read(filename_queue)
  features = tf.parse_single_example(
    serialized_example,
    dense_keys=['image_raw', 'label'],
    # Defaults are not specified since both keys are required.
    dense_types=[tf.string, tf.int64])

  # Convert from a scalar string tensor (whose single string has
  image = tf.decode_raw(features['image_raw'], tf.uint8)

  image = tf.reshape(image, [my_cifar.n_input])
  image.set_shape([my_cifar.n_input])

  # OPTIONAL: Could reshape into a 28x28 image and apply distortions
  # here.  Since we are not applying any distortions in this
  # example, and the next step expects the image to be flattened
  # into a vector, we don't bother.

  # Convert from [0, 255] -> [-0.5, 0.5] floats.
  image = tf.cast(image, tf.float32)
  image = tf.cast(image, tf.float32) * (1. / 255) - 0.5

  # Convert label from a scalar uint8 tensor to an int32 scalar.
  label = tf.cast(features['label'], tf.int32)

  return image, label
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号