在不复制Tensorflow中的张量的情况下批量计算成对距离?
python
tensorflow
7
0

我想在Tensorflow中计算一批特征的成对平方距离。通过平铺原始张量,我有一个使用+和*操作的简单实现:

def pairwise_l2_norm2(x, y, scope=None):
    with tf.op_scope([x, y], scope, 'pairwise_l2_norm2'):
        size_x = tf.shape(x)[0]
        size_y = tf.shape(y)[0]
        xx = tf.expand_dims(x, -1)
        xx = tf.tile(xx, tf.pack([1, 1, size_y]))

        yy = tf.expand_dims(y, -1)
        yy = tf.tile(yy, tf.pack([1, 1, size_x]))
        yy = tf.transpose(yy, perm=[2, 1, 0])

        diff = tf.sub(xx, yy)
        square_diff = tf.square(diff)

        square_dist = tf.reduce_sum(square_diff, 1)

        return square_dist

此函数将大小为(m,d)和(n,d)的两个矩阵作为输入,并计算每个行向量之间的平方距离。输出是大小为(m,n)的矩阵,元素为'd_ij = dist(x_i,y_j)'。

问题是我有大量批处理并且复制了张量的高暗淡特征'm,n,d'占用了大量内存。我正在寻找另一种方法来实现此目的,而不会增加内存使用量,仅存储最终的距离张量。有点像是双循环原始张量。

参考资料:
Stack Overflow
收藏
评论
共 3 个回答
高赞 时间 活跃

这是坐标AB两个张量的更一般的解决方案:

def squared_dist(A, B):
  assert A.shape.as_list() == B.shape.as_list()

  row_norms_A = tf.reduce_sum(tf.square(A), axis=1)
  row_norms_A = tf.reshape(row_norms_A, [-1, 1])  # Column vector.

  row_norms_B = tf.reduce_sum(tf.square(B), axis=1)
  row_norms_B = tf.reshape(row_norms_B, [1, -1])  # Row vector.

  return row_norms_A - 2 * tf.matmul(A, tf.transpose(B)) + row_norms_B

请注意,这是平方距离。如果要将其更改为欧几里德距离, tf.sqrt对结果执行tf.sqrt 。如果要这样做,请不要忘记添加一个小常数以补偿浮点不稳定性: dist = tf.sqrt(squared_dist(A, B) + 1e-6)

收藏
评论

使用squared_difference

def squared_dist(A): 
    expanded_a = tf.expand_dims(A, 1)
    expanded_b = tf.expand_dims(A, 0)
    distances = tf.reduce_sum(tf.squared_difference(expanded_a, expanded_b), 2)
    return distances

我注意到的一件事是,使用tf.squared_difference此解决方案使我无法使用非常大的向量的内存(OOM),而@YaroslavBulatov的方法则没有。因此,我认为分解操作会产生较小的内存占用空间(我认为squared_differencesquared_difference可以更好地处理)。

收藏
评论

您可以使用一些线性代数将其转换为矩阵运算。请注意,您需要矩阵D ,其中a[i]是原始矩阵的第i行,

D[i,j] = (a[i]-a[j])(a[i]-a[j])'

您可以将其重写为

D[i,j] = r[i] - 2 a[i]a[j]' + r[j]

其中r[i]是原始矩阵的第i行的平方范数。

在支持标准广播规则的系统中,您可以将r视为列向量,并将D写入为

D = r - 2 A A' + r'

在TensorFlow中,您可以将其写为

A = tf.constant([[1, 1], [2, 2], [3, 3]])
r = tf.reduce_sum(A*A, 1)

# turn r into column vector
r = tf.reshape(r, [-1, 1])
D = r - 2*tf.matmul(A, tf.transpose(A)) + tf.transpose(r)
sess = tf.Session()
sess.run(D)

结果

array([[0, 2, 8],
       [2, 0, 2],
       [8, 2, 0]], dtype=int32)
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号