我正在尝试在Unity项目中使用Tensorflowsharp。
我遇到的问题是,通常情况下你需要使用第二个图形将输入转换为张量,但所使用的DecodeJpg和DecodePng函数在Android上不受支持,那么如何将该输入转换为张量呢?
private static void ConstructGraphToNormalizeImage(out TFGraph graph, out TFOutput input, out TFOutput output, TFDataType destinationDataType = TFDataType.Float)
{
const int W = 224;
const int H = 224;
const float Mean = 117;
const float Scale = 1;
graph = new TFGraph();
input = graph.Placeholder(TFDataType.String);
output = graph.Cast(graph.Div(
x: graph.Sub(
x: graph.ResizeBilinear(
images: graph.ExpandDims(
input: graph.Cast(
graph.DecodeJpeg(contents: input, channels: 3), DstT: TFDataType.Float),
dim: graph.Const(0, "make_batch")),
size: graph.Const(new int[] { W, H }, "size")),
y: graph.Const(Mean, "mean")),
y: graph.Const(Scale, "scale")), destinationDataType);
}
其他解决方案似乎会产生不准确的结果。
也许可以用Mat对象来实现?
我的编辑:
我在Unity中使用C#实现了类似的功能,部分工作正常。但是它根本不准确。我该如何找到平均值?而且我找不到关于RGB顺序的任何信息。我对此非常陌生,也许我只是忽略了它。(在Tensorflow.org上)使用在1.4中训练的MobileNet。
public TFTensor transformInput(Color32[] pic, int texturewidth, int textureheight)
{
const int W = 224;
const int H = 224;
const float imageMean = 128;
const float imageStd = 128;
float[] floatValues = new float[texturewidth * textureheight * 3];
for (int i = 0; i < pic.Length; ++i)
{
var color = pic[i];
var index = i * 3;
floatValues[index] = (color.r - imageMean) / imageStd;
floatValues[index + 1] = (color.g - imageMean) / imageStd;
floatValues[index + 2] = (color.b - imageMean) / imageStd;
}
TFShape shape = new TFShape(1, W, H, 3);
return TFTensor.FromBuffer(shape, floatValues, 0, floatValues.Length);
}