在设备上训练声音分类器

Question

我试图在iOS设备上训练一个CoreML音频分类器，与一些相关的学习资源相比，我遇到了困难。这个音频分类器用于确定一段音乐片段是否与其他歌曲集合相似。因此，分类器的输出只是一个标签，要么是“匹配”，要么是“不匹配”。

使用CreateML应用程序工作流程进行训练非常简单。我只是试图在iOS设备上获得相同类型的训练，但据我所知（如果我错了，请纠正我），iOS不支持CreateML。

我一直在尝试从各种来源中调整代码，以使其在iOS playground中运行。我只能找到关于训练图像分类器的资源，其中以下两个最有帮助 (1, 2)。

请参见我到目前为止想出来的代码如下：

import UIKit
import CoreML

func convertDataToArray<T>(count: Int, data: Data) -> [T] {
    let array = data.withUnsafeBytes { (pointer: UnsafePointer<T>) -> [T] in
        let buffer = UnsafeBufferPointer(start: pointer, count: count / MemoryLayout<Float32>.size)
        return Array<T>(buffer)
    }
    return array
}

// Get files (names and paths) in directory
public func getAllFilesInDirectory(bundle: Bundle, directory: String, extensionWanted: String) -> (names: [String], paths: [URL]) {
    let cachesURL = URL(fileURLWithPath: "/Users/...../Playgrounds/MLPlayground.playground/Resources")
    let directoryURL = cachesURL.appendingPathComponent(directory)

    do {
        try FileManager.default.createDirectory(atPath: directoryURL.relativePath, withIntermediateDirectories: true)
        
        // Get the directory contents urls (including subfolders urls)
        let directoryContents = try FileManager.default.contentsOfDirectory(at: directoryURL, includingPropertiesForKeys: nil, options: [])

        // Filter the directory contents
        let filesPath = directoryContents.filter{ $0.pathExtension == extensionWanted }
        let fileNames = filesPath.map{ $0.deletingPathExtension().lastPathComponent }

        return (names: fileNames, paths: filesPath);

    } catch {
        print("Failed to fetch contents of directory: \(error.localizedDescription)")
    }

    return (names: [], paths: [])
}


let bundle = Bundle.main
var featureProviders = [MLFeatureProvider]()

let matchDir = getAllFilesInDirectory(bundle: bundle, directory: "Match", extensionWanted: "m4a")
let noMatchDir = getAllFilesInDirectory(bundle: bundle, directory: "No Match", extensionWanted: "m4a")


// I have ommited the full path directories for Stack Overflow
try! MLModel.compileModel(at: URL(fileURLWithPath: "/Users/...../Playgrounds/MLPlayground.playground/Resources/UpdateableML.mlmodel"))

let modelDir = URL(fileURLWithPath: "/Users/....../Playgrounds/MLPlayground.playground/Resources/UpdateableML.mlmodel")
let outputDir = URL(fileURLWithPath: "/Users/....../Playgrounds/MLPlayground.playground/Resources/Output/outputmodel.mlmodel")




func getFeatureProvider(forLabel: String, directory: URL) {
    let data = try! Data(contentsOf: directory.appendingPathComponent("\(forLabel).m4a"))
    
    // MultiArray (Float32 15600)
    let mlInputData = try! MLMultiArray(shape: [15600], dataType: .float32)
    
    let songDataArray: [Float32] = convertDataToArray(count: data.count, data: data)
    let count = songDataArray.count

    for i in 0..<mlInputData.count {
        mlInputData[i] = NSNumber(value: songDataArray[i])
    }
    
    let soundValue = MLFeatureValue(multiArray: mlInputData)
    let outputValue = MLFeatureValue(string: forLabel)
    
    let dataPointFeatures: [String: MLFeatureValue] = ["audioSamples": soundValue, "classLabel": outputValue]
    
    if let provider = try? MLDictionaryFeatureProvider(dictionary: dataPointFeatures) {
        featureProviders.append(provider)
    } else {
        print("Failed to get provider")
    }
}


// Get features
for s in matchDir.names {
    getFeatureProvider(forLabel: s, directory: matchDir.paths.first!.deletingLastPathComponent())
}
for s in noMatchDir.names {
    getFeatureProvider(forLabel: s, directory: noMatchDir.paths.first!.deletingLastPathComponent())
}



var batchProvider = MLArrayBatchProvider(array: featureProviders)




func updateModel(at url: URL, with trainingData: MLBatchProvider, completionHandler: @escaping (MLUpdateContext) -> Void) {
    let updateTask = try! MLUpdateTask(
        forModelAt: url,
        trainingData: trainingData,
        configuration: nil,
        completionHandler: completionHandler
    )
    updateTask.resume()
}



func saveUpdatedModel(_ updateContext: MLUpdateContext) {
    let updatedModel = updateContext.model
    let fileManager = FileManager.default
    do {
        try fileManager.createDirectory(
            at: outputDir,
            withIntermediateDirectories: true,
            attributes: nil)
        
        try updatedModel.write(to: outputDir)
        print("Updated model saved to:\n\t\(outputDir)")
    } catch let error {
        print("Could not save updated model to the file system: \(error)")
        return
    }
}



func updateWith(trainingData: MLBatchProvider, completionHandler: @escaping () -> Void) {
    updateModel(at: modelDir, with: trainingData) { context in
        print("Update Complete")
        saveUpdatedModel(context)
        completionHandler()
    }
}


updateWith(trainingData: batchProvider, completionHandler: {
    print("Final Complete")
})

我目前有两个问题：

• 在 MLUpdateTask 函数 'updateModel' 中，我收到以下错误：

致命错误：'try！' 表达式意外引发错误：Error Domain=com.apple.CoreML Code=0 "无法加载文件 file:///Users/....../Playgrounds/CuratorMLPlayground.playground/Resources/UpdateableML.mlmodel: Error opening file stream: /Users/....../Playgrounds/CuratorMLPlayground.playground/Resources/UpdateableML.mlmodel/coremldata.bin: unspecified iostream_category error"

• 在函数 'getFeatureProvider' 中，我不确定是否正确获取了音频数据，因为 'songDataArray' 的大小约为 260000，但模型/'mlInputData' 的形状是 15600？ 请问有人能解释一下吗。

更新: 我已将此复制到我的 iOS 应用程序项目中。现在，在上述错误的位置上出现了以下错误。

Fatal error: 'try!' expression unexpectedly raised an error: Error Domain=com.apple.CoreML Code=0 "Invalid URL for .mlmodel." UserInfo={NSLocalizedDescription=Invalid URL for .mlmodel.}:

然而，我几乎可以确定该URL正确地指向了mlmodel

- Brandon Kynoch

---

你说得对，Create ML 在 iOS 上不能使用。我已经撰写了一系列关于如何使用 Core ML 进行设备内训练的博客文章：https://machinethink.net/blog/coreml-training-part1/ 请注意，这可能实际上无法从 Playground 中运行。 - Matthijs Hollemans

@MatthijsHollemans 谢谢分享，这篇文章看起来非常详细和精美！我正在忙着阅读它，真希望早些时候就能发现它。 - Brandon Kynoch

Answer 1

我已经成功解决了与mlUpdate任务相关的错误，问题在于我引用的是.mlmodel而不是已编译的版本，即.mlmodelc。在从Xcode构建iOS应用程序时，该文件会自动生成。

现在我得到了以下错误：

Fatal error: 'try!' expression unexpectedly raised an error: Error Domain=com.apple.CoreML Code=6 "Pipeline is not marked as updatable to perform update." UserInfo={NSLocalizedDescription=Pipeline is not marked as updatable to perform update.}:

因此，我可以得出结论，现在只是构建更好的模型的问题。我假设如果我有一个合适的模型，那么在设备上更新/个性化代码将起作用。

因此，现在只是构建适用于这里的模型的问题。多亏了Matthjis提供的另一个答案，我现在意识到我在CreateML中制作的模型不能被更新，因为它是一个GLM分类器。

我认为我也已经发现了在Swift中加载音频数据的正确方法，多亏了这个Git Repo。

- Brandon Kynoch