Swift 4: как создать карту лица с помощью ios11 Vision framework из точек ориентиров на лицах

Я использую платформу видения ios 11, чтобы отображать ориентиры на лице в режиме реального времени. Я могу получить контрольные точки лица и наложить слой камеры на UIBezierPath контрольных точек лица. Однако хотелось бы получить что-то вроде того, что внизу справа. В настоящее время у меня есть что-то похожее на левое изображение, и я пробовал перебирать точки и добавлять средние точки, но я не знаю, как сгенерировать все эти треугольники из точек. Как мне создать карту справа от точек слева?

Я не уверен, что смогу со всеми имеющимися у меня точками, не то чтобы это слишком помогло, но у меня также есть точки из ограничивающей рамки всего лица. Наконец, есть ли какая-либо структура, которая позволила бы мне распознать все, что мне нужно, например openCV или что-то еще, пожалуйста, дайте мне знать. Спасибо!

face_map

Вот код, который я использовал из https://github.com/DroidsOnRoids/VisionFaceDetection:

func detectLandmarks(on image: CIImage) {
    try? faceLandmarksDetectionRequest.perform([faceLandmarks], on: image)
    if let landmarksResults = faceLandmarks.results as? [VNFaceObservation] {

        for observation in landmarksResults {

            DispatchQueue.main.async {
                if let boundingBox = self.faceLandmarks.inputFaceObservations?.first?.boundingBox {
                    let faceBoundingBox = boundingBox.scaled(to: self.view.bounds.size)
                    //different types of landmarks



                    let faceContour = observation.landmarks?.faceContour
                    self.convertPointsForFace(faceContour, faceBoundingBox)

                    let leftEye = observation.landmarks?.leftEye
                    self.convertPointsForFace(leftEye, faceBoundingBox)

                    let rightEye = observation.landmarks?.rightEye
                    self.convertPointsForFace(rightEye, faceBoundingBox)

                    let leftPupil = observation.landmarks?.leftPupil
                    self.convertPointsForFace(leftPupil, faceBoundingBox)

                    let rightPupil = observation.landmarks?.rightPupil
                    self.convertPointsForFace(rightPupil, faceBoundingBox)

                    let nose = observation.landmarks?.nose
                    self.convertPointsForFace(nose, faceBoundingBox)

                    let lips = observation.landmarks?.innerLips
                    self.convertPointsForFace(lips, faceBoundingBox)

                    let leftEyebrow = observation.landmarks?.leftEyebrow
                    self.convertPointsForFace(leftEyebrow, faceBoundingBox)

                    let rightEyebrow = observation.landmarks?.rightEyebrow
                    self.convertPointsForFace(rightEyebrow, faceBoundingBox)

                    let noseCrest = observation.landmarks?.noseCrest
                    self.convertPointsForFace(noseCrest, faceBoundingBox)

                    let outerLips = observation.landmarks?.outerLips
                    self.convertPointsForFace(outerLips, faceBoundingBox)
                }
            }
        }
    }

}

func convertPointsForFace(_ landmark: VNFaceLandmarkRegion2D?, _ boundingBox: CGRect) {
    if let points = landmark?.points, let count = landmark?.pointCount {
        let convertedPoints = convert(points, with: count)



        let faceLandmarkPoints = convertedPoints.map { (point: (x: CGFloat, y: CGFloat)) -> (x: CGFloat, y: CGFloat) in
            let pointX = point.x * boundingBox.width + boundingBox.origin.x
            let pointY = point.y * boundingBox.height + boundingBox.origin.y

            return (x: pointX, y: pointY)
        }

        DispatchQueue.main.async {
            self.draw(points: faceLandmarkPoints)
        }
    }
}


func draw(points: [(x: CGFloat, y: CGFloat)]) {
    let newLayer = CAShapeLayer()
    newLayer.strokeColor = UIColor.blue.cgColor
    newLayer.lineWidth = 4.0

    let path = UIBezierPath()
    path.move(to: CGPoint(x: points[0].x, y: points[0].y))
    for i in 0..<points.count - 1 {
        let point = CGPoint(x: points[i].x, y: points[i].y)
        path.addLine(to: point)
        path.move(to: point)
    }
    path.addLine(to: CGPoint(x: points[0].x, y: points[0].y))
    newLayer.path = path.cgPath

    shapeLayer.addSublayer(newLayer)
}

person Ali    schedule 09.07.2017    source источник
comment
Не хочу показаться легкомысленным, но почему вы думаете, что можете? Просто посмотрев на лоб, вы обнаружите ноль точек (что примерно соответствует моим тестам), и все же вы думаете, что можете восемнадцать треугольников?   -  person dfd    schedule 09.07.2017
comment
@dfd Я обновил свой вопрос, чтобы отразить вашу озабоченность.   -  person Ali    schedule 09.07.2017
comment
В лучшем случае ограничивающая рамка даст вам еще 4 балла. Я играл с деталями лиц из этого GitHub (github.com/artemnovichkov/iOS- 11-by-examples), и на каждом лице с волосами, которые я использую, нет ничего ото лба вверх. Несколько мыслей, которые, вероятно, не сильно помогут: (1) Лучший OpenCV / OpenGL или CoreImage / CoreGraphics, вы могли бы анализировать вещи таким образом, чтобы расшифровать линию волос и / или скулы по цвету. Но здесь много предположений, включая отсутствие челки или длинных волос и правильное освещение. (2) Еще одна возможность - машинное обучение - обучение вашей собственной модели и использование CoreML.   -  person dfd    schedule 10.07.2017
comment
Продолжение CoreML. Я не слишком разбираюсь в машинном обучении, но пробовал себя в этом. Обученная модель, которая может отличать стрижку от волос, очков, волос на лице и т. Д. может быть возможной. Надеюсь, там что-то есть! В противном случае вам может потребоваться работа за вас. Удачи.   -  person dfd    schedule 10.07.2017
comment
@dfd Спасибо за вашу помощь. Я поиграю с разными библиотеками и посмотрю, что дает то, что я ищу.   -  person Ali    schedule 10.07.2017
comment
@Ali ты нашел решение?   -  person Nico    schedule 15.09.2017
comment
@Ali ты нашел какое-нибудь решение для этого случая? Я хочу сделать карту лица, как на изображении справа.   -  person R.AlAli    schedule 18.01.2018
comment
@ R.AlAli см. Мой ответ ниже   -  person Ali    schedule 20.01.2018


Ответы (2)


В итоге я нашел решение, которое работает. Я использовал триангуляцию delaunay через https://github.com/AlexLittlejohn/DelaunaySwift и изменил ее, чтобы она работала. с точками, сгенерированными с помощью запроса на обнаружение ориентира лица фреймворка Vision. Это нелегко объяснить с помощью фрагмента кода, поэтому я связал свое репозиторий github ниже, в котором показано мое решение. Обратите внимание, что это не дает очков ото лба, так как рамка видения получает очки только от бровей вниз.

https://github.com/ahashim1/Face

person Ali    schedule 20.01.2018
comment
У вас есть идеи, почему маска отстает от ввода на пару кадров? Если вы укажете мне правильное направление, я могу поиграть с этим и устроить пиар. - person Aditya Garg; 24.02.2018
comment
@AdityaGarg Я думаю, это потому, что запрос ориентира лица выполняется асинхронно, в то время как треугольники рисуются в основном потоке. Не совсем уверен, как полностью синхронизировать процессы. Удачи - person Ali; 26.02.2018

На изображении справа вам нужна сетка Candide. Вам нужно сопоставить эти точки с сеткой, и все. Я не думаю, что вам нужно идти по маршруту, который обсуждался в комментариях.

P.S Я нашел Candide, просматривая содержимое APK известного приложения с фильтрами (напоминает мне о casper) - у меня еще не было времени попробовать его сам.

person Faraz Hassan    schedule 27.10.2017