图像的分割与修复

图像分割的基本概念

什么是图像分割：将前景物体从背景中分离出来

图像分割的方法：腐蚀、膨胀

传统的图像分割方法

分水岭

Image title — 分水岭法原理：图像是有梯度的，对于低洼处使用别的颜色进行灌水，当水即将要打通的时候，在交汇处设定一个点(边界)，所以这就将不同的区域分割开了

分水岭法则的问题
- 图像存在过多极小区域时，会产生许多小的积水盆
分水岭法的处理步骤
1. 标记背景
2. 标记前景
3. 标记未知域
4. 进行分割

分水岭API：watershed(img, masker)

img: 图像源
masker: 包括前景标记、背景标记、未知标记，以不同的值区分他们
获取背景

中间黑色周边白色，黑色背景

当获取到前景

背景减去前景等于未知区域

import cv2
import numpy as np
from matplotlib import pyplot as plt

#获取背景 
# 1. 通过二值法得到黑白图片
# 2. 通过形态学获取背景

img = cv2.imread('water_coins.jpeg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

ret, thresh =cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)

#开运算
kernel = np.ones((3,3), np.int8)
open1 = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations = 2)

#膨胀
bg = cv2.dilate(open1, kernel, iterations = 1)

#获取前景物体
dist = cv2.distanceTransform(open1, cv2.DIST_L2, 5)

ret, fg = cv2.threshold(dist,0.7*dist.max(), 255, cv2.THRESH_BINARY)

# plt.imshow(dist, cmap='gray')
# plt.show()
# exit()

#获取未知区域
fg = np.uint8(fg)
unknow = cv2.subtract(bg, fg)

#创建连通域
ret, marker = cv2.connectedComponents(fg)

marker = marker + 1
marker[unknow==255] = 0

#进行图像分割
result = cv2.watershed(img, marker)

img[result == -1] = [0, 0, 255]

cv2.imshow("img", img)
cv2.imshow("unknow", unknow)
cv2.imshow("fg", fg)
cv2.imshow("bg", bg)
cv2.imshow("thresh", thresh)
cv2.waitKey()

GrabCut：通过交互的方式获得前景物体

原理
- 用户指定前景的大体区域，剩下的为背景区域
- 用户还可以明确指定某些地方为前景或背景
- 采用分段迭代的方法分析前景物体形成像素模型树
- 最后根据权重决定某个像素是前景还是背景

效果

import cv2
import numpy as np

class App:

    flag_rect = False
    rect=(0, 0, 0, 0)
    startX = 0
    startY = 0

    def onmouse(self, event, x, y, flags, param):

        if event == cv2.EVENT_LBUTTONDOWN:
            self.flag_rect = True
            self.startX = x
            self.startY = y
            print("LBUTTIONDOWN")
        elif event == cv2.EVENT_LBUTTONUP:
            self.flag_rect = False
            cv2.rectangle(self.img, 
                            (self.startX, self.startY),
                            (x, y),
                            (0, 0, 255), 
                            3)
            self.rect = (min(self.startX, x), min(self.startY, y), 
                        abs(self.startX - x), 
                        abs(self.startY -y))

            print("LBUTTIONUP")
        elif event == cv2.EVENT_MOUSEMOVE:
            if self.flag_rect == True:
                self.img = self.img2.copy()
                cv2.rectangle(self.img, 
                                (self.startX, self.startY),
                                (x, y),
                                (255, 0, 0), 
                                3)
            print("MOUSEMOVE")  

        print("onmouse")

    def run(self):
        print("run...")

        cv2.namedWindow('input')
        cv2.setMouseCallback('input', self.onmouse)

        self.img = cv2.imread('./lena.png')
        self.img2 = self.img.copy()
        self.mask = np.zeros(self.img.shape[:2], dtype=np.uint8)
        self.output = np.zeros(self.img.shape, np.uint8)

        while(1):
            cv2.imshow('input', self.img)
            cv2.imshow('output', self.output)
            k = cv2.waitKey(100)
            if k == 27:
                break

            if k == ord('g'):
                bgdmodel = np.zeros((1, 65), np.float64)
                fgdmodel = np.zeros((1, 65), np.float64)
                cv2.grabCut(self.img2, self.mask, self.rect,
                            bgdmodel, fgdmodel,
                            1, 
                            cv2.GC_INIT_WITH_RECT)
            mask2 = np.where((self.mask==1)|(self.mask==3), 255, 0).astype('uint8')
            self.output = cv2.bitwise_and(self.img2, self.img2, mask=mask2)   

App().run()

MeanShift法与背景扣除

原理
- 严格来说该方法并不是用来对图像进行分割的，而是在色彩层面的平滑滤波
- 它会中和色彩分布相近的颜色，平滑色彩细节，腐蚀掉面积较小的颜色区域
- 它以图像上任意一点P为圆心，半径为sp，色彩幅值为sr进行不断的迭代
效果
API：pyrMeanShiftFiltering(img, double sp, double sr)
1. img: 图像
2. sp: 半径，值越大越模糊
3. sr: 色彩变化幅值，过大会色彩连成一片区域

import cv2
import numpy as np

img = cv2.imread('k.png')

mean_img = cv2.pyrMeanShiftFiltering(img, 20, 30)

imgcanny = cv2.Canny(mean_img, 150, 300)

contours, _ = cv2.findContours(imgcanny, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

cv2.drawContours(img, contours, -1, (0, 0, 255), 2)

cv2.imshow('img', img)
cv2.imshow('mean_img', mean_img)
cv2.imshow('canny', imgcanny)
cv2.waitKey()

基于深度学习的图像分割方法

视频前后景分离

原理
- 视频是一组连续的帧（一幅幅图组成）
- 帧与帧之间关系密切（GOP-GroupOfPicture)
- 在GOP中，背景几乎是不变的

MOG去背景

混合高斯模型为基础的前景/背景分割算法

createBackgroundSubtractorMOG(...)

history: 参考帧（默认200毫秒）
nmixtures: 高斯范围值，默认5
backgroundRatio: 背景比率，默认0.7

noiseSigma: 默认0，自动降噪

import cv2
import numpy as np

cap = cv2.VideoCapture('./vtest.avi')
mog = cv2.bgsegm.createBackgroundSubtractorMOG()

while(True):
    ret, frame = cap.read()
    fgmask = mog.apply(frame)

    cv2.imshow('img',fgmask)

    k = cv2.waitKey(10) 
    if k ==27:
        break

cap.release()
cv2.destroyAllWindows()

其它对视频前后影分离的方法

MOG2去背景
- 同MOG类似，不过对亮度产生的影音有更好的识别
- 会产生较多的噪点
- createBackgroundSubtractorMOG2(...)
GMG去背景
- 静态背景图像估计和每个像素的贝叶斯分割抗噪性更强
- createBackgroundSubtractorGMG(...)
  - initializationFrames: 初始帧数，120

图像修复

API：inpaint(img, mask, inpaintRadius, flags)
1. img: 图像
2. mask:
3. inpaintRadius: 每个点的圆形邻域半径
4. flags: INPAINT_NS，INPAINT_TELEA

import cv2
import numpy as np

img = cv2.imread('inpaint.png')
mask = cv2.imread('inpaint_mask.png', 0)

dst = cv2.inpaint(img, mask, 5, cv2.INPAINT_TELEA)

cv2.imshow('dst', dst)
cv2.imshow('img', img)

cv2.waitKey()