Use float32 to reduce memory footprint.
[master-thesis.git] / Parasitemia / Parasitemia / ImgTools.fs
index 2f021c8..f64b1c3 100644 (file)
@@ -8,17 +8,163 @@ open System.Linq
 open Emgu.CV
 open Emgu.CV.Structure
 
-open Utils
 open Heap
+open Const
+open Utils
 
 // Normalize image values between 0uy and 255uy.
-let normalizeAndConvert (img: Image<Gray, float32>) : Image<Gray, byte> =
+let normalizeAndConvert (img: Image<Gray, 'TDepth>) : Image<Gray, byte> =
     let min = ref [| 0.0 |]
     let minLocation = ref <| [| Point() |]
     let max = ref [| 0.0 |]
     let maxLocation = ref <| [| Point() |]
     img.MinMax(min, max, minLocation, maxLocation)
-    ((img - (!min).[0]) / ((!max).[0] - (!min).[0]) * 255.0).Convert<Gray, byte>()
+    ((img.Convert<Gray, float32>() - (!min).[0]) / ((!max).[0] - (!min).[0]) * 255.0).Convert<Gray, byte>()
+
+
+let saveImg (img: Image<'TColor, 'TDepth>) (filepath: string) =
+    img.Save(filepath)
+
+
+let saveMat (mat: Matrix<'TDepth>) (filepath: string) =
+    use img = new Image<Gray, 'TDeph>(mat.Size)
+    mat.CopyTo(img)
+    saveImg img filepath
+
+
+let suppressMConnections (img: Matrix<byte>) =
+    let w = img.Width
+    let h = img.Height
+    for i in 1 .. h - 2 do
+        for j in 1 .. w - 2 do
+            if img.[i, j] > 0uy && img.Data.[i + 1, j] > 0uy && (img.Data.[i, j - 1] > 0uy && img.Data.[i - 1, j + 1] = 0uy || img.Data.[i, j + 1] > 0uy && img.Data.[i - 1, j - 1] = 0uy)
+            then
+                img.[i, j] <- 0uy
+    for i in 1 .. h - 2 do
+        for j in 1 .. w - 2 do
+            if img.[i, j] > 0uy && img.Data.[i - 1, j] > 0uy && (img.Data.[i, j - 1] > 0uy && img.Data.[i + 1, j + 1] = 0uy || img.Data.[i, j + 1] > 0uy && img.Data.[i + 1, j - 1] = 0uy)
+            then
+                img.[i, j] <- 0uy
+
+
+let findEdges (img: Image<Gray, float32>) : Matrix<byte> * Image<Gray, float32> * Image<Gray, float32> =
+    let w = img.Width
+    let h = img.Height
+
+    use sobelKernel =
+        new ConvolutionKernelF(array2D [[ 1.0f; 0.0f; -1.0f ]
+                                        [ 2.0f; 0.0f; -2.0f ]
+                                        [ 1.0f; 0.0f; -1.0f ]], Point(1, 1))
+
+    let xGradient = img.Convolution(sobelKernel)
+    let yGradient = img.Convolution(sobelKernel.Transpose())
+
+    let xGradientData = xGradient.Data
+    let yGradientData = yGradient.Data
+    for r in 0 .. h - 1 do
+        xGradientData.[r, 0, 0] <- 0.f
+        xGradientData.[r, w - 1, 0] <- 0.f
+        yGradientData.[r, 0, 0] <- 0.f
+        yGradientData.[r, w - 1, 0] <- 0.f
+
+    for c in 0 .. w - 1 do
+        xGradientData.[0, c, 0] <- 0.f
+        xGradientData.[h - 1, c, 0] <- 0.f
+        yGradientData.[0, c, 0] <- 0.f
+        yGradientData.[h - 1, c, 0] <- 0.f
+
+    use magnitudes = new Matrix<float32>(xGradient.Size)
+    use angles = new Matrix<float32>(xGradient.Size)
+    CvInvoke.CartToPolar(xGradient, yGradient, magnitudes, angles) // Compute the magnitudes (without angles).
+
+    let thresholdHigh, thresholdLow =
+        let sensibilityHigh = 0.1f
+        let sensibilityLow = 0.1f
+        use magnitudesByte = magnitudes.Convert<byte>()
+        let threshold = float32 <| CvInvoke.Threshold(magnitudesByte, magnitudesByte, 0.0, 1.0, CvEnum.ThresholdType.Otsu ||| CvEnum.ThresholdType.Binary)
+        threshold + (sensibilityHigh * threshold), threshold - (sensibilityLow * threshold)
+
+    // Non-maximum suppression.
+    use nms = new Matrix<byte>(xGradient.Size)
+
+    let nmsData = nms.Data
+    let anglesData = angles.Data
+    let magnitudesData = magnitudes.Data
+    let xGradientData = xGradient.Data
+    let yGradientData = yGradient.Data
+
+    let PI = float32 Math.PI
+
+    for i in 0 .. h - 1 do
+        nmsData.[i, 0] <- 0uy
+        nmsData.[i, w - 1] <- 0uy
+
+    for j in 0 .. w - 1 do
+        nmsData.[0, j] <- 0uy
+        nmsData.[h - 1, j] <- 0uy
+
+    for i in 1 .. h - 2 do
+        for j in 1 .. w - 2 do
+            let vx = xGradientData.[i, j, 0]
+            let vy = yGradientData.[i, j, 0]
+            if vx <> 0.f || vy <> 0.f
+            then
+                let angle = anglesData.[i, j]
+
+                let vx', vy' = abs vx, abs vy
+                let ratio2 = if vx' > vy' then vy' / vx' else vx' / vy'
+                let ratio1 = 1.f - ratio2
+
+                let mNeigbors (sign: int) : float32 =
+                    if angle < PI / 4.f
+                    then ratio1 * magnitudesData.[i, j + sign] + ratio2 * magnitudesData.[i + sign, j + sign]
+                    elif angle < PI / 2.f
+                    then ratio2 * magnitudesData.[i + sign, j + sign] + ratio1 * magnitudesData.[i + sign, j]
+                    elif angle < 3.f * PI / 4.f
+                    then ratio1 * magnitudesData.[i + sign, j] + ratio2 * magnitudesData.[i + sign, j - sign]
+                    elif angle < PI
+                    then ratio2 * magnitudesData.[i + sign, j - sign] + ratio1 * magnitudesData.[i, j - sign]
+                    elif angle < 5.f * PI / 4.f
+                    then ratio1 * magnitudesData.[i, j - sign] + ratio2 * magnitudesData.[i - sign, j - sign]
+                    elif angle < 3.f * PI / 2.f
+                    then ratio2 * magnitudesData.[i - sign, j - sign] + ratio1 * magnitudesData.[i - sign, j]
+                    elif angle < 7.f * PI / 4.f
+                    then ratio1 * magnitudesData.[i - sign, j] + ratio2 * magnitudesData.[i - sign, j + sign]
+                    else ratio2 * magnitudesData.[i - sign, j + sign] + ratio1 * magnitudesData.[i, j + sign]
+
+                let m = magnitudesData.[i, j]
+                if m >= thresholdLow && m > mNeigbors 1 && m > mNeigbors -1
+                then
+                    nmsData.[i, j] <- 1uy
+
+    // suppressMConnections nms // It's not helpful for the rest of the process (ellipse detection).
+
+    let edges = new Matrix<byte>(xGradient.Size)
+    let edgesData = edges.Data
+
+    // Hysteresis thresholding.
+    let toVisit = Stack<Point>()
+    for i in 0 .. h - 1 do
+        for j in 0 .. w - 1 do
+            if nmsData.[i, j] = 1uy && magnitudesData.[i, j] >= thresholdHigh
+            then
+                nmsData.[i, j] <- 0uy
+                toVisit.Push(Point(j, i))
+                while toVisit.Count > 0 do
+                    let p = toVisit.Pop()
+                    edgesData.[p.Y, p.X] <- 1uy
+                    for i' in -1 .. 1  do
+                        for j' in -1 .. 1 do
+                            if i' <> 0 || j' <> 0
+                            then
+                                let ni = p.Y + i'
+                                let nj = p.X + j'
+                                if ni >= 0 && ni < h && nj >= 0 && nj < w && nmsData.[ni, nj] = 1uy
+                                then
+                                    nmsData.[ni, nj] <- 0uy
+                                    toVisit.Push(Point(nj, ni))
+
+    edges, xGradient, yGradient
 
 
 let gaussianFilter (img : Image<'TColor, 'TDepth>) (standardDeviation : float) : Image<'TColor, 'TDepth> =
@@ -28,16 +174,15 @@ let gaussianFilter (img : Image<'TColor, 'TDepth>) (standardDeviation : float) :
 
 type Points = HashSet<Point>
 
-let drawPoints (img: Image<Gray, byte>) (points: Points) (intensity: byte) =
+let drawPoints (img: Image<Gray, 'TDepth>) (points: Points) (intensity: 'TDepth) =
     for p in points do
         img.Data.[p.Y, p.X, 0] <- intensity
 
-
 type ExtremumType =
     | Maxima = 1
     | Minima = 2
 
-let findExtremum (img: Image<Gray, byte>) (extremumType: ExtremumType) : IEnumerable<Points> =
+let findExtremum (img: Image<Gray, 'TDepth>) (extremumType: ExtremumType) : IEnumerable<Points> =
     let w = img.Width
     let h = img.Height
     let se = [| -1, 0; 0, -1; 1, 0; 0, 1 |]
@@ -102,10 +247,11 @@ let findExtremum (img: Image<Gray, byte>) (extremumType: ExtremumType) : IEnumer
     result.Select(fun l -> Points(l))
 
 
-let findMaxima (img: Image<Gray, byte>) : IEnumerable<Points> =
+let findMaxima (img: Image<Gray, 'TDepth>) : IEnumerable<Points> =
     findExtremum img ExtremumType.Maxima
 
-let findMinima (img: Image<Gray, byte>) : IEnumerable<Points> =
+
+let findMinima (img: Image<Gray, 'TDepth>) : IEnumerable<Points> =
     findExtremum img ExtremumType.Minima
 
 
@@ -356,6 +502,118 @@ let areaOpen (img: Image<Gray, byte>) (area: int) =
 let areaClose (img: Image<Gray, byte>) (area: int) =
     areaOperation img area AreaOperation.Closing
 
+[<AllowNullLiteral>]
+type Island (cmp: IComparer<float32>) =
+    member val Shore = Heap.Heap<float32, Point>(cmp) with get
+    member val Level = 0.f with get, set
+    member val Surface = 0 with get, set
+
+
+let private areaOperationF (img: Image<Gray, float32>) (area: int) (op: AreaOperation) =
+    let w = img.Width
+    let h = img.Height
+    let earth = img.Data
+    let se = [| -1, 0; 0, -1; 1, 0; 0, 1 |]
+
+    let comparer = if op = AreaOperation.Opening
+                   then { new IComparer<float32> with member this.Compare(v1, v2) = v1.CompareTo(v2) }
+                   else { new IComparer<float32> with member this.Compare(v1, v2) = v2.CompareTo(v1) }
+
+    let ownership: Island[,] = Array2D.create h w null
+
+    // Initialize islands with their shore.
+    let islands = List<Island>()
+    let extremum = img |> if op = AreaOperation.Opening then findMaxima else findMinima
+    for e in extremum do
+        let island =
+            let p = e.First()
+            Island(comparer, Level = earth.[p.Y, p.X, 0], Surface = e.Count)
+        islands.Add(island)
+        let shorePoints = Points()
+        for p in e do
+            ownership.[p.Y, p.X] <- island
+            for i, j in se do
+                let ni = i + p.Y
+                let nj = j + p.X
+                let neighbor = Point(nj, ni)
+                if ni >= 0 && ni < h && nj >= 0 && nj < w && ownership.[ni, nj] = null && not (shorePoints.Contains(neighbor))
+                then
+                    shorePoints.Add(neighbor) |> ignore
+                    island.Shore.Add earth.[ni, nj, 0] neighbor
+
+    for island in islands do
+        let mutable stop = island.Shore.IsEmpty
+
+        // 'true' if 'p' is owned or adjacent to 'island'.
+        let ownedOrAdjacent (p: Point) : bool =
+            ownership.[p.Y, p.X] = island ||
+            (p.Y > 0 && ownership.[p.Y - 1, p.X] = island) ||
+            (p.Y < h - 1 && ownership.[p.Y + 1, p.X] = island) ||
+            (p.X > 0 && ownership.[p.Y, p.X - 1] = island) ||
+            (p.X < w - 1 && ownership.[p.Y, p.X + 1] = island)
+
+        while not stop && island.Surface < area do
+            let level, next = island.Shore.Max
+            let other = ownership.[next.Y, next.X]
+            if other = island // During merging, some points on the shore may be owned by the island itself -> ignored.
+            then
+                island.Shore.RemoveNext ()
+            else
+                if other <> null
+                then // We touching another island.
+                    if island.Surface + other.Surface >= area
+                    then
+                        stop <- true
+                    else // We can merge 'other' into 'surface'.
+                        island.Surface <- island.Surface + other.Surface
+                        island.Level <- if comparer.Compare(island.Level, other.Level) > 0 then island.Level else other.Level
+                        for l, p in other.Shore do
+                            let mutable currentY = p.Y + 1
+                            while currentY < h && ownership.[currentY, p.X] = other do
+                                ownership.[currentY, p.X] <- island
+                                currentY <- currentY + 1
+                            island.Shore.Add l p
+                        other.Shore.Clear()
+
+                elif comparer.Compare(level, island.Level) > 0
+                then
+                    stop <- true
+                else
+                    island.Shore.RemoveNext ()
+                    for i, j in se do
+                        let ni = i + next.Y
+                        let nj = j + next.X
+                        if ni < 0 || ni >= h || nj < 0 || nj >= w
+                        then
+                            island.Surface <- Int32.MaxValue
+                            stop <- true
+                        else
+                            let neighbor = Point(nj, ni)
+                            if not <| ownedOrAdjacent neighbor
+                            then
+                                island.Shore.Add earth.[ni, nj, 0] neighbor
+                    if not stop
+                    then
+                        ownership.[next.Y, next.X] <- island
+                        island.Level <- level
+                        island.Surface <- island.Surface + 1
+
+    for i in 0 .. h - 1 do
+        for j in 0 .. w - 1 do
+            let island = ownership.[i, j]
+            if island <> null
+            then
+                earth.[i, j, 0] <- island.Level
+    ()
+
+
+let areaOpenF (img: Image<Gray, float32>) (area: int) =
+    areaOperationF img area AreaOperation.Opening
+
+let areaCloseF (img: Image<Gray, float32>) (area: int) =
+    areaOperationF img area AreaOperation.Closing
+
+// A simpler algorithm than 'areaOpen' but slower.
 let areaOpen2 (img: Image<Gray, byte>) (area: int) =
     let w = img.Width
     let h = img.Height
@@ -462,12 +720,6 @@ let thin (mat: Matrix<byte>) =
         data2 <- tmp
 
 
-// FIXME: replace by a queue or stack.
-let pop (l: List<'a>) : 'a =
-    let n = l.[l.Count - 1]
-    l.RemoveAt(l.Count - 1)
-    n
-
 // Remove all 8-connected pixels with an area equal or greater than 'areaSize'.
 // Modify 'mat' in place.
 let removeArea (mat: Matrix<byte>) (areaSize: int) =
@@ -481,7 +733,7 @@ let removeArea (mat: Matrix<byte>) (areaSize: int) =
         ( 0, -1) // p8
         (-1, -1) |] // p9
 
-    let mat' = new Matrix<byte>(mat.Size)
+    use mat' = new Matrix<byte>(mat.Size)
     let w = mat'.Width
     let h = mat'.Height
     mat.CopyTo(mat')
@@ -493,37 +745,37 @@ let removeArea (mat: Matrix<byte>) (areaSize: int) =
         for j in 0..w-1 do
             if data'.[i, j] = 1uy
             then
-                let neighborhood = List<(int*int)>()
-                let neighborsToCheck = List<(int*int)>()
-                neighborsToCheck.Add((i, j))
+                let neighborhood = List<Point>()
+                let neighborsToCheck = Stack<Point>()
+                neighborsToCheck.Push(Point(j, i))
                 data'.[i, j] <- 0uy
 
                 while neighborsToCheck.Count > 0 do
-                    let (ci, cj) = pop neighborsToCheck
-                    neighborhood.Add((ci, cj))
+                    let n = neighborsToCheck.Pop()
+                    neighborhood.Add(n)
                     for (ni, nj) in neighbors do
-                        let pi = ci + ni
-                        let pj = cj + nj
+                        let pi = n.Y + ni
+                        let pj = n.X + nj
                         if pi >= 0 && pi < h && pj >= 0 && pj < w && data'.[pi, pj] = 1uy
                         then
-                            neighborsToCheck.Add((pi, pj))
+                            neighborsToCheck.Push(Point(pj, pi))
                             data'.[pi, pj] <- 0uy
                 if neighborhood.Count <= areaSize
                 then
-                    for (ni, nj) in neighborhood do
-                        data.[ni, nj] <- 0uy
+                    for n in neighborhood do
+                        data.[n.Y, n.X] <- 0uy
 
 let connectedComponents (img: Image<Gray, byte>) (startPoints: List<Point>) : List<Point> =
     let w = img.Width
     let h = img.Height
 
     let pointChecked = Points()
-    let pointToCheck = List<Point>(startPoints);
+    let pointToCheck = Stack<Point>(startPoints);
 
     let data = img.Data
 
     while pointToCheck.Count > 0 do
-        let next = pop pointToCheck
+        let next = pointToCheck.Pop()
         pointChecked.Add(next) |> ignore
         for ny in -1 .. 1 do
             for nx in -1 .. 1 do
@@ -532,45 +784,38 @@ let connectedComponents (img: Image<Gray, byte>) (startPoints: List<Point>) : Li
                     let p = Point(next.X + nx, next.Y + ny)
                     if p.X >= 0 && p.X < w && p.Y >= 0 && p.Y < h && data.[p.Y, p.X, 0] > 0uy && not (pointChecked.Contains p)
                     then
-                        pointToCheck.Add(p)
+                        pointToCheck.Push(p)
 
     List<Point>(pointChecked)
 
 
-let saveImg (img: Image<'TColor, 'TDepth>) (filepath: string) =
-    img.Save(filepath)
-
-
-let saveMat (mat: Matrix<'TDepth>) (filepath: string) =
-    use img = new Image<Gray, 'TDeph>(mat.Size)
-    mat.CopyTo(img)
-    saveImg img filepath
-
 let drawLine (img: Image<'TColor, 'TDepth>) (color: 'TColor) (x0: int) (y0: int) (x1: int) (y1: int) (thickness: int) =
     img.Draw(LineSegment2D(Point(x0, y0), Point(x1, y1)), color, thickness);
 
+
 let drawLineF (img: Image<'TColor, 'TDepth>) (color: 'TColor) (x0: float) (y0: float) (x1: float) (y1: float) (thickness: int) =
     img.Draw(LineSegment2DF(PointF(float32 x0, float32 y0), PointF(float32 x1, float32 y1)), color, thickness, CvEnum.LineType.AntiAlias);
 
+
 let drawEllipse (img: Image<'TColor, 'TDepth>) (e: Types.Ellipse) (color: 'TColor) (alpha: float) =
 
     if alpha >= 1.0
     then
-        img.Draw(Ellipse(PointF(float32 e.Cx, float32 e.Cy), SizeF(2. * e.B |> float32, 2. * e.A |> float32), float32 <| e.Alpha / Math.PI * 180.), color, 1, CvEnum.LineType.AntiAlias)
+        img.Draw(Ellipse(PointF(float32 e.Cx, float32 e.Cy), SizeF(2.f * e.B, 2.f * e.A), e.Alpha / PI * 180.f), color, 1, CvEnum.LineType.AntiAlias)
     else
-        let windowPosX = e.Cx - e.A - 5.0
-        let gapX = windowPosX - (float (int windowPosX))
+        let windowPosX = e.Cx - e.A - 5.f
+        let gapX = windowPosX - (float32 (int windowPosX))
 
-        let windowPosY = e.Cy - e.A - 5.0
-        let gapY = windowPosY - (float (int windowPosY))
+        let windowPosY = e.Cy - e.A - 5.f
+        let gapY = windowPosY - (float32 (int windowPosY))
 
-        let roi = Rectangle(int windowPosX, int windowPosY, 2. * (e.A + 5.0) |> int, 2.* (e.A + 5.0) |> int)
+        let roi = Rectangle(int windowPosX, int windowPosY, 2.f * (e.A + 5.f) |> int, 2.f * (e.A + 5.f) |> int)
 
         img.ROI <- roi
         if roi = img.ROI // We do not display ellipses touching the edges (FIXME)
         then
             use i = new Image<'TColor, 'TDepth>(img.ROI.Size)
-            i.Draw(Ellipse(PointF(float32 <| (e.A + 5. + gapX) , float32 <| (e.A + 5. + gapY)), SizeF(2. * e.B |> float32, 2. * e.A |> float32), float32 <| e.Alpha / Math.PI * 180.), color, 1, CvEnum.LineType.AntiAlias)
+            i.Draw(Ellipse(PointF(float32 <| (e.A + 5.f + gapX) , float32 <| (e.A + 5.f + gapY)), SizeF(2.f * e.B, 2.f * e.A), e.Alpha / PI * 180.f), color, 1, CvEnum.LineType.AntiAlias)
             CvInvoke.AddWeighted(img, 1.0, i, alpha, 0.0, img)
         img.ROI <- Rectangle.Empty