آموزش صفر تا صد تشخیص تصویر با محاسبات ماتریسی در سی‌شارپ (بدون کتابخانه)

آموزش صفر تا صد تشخیص تصویر با محاسبات ماتریسی در سی‌شارپ (بدون کتابخانه) همه سطوح
parsakarimidev.ir

آموزش صفر تا صد تشخیص تصویر با محاسبات ماتریسی در سی‌شارپ (بدون کتابخانه)

آموزش صفر تا صد تشخیص تصویر با محاسبات ماتریسی در سی‌شارپ (بدون کتابخانه)مفهوم سطح: همه سطوح 1405/07/25

آموزش صفر تا صد تشخیص تصویر با محاسبات ماتریسی در سی‌شارپ (بدون کتابخانه)

سلام! به این کلاس خوش اومدی. من اینجا هستم تا بهت نشون بدم در پشت پرده‌ی نرم‌افزارهای هوشمند، چه اتفاقات ریاضی و ماتریسی می‌افته. ما قرار نیست از هیچ کتابخانه‌ای (مثل OpenCV یا EmguCV) استفاده کنیم. ما خودمون از صفر، با زبان سی‌شارپ (C#)، تصویر رو به عدد تبدیل می‌کنیم، روش محاسبات می‌کنیم و بهش می‌گیم چی هست!

⚡ خلاصه سریع — اصل کاری‌ها

این‌ها مهم‌ترین چیزهایی هستن که اگه هیچی ندونی، فقط اینا رو بدونی کافیه:

  • نکته ۱: تصویر در کامپیوتر یک ماتریس دو بعدی از اعداد است. پیکسل‌های روشن عدد بزرگتر و پیکسل‌های تاریک عدد کوچکتر دارند.
  • نکته ۲: برای تشخیص تصویر، اول باید رنگی رو به خاکستری (Grayscale) تبدیل کنیم تا محاسبات ماتریسی سبک‌تر بشه.
  • نکته ۳: برای پیدا کردن "لبه‌ها" (مثل چهره انسان یا شکل ماشین) از عملگر ریاضی کانولوشن (Convolution) با ماتریس‌هایی مثل Sobel استفاده می‌کنیم.
  • نکته ۴: برای تشخیص اینکه آیا تصویر A در تصویر B وجود دارد یا نه، از تکنیک Template Matching با استفاده از ضرب ماتریسی و محاسبه اختلاف (SAD) استفاده می‌کنیم.
  • نکته ۵: برای سرعت بالا در سی‌شارپ، به جای GetPixel کند، از LockBits و دسترسی مستقیم به حافظه (Pointers) استفاده می‌کنیم.

۳ اشتباه رایج:

  1. استفاده از GetPixel و SetPixel در حلقه‌های تودرتو (باعث هنگ کردن برنامه می‌شود).
  2. تداخل Index ها (اشتباه گرفتن X و Y با Row و Column در ماتریس).
  3. عدم مدیریت حافظه هنگام استفاده از Pointers (فراموش کردن UnlockBits).

اگر فقط ۵ دقیقه وقت داری:

  1. یک پروژه Console App در سی‌شارپ بساز.
  2. یک عکس رو لود کن و با LockBits اون رو به یک آرایه دو بعدی int[,] تبدیل کن.
  3. یک ماتریس ۳x۳ به نام Sobel بساز و روی تصویر اعمال کن تا لبه‌ها مشخص بشن.
  4. با مقایسه ماتریس لبه‌های یک الگو با تصویر اصلی، متوجه شو الگو کجای تصویر است.

۱. مقدمه

تشخیص تصویر (Image Recognition) در ظاهر کار魔法 (Magic) به نظر می‌رسد، اما در واقع فقط ریاضیات سنگین است. کامپیوترها تصویر را نمی‌بینند؛ آن را به عنوان جدولی از اعداد (ماتریس) درک می‌کنند. در این آموزش، ما خودمان موتور پردازش تصویر را می‌سازیم. از لحظه‌ای که عکسی را لود می‌کنیم تا زمانی که با محاسبات ماتریسی مشخص می‌کنیم داخل آن عکس چه خبر است.

۲. پیش‌نیازها

  • آشنایی پایه با زبان C# (حلقه‌ها، آرایه‌ها، متدها)
  • آشنایی پایه با ریاضیات (ضرب و جمع ماتریس‌ها)
  • نصب Visual Studio یا VS Code
  • درک مفهوم Pointer در C# (که در طول آموزش به صورت ساده آموزش می‌دهم)

۳. نصب و راه‌اندازی

چون می‌خواهیم بدون کتابخانه کار کنیم، فقط به خود دات‌نت نیاز داریم.
یک پروژه جدید Console App بساز:

dotnet new console -n MatrixImageRecognition
cd MatrixImageRecognition

تنها کاری که باید بکنیم این است که فضای نام System.Drawing را به پروژه اضافه کنیم تا بتوانیم فایل‌های تصویری (JPG/PNG) را باز کنیم. (این کتابخانه پردازش تصویر نیست، فقط برای باز کردن فایل است).
در فایل .csproj خود این خط را اضافه کن:

<ItemGroup>
  <PackageReference Include="System.Drawing.Common" Version="6.0.0" />
</ItemGroup>

۴. مفاهیم پایه

تصویر چیست؟

یک تصویر رنگی از پیکسل‌ها تشکیل شده. هر پیکسل ۳ عدد دارد: قرمز (R)، سبز (G)، آبی (B) که هرکدام بین ۰ تا ۲۵۵ هستند.
اگر تصویر را خاکستری (Grayscale) کنیم، هر پیکسل فقط یک عدد بین ۰ (مشکی) تا ۲۵۵ (سفید) دارد.
پس یک تصویر خاکستری = یک ماتریس دو بعدی (2D Array) از اعداد!

کانولوشن (Convolution) چیست؟

قلب پردازش تصویر، عملیاتی به نام کانولوشن است. در این عملیات، یک ماتریس کوچک (مثلاً ۳x۳) به نام Kernel (هسته) روی ماتریس بزرگ تصویر می‌لغزد. در هر مرحله، اعداد Kernel با پیکسل‌های زیرش ضرب می‌شوند و جمع می‌شوند تا یک پیکسل جدید بسازند. این عملیات ویژگی‌های تصویر (مثل لبه‌ها) را استخراج می‌کند.

۵. مثال‌های کد ساده

اولین قدم: تبدیل تصویر به ماتریس و برعکس. این کد پایه‌ای است که در کل آموزش از آن استفاده می‌کنیم.

using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.Runtime.InteropServices;

public class ImageMatrix
{
    // تبدیل تصویر به ماتریس اعداد صحیح (خاکستری شده)
    public static int[,] ToGrayscaleMatrix(Bitmap image)
    {
        int width = image.Width;
        int height = image.Height;
        int[,] matrix = new int[width, height];

        // قفل کردن پیکسل‌ها در حافظه برای دسترسی سریع
        BitmapData bmpData = image.LockBits(new Rectangle(0, 0, width, height), ImageLockMode.ReadOnly, PixelFormat.Format24bppRgb);
        
        int bytesPerPixel = 3; // برای 24bppRgb
        int stride = bmpData.Stride;

        unsafe
        {
            byte* ptr = (byte*)bmpData.Scan0;
            for (int y = 0; y < height; y++)
            {
                byte* row = (byte*)ptr + (y * stride);
                for (int x = 0; x < width; x++)
                {
                    int b = row[x * bytesPerPixel];
                    int g = row[x * bytesPerPixel + 1];
                    int r = row[x * bytesPerPixel + 2];

                    // فرمول استاندارد تبدیل رنگی به خاکستری
                    matrix[x, y] = (int)(r * 0.3 + g * 0.59 + b * 0.11);
                }
            }
        }
        image.UnlockBits(bmpData);
        return matrix;
    }

    // تبدیل ماتریس به تصویرBitmap برای ذخیره یا نمایش
    public static Bitmap FromGrayscaleMatrix(int[,] matrix)
    {
        int width = matrix.GetLength(0);
        int height = matrix.GetLength(1);
        Bitmap bmp = new Bitmap(width, height, PixelFormat.Format24bppRgb);

        BitmapData bmpData = bmp.LockBits(new Rectangle(0, 0, width, height), ImageLockMode.WriteOnly, PixelFormat.Format24bppRgb);
        int stride = bmpData.Stride;

        unsafe
        {
            byte* ptr = (byte*)bmpData.Scan0;
            for (int y = 0; y < height; y++)
            {
                byte* row = (byte*)ptr + (y * stride);
                for (int x = 0; x < width; x++)
                {
                    byte val = (byte)Math.Clamp(matrix[x, y], 0, 255);
                    row[x * 3] = val;     // B
                    row[x * 3 + 1] = val; // G
                    row[x * 3 + 2] = val; // R
                }
            }
        }
        bmp.UnlockBits(bmpData);
        return bmp;
    }
}

۶. مثال واقعی و کاربردی: استخراج لبه (Edge Detection)

برای اینکه بتوانیم یک شیء را تشخیص دهیم، نباید روی رنگ‌ها تمرکز کنیم، بلکه باید روی مرزهای شیء (لبه‌ها) تمرکز کنیم. برای این کار از ماتریس Sobel استفاده می‌کنیم.

ماتریس Sobel برای محور افقی (X):

[-1, 0, 1]
[-2, 0, 2]
[-1, 0, 1]

کد اعمال کانولوشن ماتریس روی تصویر:

public static int[,] ApplySobelEdgeDetection(int[,] imageMatrix)
{
    int width = imageMatrix.GetLength(0);
    int height = imageMatrix.GetLength(1);
    int[,] result = new int[width, height];

    // ماتریس‌های Sobel
    int[,] sobelX = { { -1, 0, 1 }, { -2, 0, 2 }, { -1, 0, 1 } };
    int[,] sobelY = { { -1, -2, -1 }, { 0, 0, 0 }, { 1, 2, 1 } };

    for (int x = 1; x < width - 1; x++)
    {
        for (int y = 1; y < height - 1; y++)
        {
            int gx = 0, gy = 0;

            // اعمال ماتریس 3x3 روی پیکسل فعلی
            for (int kx = -1; kx <= 1; kx++)
            {
                for (int ky = -1; ky <= 1; ky++)
                {
                    int pixel = imageMatrix[x + kx, y + ky];
                    gx += pixel * sobelX[kx + 1, ky + 1];
                    gy += pixel * sobelY[kx + 1, ky + 1];
                }
            }
            // محاسبه شدت لبه
            int magnitude = (int)Math.Sqrt(gx * gx + gy * gy);
            result[x, y] = Math.Clamp(magnitude, 0, 255);
        }
    }
    return result;
}

کاربرد: این تابع تصویر شما را به یک نقشه از لبه‌ها تبدیل می‌کند. ماشین‌ها، چهره‌ها و حروف از همین طریق قابل تفکیک از پس‌زمینه هستند.

۷. مباحث پیشرفته: تشخیص الگو (Pattern Recognition)

حالا که می‌توانیم ویژگی‌ها (لبه‌ها) را استخراج کنیم، چطور تشخیص دهیم آیا یک "چرخ ماشین" در تصویر هست یا نه؟
روش کلاسیک، Template Matching با استفاده از SAD (Sum of Absolute Differences) است.

ما یک ماتریس کوچک (الگو) داریم و آن را در ماتریس بزرگ می‌لغزانیم. هرجا که اختلاف اعداد کمترین بود، آن شیء پیدا شده است.

public static (int x, int y, int minDiff) FindMatch(int[,] source, int[,] template)
{
    int srcW = source.GetLength(0);
    int srcH = source.GetLength(1);
    int tplW = template.GetLength(0);
    int tplH = template.GetLength(1);

    int minDiff = int.MaxValue;
    int bestX = 0, bestY = 0;

    // لغزاندن الگو روی تصویر اصلی
    for (int x = 0; x <= srcW - tplW; x++)
    {
        for (int y = 0; y <= srcH - tplH; y++)
        {
            int currentDiff = 0;

            // محاسبه اختلاف ماتریسی
            for (int tx = 0; tx < tplW; tx++)
            {
                for (int ty = 0; ty < tplH; ty++)
                {
                    currentDiff += Math.Abs(source[x + tx, y + ty] - template[tx, ty]);
                }
            }

            // اگر اختلاف از کمترین مقدار تا الان کمتر بود، جایگزین کن
            if (currentDiff < minDiff)
            {
                minDiff = currentDiff;
                bestX = x;
                bestY = y;
            }
        }
    }
    return (bestX, bestY, minDiff);
}

۸. اشتباهات رایج

  1. استفاده از GetPixel/ SetPixel: این متدها فوق‌العاده کند هستند. برای یک تصویر ۱۰۸۰p باعث می‌شود برنامه چند ثانیه هنگ کند. همیشه از LockBits استفاده کنید.
  2. نادیده گرفتن حاشیه‌ها: وقتی Kernel 3x3 را روی پیکسل (0,0) اعمال می‌کنید، سعی می‌کند به پیکسل (-1,-1) دسترسی پیدا کند که خارج از محدوده آرایه است و باعث خطای IndexOutOfRangeException می‌شود. به همین دلیل در کد کانولوشن از x=1 تا width-1 رفتیم.
  3. Overflow شدن متغیرها: در کانولوشن ممکن است جمع اعداد از ۲۵۵ بیشتر شود. باید از Math.Clamp یا Min/Max استفاده کنید تا عدد در محدوده ۰ تا ۲۵۵ بماند.

۹. بهترین روش‌ها (Best Practices)

  • Parallel Processing: چون محاسبات ماتریسی مستقل هستند، از Parallel.For به جای for استفاده کنید تا از تمام هسته‌های CPU استفاده شود و سرعت چند برابر شود.
  • Unsafe Context: همیشه برای دسترسی به پیکسل‌ها از بلاک unsafe و Pointerها (byte*) استفاده کنید.
  • Disposing Objects: شیء Bitmap منابع غیرمدیریتی دارد. همیشه آن را در بلاک using قرار دهید یا متد Dispose را فراخوانی کنید.

۱۰. منابع و ادامه مسیر

  • کتاب Digital Image Processing نوشته Gonzalez and Woods (انجیل پردازش تصویر کلاسیک)
  • ادامه مسیر در C#: یادگیری شبکه‌های عصبی پیچشی (CNN) از صفر (بدون TensorFlow) با ساخت آرایه‌های سه بعدی.
  • استفاده از SIMD در C# (System.Numerics.Vectors) برای موازی‌سازی ضرب ماتریس‌ها در سطح سخت‌افزار.

۱۱. مرجع کامل توابع و متدها (API Deep Dive)

در اینجا مهم‌ترین متد سیستم که از آن استفاده کردیم را کالبدشکافی می‌کنیم: Bitmap.LockBits

امضای متد:

public BitmapData LockBits(Rectangle rect, ImageLockMode flags, PixelFormat format)

پارامترها:

نام پارامتر نوع توضیح
rect Rectangle بخشی از تصویر که می‌خواهیم قفل کنیم. برای کل تصویر new Rectangle(0,0,width,height)
flags ImageLockMode ReadOnly (فقط خواندن)، WriteOnly (فقط نوشتن)، ReadWrite (هردو)
format PixelFormat فرمت پیکسلی هدف. مهم‌ترین‌ها: Format24bppRgb (۳ بایت)، Format32bppArgb (۴ بایت)

خروجی (Return): شیء‌ای از نوع BitmapData که شامل اطلاعات حافظه است.

گام‌به‌گام کارکرد:

  1. حافظه تصویر را در RAM قفل می‌کند تا GC آن را جابجا نکند.
  2. آدرس اولین پیکسل را در پراپرتی Scan0 قرار می‌دهد.
  3. فاصله هر ردیف تا ردیف بعدی در حافظه را در پراپرتی Stride قرار می‌دهد (دقت کنید Stride ممکن است از Width بیشتر باشد تا روی مرزهای حافظه بایتهای پدینگ قرار گیرد).
  4. شما با Pointer به Scan0 می‌روید و با احتساب Stride ردیف‌ها را طی می‌کنید.
  5. متد UnlockBits را فراخوانی می‌کنید تا بایتهای دستکاری شده به Bitmap برگردد و قفل حافظه باز شود.

Exceptions:

  • System.Exception: اگر فرمت پیکسل تصویر اصلی با چیزی که می‌خواهید قفل کنید هم‌خوانی نداشته باشد.

۱۲. مقایسه روش‌های دسترسی به پیکسل

متد / کلاس سرعت پیچیدگی کد استفاده از کتابخانه توضیح
GetPixel بسیار کند (Kasrt) ساده داخلی دات‌نت برای یک بار خواندن ۱ پیکسل خوب است، برای کل تصویر فاجعه است.
LockBits (Safe) سریع متوسط دات‌نت با Marshal.Copy داده‌ها را به آرایه می‌ریزیم و برمی‌گردانیم.
LockBits (Unsafe) فوق‌العاده سریع بالا دات‌نت مستقیماً به حافظه با Pointer دسترسی پیدا می‌کنیم. بهترین روش بدون کتابخانه.

۱۳. سناریوهای واقعی

سناریو ۱: سیستم کنترل کیفیت در خط تولید
شما در یک کارخانه قصد دارید پیچ‌های تولید شده را بررسی کنید که سالم هستند یا نه. دوربینی ثابت از پیچ‌ها عکس می‌گیرد. شما یک الگوی ماتریسی از یک پیچ سالم دارید. با متد FindMatch که نوشتیم، برنامه در هر فریم تصویر، پیچ را پیدا می‌کند و با مقایسه ماتریس لبه‌ها (Sobel)، می‌فهمد دندانه‌های پیچ هست یا قژه است.

سناریو ۲: OCR ساده (خواندن پلاک ماشین)
ابتدا با فیلتر Sobel لبه‌های پلاک را پیدا می‌کنیم. سپس ماتریس کوچک حرف "الف" (الگو) را روی تصویر می‌لغزانیم. جایی که SAD حداقل شد، حرف الف پیدا شده است. این پایه‌ای‌ترین نوع تشخیص متن است.

۱۴. کارایی و Performance

محاسبات ماتریسی در تصاویر بزرگ (مثلا 1920x1080) به شدت پردازنده‌بر هستند. عملیات Template Matching در اندازه‌های بزرگ معادل \(O(N^2 \times M^2)\) است.
نکات بهینه‌سازی:

  1. تصویر را کوچک کنید (Downsampling): قبل از پردازش، ماتریس را به یک دوم یا یک چهارم کاهش دهید. الگوریتم‌های تشخیص معمولاً در مقیاس پایین هم خوب کار می‌کنند.
  2. Parallel.For: حلقه بیرونی FindMatch را به Parallel.For تبدیل کنید.
Parallel.For(0, srcW - tplW, x =>
{
    // حلقه‌های داخلی و محاسبات اینجا قرار می‌گیرند
});
  1. Integral Image (تصویر انتگرالی): یک تکنیک ریاضی پیشرفته که اجازه می‌دهد مجموع یک ماتریس مستطیلی را در زمان ثابت O(1) محاسبه کنید (به جای O(N*M)). برای الگوریتم‌های Face Detection (مثل روش Viola-Jones) الزامی است.

۱۵. چک‌لیست یادگیری

  • می‌دانم که تصویر یک ماتریس دو بعدی است.
  • تابع تبدیل Bitmap به آرایه int[,] را خودم نوشته‌ام.
  • مفهوم LockBits و Stride را متوجه شده‌ام.
  • ماتریس Sobel را روی تصویر اعمال کرده‌ام و لبه‌ها را استخراج کرده‌ام.
  • منطق Template Matching با SAD را پیاده‌سازی کرده‌ام.
  • برنامه را با Parallel.For بهینه‌سازی کرده‌ام.

تبریک می‌گم! اگر تا اینجا همراه من بودی، الان یکی از اون افرادی هستی که می‌دونه پشت پرده‌ی OpenCV و سیستم‌های تشخیص چهره دقیقاً چه محاسباتی داره می‌افته. هر سوالی داری در بخش کامنت‌ها بپرس!

Rejoining the server...

Rejoin failed... trying again in seconds.

Failed to rejoin.
Please retry or reload the page.

The session has been paused by the server.

Failed to resume the session.
Please retry or reload the page.