آموزش صفر تا صد تشخیص تصویر با محاسبات ماتریسی در سیشارپ (بدون کتابخانه)
سلام! به این کلاس خوش اومدی. من اینجا هستم تا بهت نشون بدم در پشت پردهی نرمافزارهای هوشمند، چه اتفاقات ریاضی و ماتریسی میافته. ما قرار نیست از هیچ کتابخانهای (مثل OpenCV یا EmguCV) استفاده کنیم. ما خودمون از صفر، با زبان سیشارپ (C#)، تصویر رو به عدد تبدیل میکنیم، روش محاسبات میکنیم و بهش میگیم چی هست!
⚡ خلاصه سریع — اصل کاریها
اینها مهمترین چیزهایی هستن که اگه هیچی ندونی، فقط اینا رو بدونی کافیه:
- نکته ۱: تصویر در کامپیوتر یک ماتریس دو بعدی از اعداد است. پیکسلهای روشن عدد بزرگتر و پیکسلهای تاریک عدد کوچکتر دارند.
- نکته ۲: برای تشخیص تصویر، اول باید رنگی رو به خاکستری (Grayscale) تبدیل کنیم تا محاسبات ماتریسی سبکتر بشه.
- نکته ۳: برای پیدا کردن "لبهها" (مثل چهره انسان یا شکل ماشین) از عملگر ریاضی کانولوشن (Convolution) با ماتریسهایی مثل Sobel استفاده میکنیم.
- نکته ۴: برای تشخیص اینکه آیا تصویر A در تصویر B وجود دارد یا نه، از تکنیک Template Matching با استفاده از ضرب ماتریسی و محاسبه اختلاف (SAD) استفاده میکنیم.
- نکته ۵: برای سرعت بالا در سیشارپ، به جای
GetPixelکند، ازLockBitsو دسترسی مستقیم به حافظه (Pointers) استفاده میکنیم.
۳ اشتباه رایج:
- استفاده از
GetPixelوSetPixelدر حلقههای تودرتو (باعث هنگ کردن برنامه میشود). - تداخل Index ها (اشتباه گرفتن X و Y با Row و Column در ماتریس).
- عدم مدیریت حافظه هنگام استفاده از Pointers (فراموش کردن UnlockBits).
اگر فقط ۵ دقیقه وقت داری:
- یک پروژه Console App در سیشارپ بساز.
- یک عکس رو لود کن و با
LockBitsاون رو به یک آرایه دو بعدیint[,]تبدیل کن. - یک ماتریس ۳x۳ به نام Sobel بساز و روی تصویر اعمال کن تا لبهها مشخص بشن.
- با مقایسه ماتریس لبههای یک الگو با تصویر اصلی، متوجه شو الگو کجای تصویر است.
۱. مقدمه
تشخیص تصویر (Image Recognition) در ظاهر کار魔法 (Magic) به نظر میرسد، اما در واقع فقط ریاضیات سنگین است. کامپیوترها تصویر را نمیبینند؛ آن را به عنوان جدولی از اعداد (ماتریس) درک میکنند. در این آموزش، ما خودمان موتور پردازش تصویر را میسازیم. از لحظهای که عکسی را لود میکنیم تا زمانی که با محاسبات ماتریسی مشخص میکنیم داخل آن عکس چه خبر است.
۲. پیشنیازها
- آشنایی پایه با زبان C# (حلقهها، آرایهها، متدها)
- آشنایی پایه با ریاضیات (ضرب و جمع ماتریسها)
- نصب Visual Studio یا VS Code
- درک مفهوم Pointer در C# (که در طول آموزش به صورت ساده آموزش میدهم)
۳. نصب و راهاندازی
چون میخواهیم بدون کتابخانه کار کنیم، فقط به خود داتنت نیاز داریم.
یک پروژه جدید Console App بساز:
dotnet new console -n MatrixImageRecognition
cd MatrixImageRecognition
تنها کاری که باید بکنیم این است که فضای نام System.Drawing را به پروژه اضافه کنیم تا بتوانیم فایلهای تصویری (JPG/PNG) را باز کنیم. (این کتابخانه پردازش تصویر نیست، فقط برای باز کردن فایل است).
در فایل .csproj خود این خط را اضافه کن:
<ItemGroup>
<PackageReference Include="System.Drawing.Common" Version="6.0.0" />
</ItemGroup>
۴. مفاهیم پایه
تصویر چیست؟
یک تصویر رنگی از پیکسلها تشکیل شده. هر پیکسل ۳ عدد دارد: قرمز (R)، سبز (G)، آبی (B) که هرکدام بین ۰ تا ۲۵۵ هستند.
اگر تصویر را خاکستری (Grayscale) کنیم، هر پیکسل فقط یک عدد بین ۰ (مشکی) تا ۲۵۵ (سفید) دارد.
پس یک تصویر خاکستری = یک ماتریس دو بعدی (2D Array) از اعداد!
کانولوشن (Convolution) چیست؟
قلب پردازش تصویر، عملیاتی به نام کانولوشن است. در این عملیات، یک ماتریس کوچک (مثلاً ۳x۳) به نام Kernel (هسته) روی ماتریس بزرگ تصویر میلغزد. در هر مرحله، اعداد Kernel با پیکسلهای زیرش ضرب میشوند و جمع میشوند تا یک پیکسل جدید بسازند. این عملیات ویژگیهای تصویر (مثل لبهها) را استخراج میکند.
۵. مثالهای کد ساده
اولین قدم: تبدیل تصویر به ماتریس و برعکس. این کد پایهای است که در کل آموزش از آن استفاده میکنیم.
using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.Runtime.InteropServices;
public class ImageMatrix
{
// تبدیل تصویر به ماتریس اعداد صحیح (خاکستری شده)
public static int[,] ToGrayscaleMatrix(Bitmap image)
{
int width = image.Width;
int height = image.Height;
int[,] matrix = new int[width, height];
// قفل کردن پیکسلها در حافظه برای دسترسی سریع
BitmapData bmpData = image.LockBits(new Rectangle(0, 0, width, height), ImageLockMode.ReadOnly, PixelFormat.Format24bppRgb);
int bytesPerPixel = 3; // برای 24bppRgb
int stride = bmpData.Stride;
unsafe
{
byte* ptr = (byte*)bmpData.Scan0;
for (int y = 0; y < height; y++)
{
byte* row = (byte*)ptr + (y * stride);
for (int x = 0; x < width; x++)
{
int b = row[x * bytesPerPixel];
int g = row[x * bytesPerPixel + 1];
int r = row[x * bytesPerPixel + 2];
// فرمول استاندارد تبدیل رنگی به خاکستری
matrix[x, y] = (int)(r * 0.3 + g * 0.59 + b * 0.11);
}
}
}
image.UnlockBits(bmpData);
return matrix;
}
// تبدیل ماتریس به تصویرBitmap برای ذخیره یا نمایش
public static Bitmap FromGrayscaleMatrix(int[,] matrix)
{
int width = matrix.GetLength(0);
int height = matrix.GetLength(1);
Bitmap bmp = new Bitmap(width, height, PixelFormat.Format24bppRgb);
BitmapData bmpData = bmp.LockBits(new Rectangle(0, 0, width, height), ImageLockMode.WriteOnly, PixelFormat.Format24bppRgb);
int stride = bmpData.Stride;
unsafe
{
byte* ptr = (byte*)bmpData.Scan0;
for (int y = 0; y < height; y++)
{
byte* row = (byte*)ptr + (y * stride);
for (int x = 0; x < width; x++)
{
byte val = (byte)Math.Clamp(matrix[x, y], 0, 255);
row[x * 3] = val; // B
row[x * 3 + 1] = val; // G
row[x * 3 + 2] = val; // R
}
}
}
bmp.UnlockBits(bmpData);
return bmp;
}
}
۶. مثال واقعی و کاربردی: استخراج لبه (Edge Detection)
برای اینکه بتوانیم یک شیء را تشخیص دهیم، نباید روی رنگها تمرکز کنیم، بلکه باید روی مرزهای شیء (لبهها) تمرکز کنیم. برای این کار از ماتریس Sobel استفاده میکنیم.
ماتریس Sobel برای محور افقی (X):
[-1, 0, 1]
[-2, 0, 2]
[-1, 0, 1]
کد اعمال کانولوشن ماتریس روی تصویر:
public static int[,] ApplySobelEdgeDetection(int[,] imageMatrix)
{
int width = imageMatrix.GetLength(0);
int height = imageMatrix.GetLength(1);
int[,] result = new int[width, height];
// ماتریسهای Sobel
int[,] sobelX = { { -1, 0, 1 }, { -2, 0, 2 }, { -1, 0, 1 } };
int[,] sobelY = { { -1, -2, -1 }, { 0, 0, 0 }, { 1, 2, 1 } };
for (int x = 1; x < width - 1; x++)
{
for (int y = 1; y < height - 1; y++)
{
int gx = 0, gy = 0;
// اعمال ماتریس 3x3 روی پیکسل فعلی
for (int kx = -1; kx <= 1; kx++)
{
for (int ky = -1; ky <= 1; ky++)
{
int pixel = imageMatrix[x + kx, y + ky];
gx += pixel * sobelX[kx + 1, ky + 1];
gy += pixel * sobelY[kx + 1, ky + 1];
}
}
// محاسبه شدت لبه
int magnitude = (int)Math.Sqrt(gx * gx + gy * gy);
result[x, y] = Math.Clamp(magnitude, 0, 255);
}
}
return result;
}
کاربرد: این تابع تصویر شما را به یک نقشه از لبهها تبدیل میکند. ماشینها، چهرهها و حروف از همین طریق قابل تفکیک از پسزمینه هستند.
۷. مباحث پیشرفته: تشخیص الگو (Pattern Recognition)
حالا که میتوانیم ویژگیها (لبهها) را استخراج کنیم، چطور تشخیص دهیم آیا یک "چرخ ماشین" در تصویر هست یا نه؟
روش کلاسیک، Template Matching با استفاده از SAD (Sum of Absolute Differences) است.
ما یک ماتریس کوچک (الگو) داریم و آن را در ماتریس بزرگ میلغزانیم. هرجا که اختلاف اعداد کمترین بود، آن شیء پیدا شده است.
public static (int x, int y, int minDiff) FindMatch(int[,] source, int[,] template)
{
int srcW = source.GetLength(0);
int srcH = source.GetLength(1);
int tplW = template.GetLength(0);
int tplH = template.GetLength(1);
int minDiff = int.MaxValue;
int bestX = 0, bestY = 0;
// لغزاندن الگو روی تصویر اصلی
for (int x = 0; x <= srcW - tplW; x++)
{
for (int y = 0; y <= srcH - tplH; y++)
{
int currentDiff = 0;
// محاسبه اختلاف ماتریسی
for (int tx = 0; tx < tplW; tx++)
{
for (int ty = 0; ty < tplH; ty++)
{
currentDiff += Math.Abs(source[x + tx, y + ty] - template[tx, ty]);
}
}
// اگر اختلاف از کمترین مقدار تا الان کمتر بود، جایگزین کن
if (currentDiff < minDiff)
{
minDiff = currentDiff;
bestX = x;
bestY = y;
}
}
}
return (bestX, bestY, minDiff);
}
۸. اشتباهات رایج
- استفاده از GetPixel/ SetPixel: این متدها فوقالعاده کند هستند. برای یک تصویر ۱۰۸۰p باعث میشود برنامه چند ثانیه هنگ کند. همیشه از
LockBitsاستفاده کنید. - نادیده گرفتن حاشیهها: وقتی Kernel 3x3 را روی پیکسل (0,0) اعمال میکنید، سعی میکند به پیکسل (-1,-1) دسترسی پیدا کند که خارج از محدوده آرایه است و باعث خطای
IndexOutOfRangeExceptionمیشود. به همین دلیل در کد کانولوشن ازx=1تاwidth-1رفتیم. - Overflow شدن متغیرها: در کانولوشن ممکن است جمع اعداد از ۲۵۵ بیشتر شود. باید از
Math.ClampیاMin/Maxاستفاده کنید تا عدد در محدوده ۰ تا ۲۵۵ بماند.
۹. بهترین روشها (Best Practices)
- Parallel Processing: چون محاسبات ماتریسی مستقل هستند، از
Parallel.Forبه جایforاستفاده کنید تا از تمام هستههای CPU استفاده شود و سرعت چند برابر شود. - Unsafe Context: همیشه برای دسترسی به پیکسلها از بلاک
unsafeو Pointerها (byte*) استفاده کنید. - Disposing Objects: شیء
Bitmapمنابع غیرمدیریتی دارد. همیشه آن را در بلاکusingقرار دهید یا متدDisposeرا فراخوانی کنید.
۱۰. منابع و ادامه مسیر
- کتاب Digital Image Processing نوشته Gonzalez and Woods (انجیل پردازش تصویر کلاسیک)
- ادامه مسیر در C#: یادگیری شبکههای عصبی پیچشی (CNN) از صفر (بدون TensorFlow) با ساخت آرایههای سه بعدی.
- استفاده از SIMD در C# (System.Numerics.Vectors) برای موازیسازی ضرب ماتریسها در سطح سختافزار.
۱۱. مرجع کامل توابع و متدها (API Deep Dive)
در اینجا مهمترین متد سیستم که از آن استفاده کردیم را کالبدشکافی میکنیم: Bitmap.LockBits
امضای متد:
public BitmapData LockBits(Rectangle rect, ImageLockMode flags, PixelFormat format)
پارامترها:
| نام پارامتر | نوع | توضیح |
|---|---|---|
rect |
Rectangle |
بخشی از تصویر که میخواهیم قفل کنیم. برای کل تصویر new Rectangle(0,0,width,height) |
flags |
ImageLockMode |
ReadOnly (فقط خواندن)، WriteOnly (فقط نوشتن)، ReadWrite (هردو) |
format |
PixelFormat |
فرمت پیکسلی هدف. مهمترینها: Format24bppRgb (۳ بایت)، Format32bppArgb (۴ بایت) |
خروجی (Return): شیءای از نوع BitmapData که شامل اطلاعات حافظه است.
گامبهگام کارکرد:
- حافظه تصویر را در RAM قفل میکند تا GC آن را جابجا نکند.
- آدرس اولین پیکسل را در پراپرتی
Scan0قرار میدهد. - فاصله هر ردیف تا ردیف بعدی در حافظه را در پراپرتی
Strideقرار میدهد (دقت کنید Stride ممکن است از Width بیشتر باشد تا روی مرزهای حافظه بایتهای پدینگ قرار گیرد). - شما با Pointer به
Scan0میروید و با احتسابStrideردیفها را طی میکنید. - متد
UnlockBitsرا فراخوانی میکنید تا بایتهای دستکاری شده به Bitmap برگردد و قفل حافظه باز شود.
Exceptions:
System.Exception: اگر فرمت پیکسل تصویر اصلی با چیزی که میخواهید قفل کنید همخوانی نداشته باشد.
۱۲. مقایسه روشهای دسترسی به پیکسل
| متد / کلاس | سرعت | پیچیدگی کد | استفاده از کتابخانه | توضیح |
|---|---|---|---|---|
GetPixel |
بسیار کند (Kasrt) | ساده | داخلی داتنت | برای یک بار خواندن ۱ پیکسل خوب است، برای کل تصویر فاجعه است. |
LockBits (Safe) |
سریع | متوسط | داتنت | با Marshal.Copy دادهها را به آرایه میریزیم و برمیگردانیم. |
LockBits (Unsafe) |
فوقالعاده سریع | بالا | داتنت | مستقیماً به حافظه با Pointer دسترسی پیدا میکنیم. بهترین روش بدون کتابخانه. |
۱۳. سناریوهای واقعی
سناریو ۱: سیستم کنترل کیفیت در خط تولید
شما در یک کارخانه قصد دارید پیچهای تولید شده را بررسی کنید که سالم هستند یا نه. دوربینی ثابت از پیچها عکس میگیرد. شما یک الگوی ماتریسی از یک پیچ سالم دارید. با متد FindMatch که نوشتیم، برنامه در هر فریم تصویر، پیچ را پیدا میکند و با مقایسه ماتریس لبهها (Sobel)، میفهمد دندانههای پیچ هست یا قژه است.
سناریو ۲: OCR ساده (خواندن پلاک ماشین)
ابتدا با فیلتر Sobel لبههای پلاک را پیدا میکنیم. سپس ماتریس کوچک حرف "الف" (الگو) را روی تصویر میلغزانیم. جایی که SAD حداقل شد، حرف الف پیدا شده است. این پایهایترین نوع تشخیص متن است.
۱۴. کارایی و Performance
محاسبات ماتریسی در تصاویر بزرگ (مثلا 1920x1080) به شدت پردازندهبر هستند. عملیات Template Matching در اندازههای بزرگ معادل \(O(N^2 \times M^2)\) است.
نکات بهینهسازی:
- تصویر را کوچک کنید (Downsampling): قبل از پردازش، ماتریس را به یک دوم یا یک چهارم کاهش دهید. الگوریتمهای تشخیص معمولاً در مقیاس پایین هم خوب کار میکنند.
- Parallel.For: حلقه بیرونی
FindMatchرا بهParallel.Forتبدیل کنید.
Parallel.For(0, srcW - tplW, x =>
{
// حلقههای داخلی و محاسبات اینجا قرار میگیرند
});
- Integral Image (تصویر انتگرالی): یک تکنیک ریاضی پیشرفته که اجازه میدهد مجموع یک ماتریس مستطیلی را در زمان ثابت O(1) محاسبه کنید (به جای O(N*M)). برای الگوریتمهای Face Detection (مثل روش Viola-Jones) الزامی است.
۱۵. چکلیست یادگیری
- میدانم که تصویر یک ماتریس دو بعدی است.
- تابع تبدیل Bitmap به آرایه
int[,]را خودم نوشتهام. - مفهوم LockBits و Stride را متوجه شدهام.
- ماتریس Sobel را روی تصویر اعمال کردهام و لبهها را استخراج کردهام.
- منطق Template Matching با SAD را پیادهسازی کردهام.
- برنامه را با
Parallel.Forبهینهسازی کردهام.
تبریک میگم! اگر تا اینجا همراه من بودی، الان یکی از اون افرادی هستی که میدونه پشت پردهی OpenCV و سیستمهای تشخیص چهره دقیقاً چه محاسباتی داره میافته. هر سوالی داری در بخش کامنتها بپرس!