Machine Learning (Farsi) - یادگیری ماشین

this is Farsi Flashcard for machine learning course -IAUN

153 flashcards · Computer Science · by Daniel Blackbird

انواع الگوریتم های یادگیری ماشین را نام ببرید .
1- یادگیری با نظارت شامل رگرسیون و طبقه بندی 2- یادگیری بدون نظارت 3- یادگیری تقویتی
پروژه اقای ساموئل در مورد چکرز چی بود
اقای ساموئل خودش چکرز باز خوبی نبود اما برنامه ای نوشت که در آن کامپیوتر بیش از ده ها بار با خودش بازی میکرد و در هر دور بازی حرکات خوب و بد را یاد میگرفت
انواع الگوریتم های یادگیری ماشین را نام ببرید .
1- یادگیری با نظارت شامل رگرسیون و طبقه بندی 2- یادگیری بدون نظارت 3- یادگیری تقویتی
فرق رگرسیون با کلاسیفیکیشن چیست ؟
1- تفاوت کلاسبندی و رگرسیون در نوع خروجی آنها است، در واقع خروجی یک الگوریتم کلاسبند یک مقدار گسسته است این درحالی است که خروجی یک الگوریتم رگرسیون یک مقدار پیوسته است. 2- برچسب ها در Classification تعداد معدودی دارند در حالی که در regression برچسب بفرم پیوسته هست در نتیجه تعداد برچسب ها بی نهایت است.
مثال هایی از یادگیری با نظارت نام ببرید
1- ایمیل اسپم هست یا نه (کلاسیفیکیشن) 2- پیش بینی قیمت خانه بر اساس متراژ (رگرسیون) 3- تشخیص غده سرطانی هست یا نه (کلاسیفیکیشن )
فرق یادگیری با نظارت و بدون نظارت چیست ؟
در یادگیری با نظارت، داده‌های ورودی و خروجی برچسب‌خورده به الگوریتم داده می‌شود. در این روش، الگوریتم با پیش‌بینی‌های مکرر و تنظیم برای تولید پاسخ صحیح، "یاد می‌گیرد" از جمله الگوریتم‌های متداول در یادگیری با نظارت می‌توان به رگرسیون لجستیک، بیزی ساده، ماشین‌های بردار پشتیبان، شبکه‌های عصبی مصنوعی و غیره اشاره کرد در یادگیری بدون نظارت، به الگوریتم داده‌های بدون برچسب به‌عنوان یک مجموعه آموزشی داده می‌شود. در این روش برخلاف یادگیری با نظارت، هیچ مقدار خروجی صحیحی وجود ندارد. الگوریتم الگوها و ش…
انواع الگوریتم های یادگیری بدون نظارت را نام ببرید
1- خوشه‌بندی: یک تکنیک یادگیری ماشین و داده‌کاوی برای گروه‌بندی داده‌های بدون برچسب بر اساس شباهت‌ها یا تفاوت‌های آن‌هاست. برای مثال، الگوریتم‌ خوشه‌بندی K-means، نقاط داده‌ی مشابه را به گروه‌ها‌ی یکسان اختصاص می‌دهد، و مقدار K نشان‌دهنده‌ی تعداد گروه و دانه‌بندی است. این تکنیک برای تقسیم‌بندی بازار، فشرده‌سازی تصویر و غیره مفید است. 2- ارتباط: نوع دیگری از روش‌های یادگیری بدون نظارت است که از قوانین مختلفی برای یافتن روابط بین متغیرها در یک مجموعه داده‌ی معین استفاده می‌کند. این روش‌ها اغلب بر…
خوشه بندی یک مسئله یادگیری بدون ناظر هست ؟
پیش فرازش یا overfitting چیست
وقتی یک مدل به داده‌های آموزشی خود بسیار خوب منطبق می‌شود اما نتواند الگوهای کلی‌تر و عمومی را درک کند، این پدیده را پیش‌فرازش گویند. مدل در این حالت به داده‌های آموزشی بسیار حساس می‌شود و جزئیات کوچک نویزهای
کم فرازش یا underfitting چیست
کم‌برازش (Underfitting): وقتی مدل به داده‌های آموزشی خود همچنان به خوبی منطبق نمی‌شود و الگوهای عمومی را نمی‌تواند یاد بگیرد، این پدیده را کم‌برازش گویند. در این حالت، مدل به سادگی موفق به تخصیص و تشخیص الگوهای مهم نمی‌شود.
در overfitting و underfitting در بایاس و واریاس چه تاثیری دارد
در پیش‌فرازش (Overfitting)، مدل دارای واریانس بالا و بایاس کم است. این به این دلیل است که مدل به داده‌های آموزشی بسیار حساس شده است و جزئیات کوچک و نویزها را نیز یاد گرفته است. این ممکن است منجر به عدم توانایی مدل در تعمیم الگوها به داده‌های جدید شود. در کم‌برازش (Underfitting)، معمولاً مدل دارای بایاس بالا و واریانس کم است. این به این دلیل است که مدل نمی‌تواند الگوهای پیچیده‌تر داده‌ها را یاد بگیرد و از آموزش کافی برخوردار نیست. این ممکن است منجر به عدم توانایی مدل در تعریف و درک الگوهای مهم د…
منظور از خوشه بندی تو یادگیری ماشین چیست
خوشه بندی یکی از روش‌های یادگیری بدون نظارت است که در آن داده‌ها براساس شباهت نقاط داده، دسته‌بندی می‌شوند
حوزه هایی که خوشه بندی کاربرد دارد نام ببرید
شناسایی الگو پردازش تصویر علوم اقتصاد (مطالعات بازار) وب (دسته بندی اسناد - دسته بندی داده های وبلاگ )
راه های جلوگیری از پیش فرازش یا overfitting
پیش‌فرازش (Overfitting) یک مشکل متداول در یادگیری ماشین است که هنگامی رخ می‌دهد که مدل به صورت زیادی به داده‌های آموزش متکی می‌شود و نتایج خود را برای داده‌های جدید به خوبی تعمیم نمی‌دهد. برای جلوگیری از پیش‌فرازش، می‌توان از راهکارها و تکنیک‌های زیر استفاده کرد: 1. **استفاده از داده‌های بیشتر:** - جمع‌آوری و استفاده از تعداد بیشتری از داده‌های آموزش می‌تواند کمک کند تا مدل بهتر به داده‌های جدید عمل کند و از پیش‌فرازش جلوگیری شود. 2. **تقسیم داده:** - داده‌ها را به سه بخش تقسیم کنید: داده‌های آ…
چند مثال از کاربردهای خوشه بندی نام ببرید .
خوشه‌بندی یکی از مسائل مهم در حوزه یادگیری ماشین است و در انواع مختلف کاربردها مورد استفاده قرار می‌گیرد. در زیر، چند مثال از کاربردهای خوشه‌بندی آورده شده است: 1. **بازاریابی هدفمند:** - با استفاده از خوشه‌بندی مشتریان بر اساس ویژگی‌های مشترک، می‌توان استراتژی بازاریابی هدفمند را ایجاد کرد و به هر گروه از مشتریان با رویکرد خاصی نزدیک شد. 2. **تحلیل اخبار و متن:** - در پردازش زبان طبیعی، خوشه‌بندی متن‌ها بر اساس موضوعات یا احساسات موجود در آنها، امکان مدیریت و تحلیل اطلاعات را تسهیل می‌کند. 3.…
ویژگی یک خوشه بندی خوب چیه ؟
1- :خوشه های با کیفیت تولید می کند : - شباهت درون کلاسی بالایی داشته باشد -شباهت بیرون کلاسی پایینی داشته باشد 2- کیفیت نتایج خوشه بندی وابسته به معیار شباهت مورد استفاده در روش خوشه بندی و چگونگی پیاده سازی آن 3- کیفیت یک روش خوشه بندی وابسته به توانایی کشف تمام یا برخی از الگوی مخفی موجود در داده هاست . 4- کمیت شباهت داشتن و نداشتن : شباهت در قالب یک معیار فاصله (distance function ) بیان می شود . معمولا با معکوس کردن یا منفی کردن معیار فاصله معیار شباهت بدست می آید 5- برای ارزیابی کیفیت روش خ…
تعریف اصلی و اولیه شبکه عصبی چیست ؟
الگوریتم هایی که هدف آن این است که مغز انسان را تقلید کند
اولین کاربرد موفق شبکه عصبی در چی بود ؟
شناسایی گفتار
منظور از ورودی ها یا dendrites ها در شبکه عصبی چیست ؟
هر نورون دارای ورودی هایی است که از نورون های دیگر تکانه(برانگیزش) دریافت می کند
منظور از خروجی یا axon در شبکه عصبی چیست ؟
شبکه عصبی تک لایه معادل یک رگرسیون لجستیک تک ویژگیمی باشد
خروجی هر نود از هر لایه را Activision نیز می نامند
چرا ما معمولا همه اتصال یا فول کانکت در نظر میگیریم ؟
در خیلی از کاربردهای نمی تواند ارتباط نودهای ورودی و نودهای میانی یا مخفی رو کشف کرد و ما همه رو متصل در نظر میگیریم و با تنظیم پارامتر ویژگی های نامرتبط رو نادیده گرفته می شود
چرا واژه مخفی استفاده می کنیم ؟
چون مقادیر مطلوب را فقط برای نودهای ورودی و خروجی (داده های اموزشی ) در اختیار داریم و خروجی مطلوب نودها در لایه های مخفی نامعین هستند .
یک مثال ساده از کاربرد هر لایه از شبکه عصبی در پیاده سازی شناسایی الگو با شبکه عصبی نام ببرید
1- ما در لایه اول نرون به دنبال شناسایی لبه های تصویر هستیم 2- بعد در لایه بعدی هر نرون بدنبال شناسایی سگمنت های کوچک مربوط به اجزای صورت در تصویر هست 3- در لایه بعدی هم هر نرون بدنبال شناسایی سگمنت های بزرگتر مرتبط با اجزای صورت در تصویر است
هر نود از شبکه عصبی شامل چه پارامتر هایی هست و چه عملیاتی انجام می دهد
1- شامل پارامتر های وزن شامل w و b (محموعه بردارهای اعداد) 2- انجام عملیات رگرسیون لاجستیک (دو پارامتر)
ملزومات خوشه بندی را نام ببرید
1- scalability : با افزایش حجم داده های اموزش یا ازمایش خروجی روش خوشه بندی چه تغییری می کند 2- ability to deal with different types of attributes : توانایی کار با ویژگی های مختلف 3- ability to handle dynamic data: توانایی کار با داده های متغیر با زمان / داده های آنلاین 4- Minimal requirements for domain knowledge to determine input parameters : نیاز کمتر به تنظیم پارامترهای روش 5- Able to deal with noise and outliers 6- High dimensionality 7- Interpretability and usability
linear regression univariate به فارسی چی میشه ؟
رگرسیون خطی تکی متغیره
مسئله شکل زیر از چه نوع و ساختار یادگیری هست ؟
یادگیری با نظارت رگرسیون خطی
ŷ برای نمایش چه چیزی معمولا استفاده میشه
برای مقدار پیشبینی شده
فرمول خط رو بنویسید
f(x)=Wx+b
تابع هزینه چیست و چه کاربردی دارد؟
تابع هزینه (Cost Function) در یادگیری ماشین و تخصیص پارامترهای مدل به گونه‌ای استفاده می‌شود که میزان اختلاف بین خروجی مدل (پیش‌بینی) و خروجی واقعی (برچسب یا مقدار مورد انتظار) را نمایش دهد. هدف اصلی از استفاده از تابع هزینه، کمینه کردن این اختلاف یا خطا است. تابع هزینه در واقع یک معیار است که مشخص می‌کند که مدل چقدر دقیق یا نادقیق در پیش‌بینی خروجی می‌باشد. هرچه مقدار تابع هزینه کمتر باشد، نتایج پیش‌بینی مدل به مراتب بهتر خواهند بود.
فرمول تابع هزینه Square error رو بنویسید
ویژگی تابع محدب چیست ؟
تابع محدب فقط یک مینیمم یا ماکسیمم سراسری دارد
خطوط کانتور چیست
خطوط کانتور در زمینه یادگیری ماشین به یک تکنیک برای نمایش ابرداده‌ها (داده‌های دسته‌بندی شده) در فضای دو بعدی یا سه بعدی اطلاق می‌شود. این تکنیک برای برجسته‌سازی مرزهای بین دسته‌های مختلف و نمایش دقیق تر ساختار داده‌ها استفاده می‌شود. در یادگیری ماشین، خطوط کانتور معمولاً بر روی نمودارهای تصاویر یا فضاهای دو یا سه بعدی رسم می‌شوند. این خطوط کانتور نشان دهندهٔ حدود مرزهای بین دسته‌های مختلف در یک مدل دسته‌بندی است. برای مثال، در دسته‌بندی دو کلاسه، خطوط کانتور به خوبی مرز بین دو دسته را نشان می‌…
کاهش گرادیان چیست
کاهش گرادیان به فرایند به‌روزرسانی پارامترهای مدل با استفاده از مشتق (گرادیان) تابع هزینه نسبت به پارامترها گفته می‌شود. این فرایند به منظور بهینه‌سازی مدل و به دست آوردن مقادیر بهینه برای پارامترها انجام می‌شود.
اگر تابع هزینه بیش از یک نقطه کمینه داشته باشد به جه جهتی حرکت می کنیم ؟
در الگوریتم گرادیان نزولی همواره در جهت بیشترین شیب حرکت می کنیم تا در یک نقطه کمینه قرار بگیریم
فرمول بروزکردن ورزن ها رو بنویسید
تو کدنویسی بروزکردن وزن ها باید به چه چیزی توجه کنیم .
باید وزن ها در محاسبه درجا بروزرسانی نشوند و در مرحله بعد وزن جدید جایگزین شود و از متغیر کمکی استفاده می کنیم
اگر در بروزرسانی وزن ها اگر مشتق ما مثبت یا منفی باشه به چه معنی می باشد
در روش‌های بهینه‌سازی مانند گرادیان کاهشی (Gradient Descent) که برای به‌روزرسانی وزن‌های مدل در یادگیری ماشین استفاده می‌شوند، مشتق (یا گرادیان) تابع هزینه نسبت به وزن‌ها نشان‌دهنده جهت تغییر بهترین است. مشتق مثبت نشان می‌دهد که تابع هزینه در جهت افزایش وزن‌ها افزایش می‌یابد، در حالی که مشتق منفی نشان‌دهنده جهت کاهش تابع هزینه است. معمولاً در روش‌های بهینه‌سازی مانند گرادیان کاهشی، مشتق تابع هزینه نسبت به هر وزن، به عنوان گرادیان یا مشتق جزئی تابع هزینه نسبت به همان وزن در نظر گرفته می‌شود. اگر…
اگر نرخ یادگیری بسیار کوچک یا بسیار بزرگ باشد چه اتفاقی می افتد ؟
نرخ یادگیری (Learning Rate) یکی از پارامترهای مهم در الگوریتم‌های بهینه‌سازی مانند گرادیان کاهشی است که نقش مهمی در عملکرد الگوریتم دارد. اگر نرخ یادگیری بسیار کوچک یا بسیار بزرگ باشد، ممکن است مشکلاتی در آموزش مدل به وجود آید. در زیر اثرات این دو حالت را بررسی می‌کنیم: 1. **نرخ یادگیری بسیار کوچک:** - **مزیت:** - ممکن است مدل به سرعت به کمینه محلی همگرا شود. - احتمالی برای پیدا کردن بهینه‌ترین وزن‌ها و رسیدن به جواب دقیقتر. - کمتر احتمال ایجاد انفجار گرادیان (Gradient Explosion) یا مشکلات دیگر…
آیا به مینیمم محلی میرسیم اگه نرخ یادگیری ثابت باشه ؟
اگر نرخ یادگیری ثابت باشد و الگوریتم بهینه‌سازی از نوع گرادیان کاهشی (Gradient Descent) باشد، ممکن است به یک مینیمم محلی (local minimum) برسید، اما این وابسته به مسئله و دیگر پارامترها و شرایط است. برای متوقف شدن در یک مینیمم محلی، شرایط خاصی نیاز است. نکته مهم این است که در مسائل بهینه‌سازی غیرخطی و پیچیده، وجود مینیمم محلی بسیار ممکن است اما معمولاً به دلیل تصادفی بودن شرایط اولیه و تغییرات در نرخ یادگیری، الگوریتم ممکن است از مینیمم محلی خارج شده و به سمت مینیمم سراسری (global minimum) یا نق…
ایرادات روش گرادیان کاهشی را بنویسید
گرادیان کاهشی (Gradient Descent) یکی از الگوریتم‌های بهینه‌سازی معمولی در یادگیری ماشین است، اما همچنین دارای محدودیت‌ها و ایراداتی است که می‌توان به آنها اشاره کرد: 1. **حساسیت به نرخ یادگیری (Learning Rate):** - انتخاب نرخ یادگیری مناسب یکی از چالش‌های اصلی در استفاده از گرادیان کاهشی است. نرخ یادگیری زیاد ممکن است باعث شود که الگوریتم به سرعت همگرا شود، اما احتمال اسکیپ کردن نقطه بهینه یا همگرایی به مینیمم محلی را افزایش دهد. به عبارت دیگر، نرخ یادگیری بالا ممکن است باعث انفجار گرادیان (Grad…
منظور از batch gradient descent چیست؟
در یادگیری ماشین، بهینه‌سازی با استفاده از الگوریتم‌های کاهش گرادیان یکی از روش‌های متداول است. یکی از انواع این الگوریتم‌ها، Batch Gradient Descent است. Batch Gradient Descent به این صورت عمل می‌کند: 1. **محاسبه گرادیان:** - گرادیان (مشتق جزئی) تابع هزینه نسبت به پارامترها (وزن‌ها) برای تمام نقاط داده محاسبه می‌شود. 2. **به‌روزرسانی پارامترها:** - وزن‌ها با کمک گرادیان به‌روزرسانی می‌شوند. این به‌روزرسانی به اندازه گرادیان ضربدر یک ضریب یادگیری (learning rate) انجام می‌شود. Batch Gradient Desc…
فرق رگرسیون خطی چند متغیره با تک متغیره از نظر فرمول چیست ؟
در پایتون پارامترها و ویژگی ها بصورت وکتور شده و وکتور نشده بنویسید
ضرب نقطه ای در پایتون بصورت ویکتور شده و غیر وکتور شده بنویسید
محاسبه گرادیان در پایتون بصورت وکتور شده و غیر وکتور شده بنویسید
فرمول های گرادیان کاهشی برای رگرسیون یک خطه و چند خطه بنویسید
چگونه گرادیان کاهشی رو سریعتر کنیم ؟
افزایش سرعت یادگیری در گرادیان کاهشی می‌تواند از طریق مقداردهی بهینه نرخ یادگیری، اسکیل کردن ویژگی‌ها (فیچرها)، استفاده از الگوریتم‌های بهینه‌سازی پیشرفته، و یا استفاده از روش‌های نرمالیزه‌سازی انجام شود. این روش‌ها به شرح زیر هستند: 1. **نرخ یادگیری انطباقی (Adaptive Learning Rate):** - از الگوریتم‌های بهینه‌سازی با نرخ یادگیری انطباقی مانند Adam، RMSprop یا Adagrad استفاده کنید. این الگوریتم‌ها می‌توانند به طور دینامیک نرخ یادگیری را تنظیم کنند و در ایجاد موازنه میان سرعت یادگیری و استقرار مد…
چند مدل scale کردن ویژگی ها در بهبود سرعت گرادیان کاهشی را توضیح دهید ؟
Scale یا اسکیل کردن ویژگی‌ها یکی از مراحل مهم در پیش‌پردازش داده‌ها در یادگیری ماشین است. این عمل بهبود سرعت گرادیان کاهشی و همچنین کمک به جلوگیری از مشکل اختلاف مقیاس (Scale Discrepancy) بین ویژگی‌ها می‌کند. در زیر توضیحاتی در مورد چگونگی اسکیل کردن ویژگی‌ها و تأثیر آن بر سرعت گرادیان کاهشی آورده شده است: 3- Robust Scaling: این روش شبیه به Min-Max Scaling است، با این تفاوت که از کوارتیل‌ها برای محاسبه مقادیر کمینه و بیشینه استفاده می‌کند. این روش در مقابل داده‌های پرت (Outliers) مقاوم‌تر است.…
چگونه بفهمیم که گرادیان کاهشی ما بهترین پارامترها رو پیدا کرده
اینترنت: یافتن بهترین پارامترها در گرادیان کاهشی ممکن است به شکل مختلفی انجام شود. در واقع، یافتن بهترین پارامترها به معنای کمینه کردن تابع هزینه یا خطا است. در اینجا چند روش و نکته برای ارزیابی بهترین پارامترها در گرادیان کاهشی ذکر شده است: 1. **تغییرات تابع هزینه (Loss Function):** - مشاهده تغییرات تابع هزینه در طول زمان یکی از راه‌های اصلی برای ارزیابی بهبود گرادیان کاهشی است. در حالی که گرادیان کاهشی به سمت بهترین پارامترها حرکت می‌کند، تابع هزینه باید کمینه شود. 2. **استفاده از داده‌های اع…
چگونه مثدار نرخ یادگیری رو تیون کنیم
مثدار نرخ یادگیری یک روش تطبیقی است که نرخ یادگیری را بر اساس تاریخچه گرادیان‌ها تنظیم می‌کند. این به معنای آن است که مثدار نرخ یادگیری به‌طور دینامیک تغییر می‌کند و می‌تواند به بهبود سرعت یادگیری کمک کند. در اینجا چند نکته برای تیون مثدار نرخ یادگیری آمده است: 1. **انتخاب الگوریتم مثدار نرخ یادگیری:** - انتخاب الگوریتم مثدار نرخ یادگیری مهم است. الگوریتم‌هایی مانند Adam، RMSprop، Adagrad و Adadelta به خوبی در تطبیق با تاریخچه گرادیان‌ها عمل می‌کنند. این الگوریتم‌ها بسیار موثر برای مسائل مختلف…
منظور از کلاسیفیکیشن باینری چیست ؟
در مسائل یادگیری ماشین، کلاسیفیکیشن به معنای دسته‌بندی یا تخصیص یک داده به یک یا چند دسته مشخص می‌باشد. کلاسیفیکیشن باینری یک نوع خاص از کلاسیفیکیشن است که در آن هدف تخصیص یا دسته‌بندی داده‌ها به دو دسته متفاوت است. دو دسته اصلی در کلاسیفیکیشن باینری به نام‌های "مثبت" و "منفی" شناخته می‌شوند. برای درک بهتر، مثال‌هایی از کلاسیفیکیشن باینری عبارتند از: 1. **تشخیص ایمیل‌های اسپم:** - در این مسئله، هدف تخصیص هر ایمیل به یکی از دو دسته "اسپم" یا "غیراسپم" است. این یک مثال از کلاسیفیکیشن باینری است.…
مفهوم رگرسیون لاجستیک چیست ؟
رگرسیون لاجستیک یک روش مدلسازی برای پیش‌بینی احتمال وقوع یک دو حالته (دودویی) مانند خرید محصول یا کلیک بر روی تبلیغ است. این روش از تابع لاجستیک برای تبدیل خروجی رگرسیون خطی به احتمال استفاده می‌کند. با آموزش وزن‌ها از داده‌های آموزش، مدل می‌تواند احتمال وقوع رویداد را برای داده‌های جدید پیش‌بینی کند.
فرمول رگرسیون لجستیک چیست ؟
مرز تصمیم گیری
مرز تصمیم‌گیری در مدل‌های کلاسیفیکیشن به مرزی اشاره دارد که جداکننده بین دو کلاس مختلف است. این مرز تصمیم‌گیری بر اساس احتمالات محاسبه شده توسط مدل استفاده می‌شود تا تصمیم بگیرد که یک نمونه به کدام کلاس تعلق دارد. برای مدل‌های رگرسیون لاجستیک، مرز تصمیم‌گیری به شکل زیر تعریف می‌شود: مقدار آستانه می‌تواند تغییر کند و در اثر آن، مرز تصمیم‌گیری تغییر می‌کند. اگر مقدار آستانه را بزرگ‌تر کنیم، مدل بیشتر نمونه‌ها را به کلاس 0 (منفی) تصمیم خواهد داد و اگر مقدار آستانه را کوچک‌تر کنیم، مدل بیشتر نمونه‌…
مرز تصمیم گیری غیر خطی چیست
مرز تصمیم‌گیری غیرخطی به یک مرز تصمیم‌گیری اشاره دارد که به دلیل ویژگی‌های غیرخطی داده‌ها، به شکل غیرخطی است. در مدل‌های کلاسیفیکیشن، این مرز تصمیم‌گیری معمولاً توسط مدل‌هایی با پیچیدگی بالا یا توانایی مدل‌سازی غیرخطی به دست می‌آید. به عنوان مثال، اگر مدلی مانند مدل درخت تصمیم (Decision Tree)، مدل درخت تصمیم تصمیم‌گیری غیرخطی فراهم می‌کند. در یک درخت تصمیم، مرزهای تصمیم‌گیری به شکل گام‌های درختی و مسیرهای مختلف نمایش داده می‌شوند که به ویژگی‌های مختلف داده‌ها بستگی دارد. همچنین، مدل‌هایی مانند…
تابع هزینه MSE لاجستیک محدب هست یا غیرمحدب
چرا از تابع هزینه MSE مناسب برای رگرسیون لاجستیک نیست ؟
بله، یکی از دلایل عدم مناسبی تابع هزینه MSE برای مسائل رگرسیون لاجستیک، محدب نبودن این تابع هزینه است. در واقع، تابع هزینه MSE برای مسائل رگرسیون لاجستیک به صورت غیرمحدب و زیاده‌خواهی ناپذیر است. مسئله زیاده‌خواهی (overfitting) در توابع هزینه غیرمحدب از جمله MSE می‌تواند به عدم پایداری و بهبود ناپذیر مدل منجر شود. در حالت‌هایی که مدل با توابع هزینه غیرمحدب بهینه می‌شود، شاید مدل به داده‌های آموزشی بسیار خوب عمل کند، اما احتمال زیادی از این بهبود به علت زیاده‌خواهی ویژگی‌های خاص به داده‌های آموز…
فرق loss function با cost function چیست
تابع لاس یا زیان برای اندازه گیری میزان خطا برای هر نمونه اموزشی به کار گرفته می شود اما تابع هزینه یا کاست برای اندازه گیری میزان خطا برای تمام داده های اموزش بکار می رود
مجموعه تمام زیان ها روی همه نمونه های اموزشی مقدار هزینه را می دهد
فرمول تابع لاس لاجستیک چیه
نحوه ساده سازی تابع لاس که به تابع هزینه یا کاست میرسیم رو بنویسید
منظور از واریانس بالا در یادگیری ماشین چیست ؟
اگر مدل را برای دو مجموعه داده خیلی شبیه به هم اموزش دهیم خروجی پیش بینی برای دو مدل بسیار متفاوت خواهد بود . تعریف اینترنتی : در یادگیری ماشین، واریانس بالا به میزان پراکندگی یا نوسان مدل در پیش‌بینی خروجی برای داده‌های مختلف اشاره دارد. به عبارت دیگر، واریانس بالا نشان‌دهنده این است که مدل در مقابل تغییرات کوچک در داده‌ها یا نمونه‌های مختلف حساس است و پیش‌بینی‌ها یا خروجی‌ها به نسبت به یکدیگر پراکنده هستند. وقتی مدلی واریانس بالا دارد، این ممکن است به معنای زیاده‌روی یا افراز و نشیب غیرضروری…
در تصاویر زیر کدام under fit و کدام overfit و کدام کامل فیت هست و میزان بایاس و واریانس در کدام شکل ها زیاد هست ؟
ایراد عملیات انتخاب ویژگی ها برای مقابله با بیش فرازش یا overfitting چیست و برای مقابله آن چه روشی استفاده می کنیم ؟
ویژگی های مفید زمان گلچین کردن ویژگی ها ممکنه از بین بره regularization کردن
ایا بایاس رو هم regularize می کنیم ؟
معمولا بایاس رو انجام نمی دهیم چون تاثیر خیلی کمی این عمل داره
مزیت عمل regularize پارامتر ها چیست ؟
باعث میشه همه ویژگی ها رو داشته باشیم اما جلوگیری می کنه از تاثیر زیاد بعضی ویژگی ها
برای اینکه تو تابع هزینه یک ویژگی یا وزن رو تاثیر کمی بذاریم چیکار می کنیم
ضریب بزرگی به اون میدهیم چون به این صورت باید وزن کمی داشته باشد که تابع هزینه مقدار کمی بگیرد .
فرمول regularization term رو بنویسید
فرق lazy learning با eager learning چیه
Lazy Learning و Eager Learning دو رویکرد مختلف در الگوریتم‌های یادگیری ماشین هستند. این دو رویکرد از نظر زمانی و نحوه استفاده از داده‌ها متفاوت هستند. 1. **Lazy Learning (یا Instance-Based Learning یا Memory-Based Learning):** - در این رویکرد، مدل در مرحله آموزش هیچ کاری انجام نمی‌دهد. به جای آن، مدل فقط داده‌های آموزشی را به خاطر می‌سپارد (ذخیره می‌کند) و هیچ فرآیندی برای یادگیری از داده‌ها انجام نمی‌دهد. - هنگامی که نیاز به پیش‌بینی برای یک نمونه جدید پیش می‌آید، مدل با استفاده از داده‌های آم…
فاصله اقلیدسی در knn با چه فرمولی محاسبه می شود ؟
محاسبه فاصله منهتن و فاصله اقلیدسی و فاصله کسینوسی را فرمول هایشان را بنویسید
چگونه داده های اموزشی را نرمالیزه کنیم ؟ انواع روش ها رو نام ببرید و فرمول هایشان رو بگویید
در مسئله knn منظور از curse of dimensionality چیتس ؟
Curse of Dimensionality (لعنت ابعاد) یک مفهوم مهم در مسائل مربوط به تعداد بُعد (ابعاد) فضای ویژگی‌ها است. این مفهوم در مسائلی که تعداد بُعد فضای ویژگی‌ها بالا باشد، اثرات مخربی را بر کارایی الگوریتم‌های یادگیری ماشینی، به ویژه در روش‌های مبتنی بر فاصله مانند k-Nearest Neighbors (k-NN)، ایجاد می‌کند. در مسئله k-NN، Curse of Dimensionality به عنوان یک چالش اساسی مطرح می‌شود. در مسائل با تعداد بُعد زیاد، مسافت میان نقاط به یکدیگر افزایش می‌یابد و نواحی فضا با افزایش تعداد بُعد، کاهش می‌یابند. این…
برای حل مشکلات k-nn ما از دو ساختار cross validation و Indexing استفاده می کنیم این دو رو توضیح دهید
مزایا و معایب یادگیری نمونه رو توضیح دهید
منظور از LWR - Locally weighted Regression چیست
انتخاب مقدار k چه تاثیری در knn دارد ؟
رابطه میزان دیتا بر شبکه عصبی چیست نسبت به هوش مصنوعی سنتی و بیشترین کارایی رو در کدام نوع یادگیر داریم بر اساس نمودار ؟
منظور از خروجی نرون awareness چیست
مفهوم "خروجی نرون awareness" به طور عمومی در زمینه شبکه‌های عصبی و یادگیری عمیق (Deep Learning) به کار می‌رود. این مفهوم به توانایی نرون یا لایه در درک و تشخیص اطلاعات یا ویژگی‌های خاص در داده‌ها اشاره دارد. ویژگی awareness به این معناست که نرون یا لایه قادر به تشخیص و درک ویژگی‌های خاص در داده‌های ورودی است. این ویژگی‌ها می‌توانند اطلاعات مهم یا الگوهای خاص در داده‌ها باشند که برای مسئله مورد نظر مهم هستند. برای مثال، در یک شبکه عصبی که برای تشخیص تصاویر چهره از داده‌های تصاویر آموزش دیده شده…
کلمه ReLU از چه کلمه انگلیسی تشکیل شده است ؟
Rectified Linear Unit
فرق تابع خطی با تابع ReLU چیست؟
چه زمانی از تابع فعال سازی سیگموئد در لایه خروجی استفاده می کنیم ؟
چه زمانی از تابع فعال سازی خطی در لایه خروجی استفاده می کنیم ؟
چه زمانی از تابع فعال سازی ReLU در لایه خروجی استفاده می کنیم
چرا در لایه پنهان بجای سیگموئد از ReLU استفاده می کنیم ؟
backpropagation چیست ؟
Backpropagation یک الگوریتم یادگیری ماشین است که در شبکه‌های عصبی مورد استفاده قرار می‌گیرد: 1. **محاسبه خطا:** - Backpropagation با محاسبه خطای پیش‌بینی شده توسط مدل (با مقایسه خروجی پیش‌بینی شده با خروجی واقعی) شروع می‌شود. 2. **انتقال خطا به عقب:** - خطا به عقب در شبکه عصبی منتقل می‌شود. برای هر نرون، میزانی از خطا که به آن نرون اختصاص یافته، محاسبه می‌شود. 3. **تنظیم وزن‌ها:** - با استفاده از میزان خطا به عقب، وزن‌های شبکه به روزرسانی می‌شوند. این به معنای تنظیم وزن‌ها به نحوی که خطا کمینه…
فرق forward prop با back prop چیست ؟
Forward Propagation (پیشرو به جلو) و Backpropagation (پشتیبانی به عقب) دو مرحله مهم در فرآیند آموزش شبکه‌های عصبی هستند: 1. **Forward Propagation:** - در این مرحله، ورودی‌ها از طریق شبکه عصبی به جلو منتقل می‌شوند. هر لایه از شبکه، با وزن‌ها و توابع فعال‌سازی، محاسباتی را انجام می‌دهد و خروجی به لایه بعد منتقل می‌شود. این فرآیند تا رسیدن به لایه خروجی ادامه می‌یابد. - در هر مرحله، شبکه یک پیش‌بینی برای داده‌های ورودی ارائه می‌دهد. این پیش‌بینی ممکن است با خروجی واقعی متفاوت باشد. 2. **Backpropag…
منظور از multiclass classification چیه ؟
Multiclass classification به معنای دسته‌بندی چند کلاسه است. در این نوع دسته‌بندی، هدف تخمین یک متغیر نوعی است که به چندین کلاس ممکن تعلق دارد. با داشتن مثالی از دسته‌بندی چند کلاسه، می‌توان بهتر مفهوم را درک کرد. برای مثال: - **دسته‌بندی دستخط:** در یک مسئله دستخط، هر نمونه (دستخط) ممکن است به یکی از چندین کلاس تعلق داشته باشد، مانند "نویسنده ۱"، "نویسنده ۲"، "نویسنده ۳" و الیه. در اینجا، ما با یک مسئله دسته‌بندی چند کلاسه سر و کار داریم که هر دستخط به یکی از چند کلاس ممکن نسبت داده می‌شود. - *…
منظور از softmax regression چیست
Softmax Regression یک روش دسته‌بندی چند کلاسه استفاده شده در مسائلی که نمونه‌ها به چندین کلاس مختلف تعلق دارند. این روش از تابع softmax به عنوان تابع فعال‌سازی برای تبدیل اسکورها به احتمالات استفاده می‌کند. تابع softmax برای هر اسکور، احتمال تعلق به کلاس مربوطه را محاسبه می‌کند. این تابع اسکورها را به احتمالات تبدیل می‌کند به طوری که مجموع احتمالات برابر با ۱ باشد. Softmax Regression به کمک این احتمالات تصمیم می‌گیرد که هر نمونه به کدام کلاس تعلق دارد. این روش به خصوص برای مسائل دسته‌بندی چند ک…
منظور از Machine learning diagnostic چیه
ما برای بررسی مدل دیتا ست رو به سه دسته تقسیم می کنیم ان سه دسته چی هستن
فرمول یافتن اررور در اموزش و cross validation و تست رو بنویسید
رابطه میزان اررور یا هزینه در ترین و cross validation با بایاس و میزان fit بودن چیست ؟
رابطه میزان degree of polynomial با اررور در train و crossvalidation چیست ؟
منظور از degree of polynomial چیست تو یادگیری ماشین
مرتبه چند جمله ای هست
چگونه با استفاده از تابع هزینه یا اررور train و Crossvalidation متوجه میزان بالا پایین بودن بایاس و واریانس شویم ؟
با افزایش تعداد نمونه های اموزش انتخاب مدل برای پوشش دادن تمام نمونه ها سخت تر است لذا خطای اموزش بیشتر می شود