دسته بندی | پاورپوینت |
فرمت فایل | ppt |
حجم فایل | 58 کیلو بایت |
تعداد صفحات فایل | 40 |
پاورپوینت مقدمه ای بر داده کاوی و اکتشاف دانش در 40 اسلاید قابل ویرایش
مقدمه
nامروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ، نیاز به ابزاری است تا بتوان داده های ذخیره شده پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد .
nبا استفاده ار پرسش های ساده در SQL و ابزارهای گوناگون گزارش گیری معمولی ، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند
nوقتی که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است
از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند .
nداده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند .
مفاهیم پایه در داده کاوی
nدر داده کاوی معمولا به کشف الگوهای مفید از میان داده ها اشاره می شود . منظور از الگوی مفید ، مدلی در داده ها است که ارتباط میان یک زیر مجموعه از داده ها را توصیف می کند و معتبر ، ساده ، قابل فهم و جدید است .
ت
عریف داده کاوی
nداده کاوی عبارت است از فرایند استخراج اطلاعات معتبر ، از پیش ناشناخته ، قابل فهم و قابل اعتماد از پایگاه داده های بزرگ و استفاده از آن در تصمیم گیری در فعالیت های تجاری مهم.
nاصطلاح داده کاوی به فرایند نیم خودکار تجزیه و تحلیل پایگاه داده های بزرگ به منظور یافتن الگوهای مفید اطلاق می شود
nداده کاوی یعنی جستجو در یک پایگاه داده ها برای یافتن الگوهایی میان داده ها
مراحل فرایند کشف دانش از پایگاه داده ها
nانبارش داده ها
nانتخاب داده ها
nتبدیل داده ها
nکاوش در داده ها
nتفسیر نتیجه
دسته بندی | کامپیوتر و IT |
فرمت فایل | ppt |
حجم فایل | 627 کیلو بایت |
تعداد صفحات فایل | 15 |
فهرست مطالب:
درباره صفحات وب
داده کاوی چیست؟
وب کاوی چیست؟
مراحل وب کاوی
انواع داده کاوی
انواع الگوریتم های وب کاوی
درخت تصمیم
شبکه عصبی
Page Rank
کاربرد های عمده وب کاوی
دسته بندی | کامپیوتر و IT |
فرمت فایل | pptx |
حجم فایل | 375 کیلو بایت |
تعداد صفحات فایل | 32 |
پاورپوینت بررسی داده کاوی (Data Mining)
مقدمه
از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شد. همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها و آمارشناسان با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافته اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند و امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است. حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای عظیمی از داده ها شده است به طوری که ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است .
چنان که در عصر حاضر گفته می شود « اطلاعات طلاست»
سابقه داده کاوی
داده کاوی و کشف دانش در پایگاه داده ها از جمله موضوع هایی هستند که همزمان با ایجاد و استفاده از پایگاه داده ها در اوایل دهه 80 برای جستجوی دانش در داده ها شکل گرفت.
شاید بتوان لوول (1983) را اولین شخصی دانست که گزارشی در مورد داده کاوی تحت عنوان « شبیه سازی فعالیت داده کاوی » ارائه نمود. همزمان با او پژوهشگران و متخصصان علوم رایانه، آمار، هوش مصنوعی، یادگیری ماشین و . . . نیز به پژوهش در این زمینه و زمینه های مرتبط با آن پرداخته اند.
فهرست مطالب
مقدمه
سابقه داده کاوی
بخش اول – مفهوم داده کاوی
1-1 – فرآیند داده کاوی
1-2 – ابزارهای داده کاوی
1-2-1 – هم پیوندی
1-2-2 – طبقه بندی
1-2-3 – الگوهای ترتیبی
1-2-4 – خوشه بندی
1-3 – کاربردهای داده کاوی
1-3-1 – کاربردهای تجاری
1-3-2 – کاربردهای علمی
1-3-3 – کاربردهای امنیتی
بخش دوم – داده کاوی توزیع شده
بخش سوم – عامل ها ، سِستمهای چند عامله و داده کاوی توزیع شده
3-1 – عامل
3-2 – سیستمهای چند عامله
بخش چهارم – پروسه ی کشف دانش از پایگاه داده
4-1 – ویژگی های KDD
4-1-1 – استخراج داده ها
4-1-2 – آماده کردن داده ها
4-1-3 – مهندسی داده ها
4-1-4 – مهندسی الگوریتم و تعیین استراتژی های کاوش
4-1-5- اجرای الگوریتم کاوش و ارزیابی نتایج
دسته بندی | روانشناسی و علوم تربیتی |
فرمت فایل | doc |
حجم فایل | 2155 کیلو بایت |
تعداد صفحات فایل | 20 |
مقاله ترجمه شده داده کاوی با روش های مختلف بهینه سازی قابل ویرایش با فرمت doc به همراه اصل مقاله انگلیسی
چکیده
ترافیک (عبور و مرور) جادهای به عنوان منبع اصلی سر و صدای محیطهای شهری شناخته شده و به اثبات رسیده است که این سر و صدا به طور قابل توجهی بر سلامت جسمی و روانی انسان و بهره وری نیروی کار تأثیر می گذارد. پس، بسیار مهم است برای کنترل سطح صوتی این سر و صدا در محیطهای شهری به توسعۀ روشهای مدلسازی سر و صدای ترافیک جادهای بپردازیم.همانطور که در ادبیات موضوع مشاهده می شود، روشهایی که با این موضوع سر و کار دارند عموماً بر اساس تحلیل رگرسیون پایه گذاری شدهاند و دیگر رویکردها کمتر بهکار برده شدهاند. در این مقاله روشی جدید ارائه شده که بر اساس بهینهسازی استوار است. در شبیه سازی این کار از چهار تکنیک استفاده شده است؛ الگوریتم ژنتیک، الگوریتم هوکی و جیوز، بازپخت و تبرید شبیه سازی شده و بهینه سازی اجتماعات. دو سناریوی متفاوت در این مقاله ارائه شده است. در سناریوی اولِ روشهای بهینه سازی، برای پیدا کردن مناسبترین پارامترها از کل مجموعه دادههای اندازه گیری شده استفاده می شود، در حالی که در سناریوی دوم، فقط بابعضی از دادههای اندازه گیریپارامترهای بهینه شده پیدا شدند در حالی که از مابقی داده ها برای ارزیابی قابلیت های پیش بینی مدل استفاده شد. برازش مدل با استفاده از ضریب تعیین و دیگر پارامترهای آماری ارزیابی شد و نتایج در هر دو سناریو نتایج نشان دهندۀ توافق بالای بین دادههای اندازهگیری شده و ارزشهای محاسبه شده هستند. همچنین، این مدل را با مدلهای آماری کلاسیک هم مقایسه کردیم و قابلیتهای برتر مدل پیشنهادی ما نشان داده شد. شبیهسازی نیز با استفاده از بسته ای از نرم افزارهای موثق و کاربر پسند انجام شد.
کلمات کلیدی: سروصدای ترافیک، هوش مصنوعی، الگوریتم ژنتیک، هوکی و جیوز، بازپخت و تبرید شبیه سازی شده، بهینه سازی اجتماع ذرات، نرم افزار
دسته بندی | کامپیوتر و IT |
فرمت فایل | doc |
حجم فایل | 146 کیلو بایت |
تعداد صفحات فایل | 24 |
معرفی دادهکاوی و دلایل پیدایش آن
تعاریف داده کاوی
جایگاه دادهکاوی در علوم کامپیوتر
1. داده کاوی توصیفی یا توصیف کننده
2. داده کاوی پیشگویانه
1. بیان مسئله و فرموله کردن فرضیه
2. انتخاب و جمع آوری داده ها
3. تبدیل و پیش پردازش داده ها
4. برآورد مدل یا کاوش در داده ها
5. تفسیر نتیجه یا تفسیر مدل و رسیدن به نتایج
1. مدل استاندارد داده ها
2. دو وظیفه اصلی در آماده سازی داده ها
1. نرمال سازی
1-1 مقیاس دهی اعشاری
2-1 نرمال سازی حداقل-حداکثر
3-1 نرمال سازی انحراف معیار
2. یکنواخت سازی داده ها
3. تفاضل ها و نسبت ها
1. روش های آماری 2. تشخیص داده های نامنطیق برمبنای فاصله 3. روش ها و تکنیک های برمبنای انحراف
2-1 کاهش زمان محاسبه.
2-2 افزایش یادگیری در دقت پیشگویانه/توصیفی.
2-3 سادگی در ارائه مدل داده کاوی.
1. نمونه گیری سیستمی.
2. نمونه گیری تصادفی.
3. نمونه گیری لایه ای.
4. نمونه گیری معکوس.
مقدمه
امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها، نیاز به ابزاری است تا بتوان داده های ذخیره شده پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.
با استفاده ار پرسش های ساده درSQL و ابزارهای گوناگون گزارش گیری معمولی، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد، کاربران هر چقدرحرفه ای و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شند، هزینه عملیات از نظر نیروی انسانی و مالی بسیار بالا است.
بنابراین میشود گفت که درحال حاضر یک تغییر الگو از مدل سازی و تحلیل های کلاسیک برپایه اصول اولیه به مدل های درحال پیشرفت و تحلیل های مربوط بطور مستقیم از داده ها وجود دارد.
داده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.
تعاریف داده کاوی
در متون آکادمیک تعاریف گوناگونی برای داده کاوی ارائه شده اند. در برخی از این تعاریف داده کاوی در حد ابزاری که کاربران را قادر به ارتباط مستقیم با حجم عظیم داده ها می سازد معرفی گردیده است و در برخی دیگر، تعاریف دقیقتر که درآنها به کاوش در داده ها توجه می شود موجود است.
برخی از این تعاریف عبارتند از :
نکته: همانگونه که در تعاریف گوناگون داده کاوی مشاهده می شود، تقریبا در تمامی تعاریف به مفاهیمی چون استخراج دانش ، تحلیل و یافتن الگوی بین داده ها اشاره شده است.
" داده کاوی فرآیندی است که طی آن با استفاده از ابزار های تحلیل داده به دنبال کشف الگوها و ارتباطات میان داده های موجود که ممکن است منجر به استخراج اطلاعات جدیدی از پایگاه داده گردند، می باشد."
در داده کاوی از بخشی از به نام تحلیل اکتشافی داده ها استفاده می شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکید می شودبنابراین می توان گفت در داده کاوی تئوریهای پایگاه داده ها، هوش مصنوعی، یادگیری ماشین وعلم آمار را در هم می آمیزند تا زمینه کاربردی فراهم شود.
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها در حد گیگابایت یا ترابایت، مواجه باشیم که از این نظر یکی از بزرگترین بازارهای هدف، انبارجامع داده ها، مراکز داده وسیستم های پشتیبانی تصمیم برای بدست آوردن تخصص هایی در صنایعی مثل شبکه های توزیع مویرگی، تولیدف مخابرات، بیمه و... می باشد.
دسته بندی | کامپیوتر و IT |
فرمت فایل | doc |
حجم فایل | 84 کیلو بایت |
تعداد صفحات فایل | 8 |
ظهور بانکداری الکترونیکی موجب تغییر در انجام ارتباطات ، عملیات و تراکنش های بانکی شده است . در این میان سرقت هویت و اطلاعات به روش های مختلف صورت می گیرد که فیشینگ رایجترین آنهاست که بیشتر از طریق وب سایت بانکداری الکترونیکی و ایمیل انجام می شود. ما در اینجا به بررسی سیستم های هوشمند برای تشخیص سریع تر و کار آمد تر این وب سایت ها با استفاده از طبقه بندی مجموعه های فازی می پردازیم . در اینجا ، بازیابی اطلاعات مربوطه با توجه به نیاز های اطلاعاتی کاربر است . به طور کلی فرایند بازاریابی اطلاعات از دو مرحله تشکیل شده است. مرحله اول مدل های بازیابی احتمالی که به محاسبه ی ارتباط بین نیاز کاربر به اطلاعات و هریک از اسناد موجود در مجموعه می پردازد. در مرحله دوم به تمرکز روی چگونگی رتبه بندی اسناد محاسبه شده پرداخته می شود.........
واژگان کلیدی: بازیابی اطلاعات ، داده کاوی ، مجموعه های فازی ،منطق فازی ، فیشینگ
فهرست مطالب
الف - عنوان پایان نامه
ب - واژگان کلیدی
تعریف مسأله و بیان اصلی تحقیق
سابقه و ضرورت انجام تحقیق
فرضیه ها
هدف ها
چه کاربردهائی از انجام این تحقیق متصور است
استفاده کنندگان از نتیجة پایان نامه
جنبة جدید بودن و نو آوری طرح در چیست ؟
روش انجام تحقیق
روش و ابزار گردآوری اطلاعات
روش آماری اجرای پایان نامه
جدول زمانبندی مراحل انجام تحقیق
فهرست منابع مورد استفاده در نگارش این پیشنهادیه
دسته بندی | کامپیوتر و IT |
فرمت فایل | doc |
حجم فایل | 274 کیلو بایت |
تعداد صفحات فایل | 40 |
مقاله نگاهی بر داده کاوی و کشف قوانین وابستگی
چکیده:
امروزه داده کاوی به عنوان یکی از مهمترین مسائل هوش مصنوعی و پایگاه داده، محققان یسیاری را به خود جذب کرده است. در این تحقیق ابتدا نگاه کلی بر داده کاوی، استراتژیهای داده کاوی و... داریم، سپس مسأله کشف قوانین وابستگی در پایگاه داده را به تفضیل بررسی کردیم و نگاهی به الگوریتمهای موجود برای آن داشتیم. سپس مسأله کشف قوانین وابستگی در پایگاه داده های پویا را مورد بحث قرار دادیم و الگوریتم های ارائه شده مربوطه را مطرح کردیم.
Data mining(داده کاوی)
تعریف :
داده کاوی فرآیند بکارگیری یک یا چند تکنیک آموزش کامپیوتر، برای تحلیل و استخراج داده های یک پایگاه داده می باشد.در واقع هدف داده کاوی یافتن الگوهایی در داده هاست.
دانش کسب شده از فرآیند داده کاوی بصورت مدل یا تعمیمی از داده ها نشان داده می شود.
چندین روش داده کاوی وجود دارد با این وجود همه روشها “ آموزش بر مبنای استنتاج “ را بکار می برند.
آموزش بر مبنای استنتاج، فرآیند شکل گیری تعاریف مفهوم عمومی از طریق مشاهده مثالهای خاص از مفاهیمی که آموزش داده شده اند، است.
مثال زیر نمونه ای از دانش بدست امده از طریق فرایند اموزش بر مبنای استنتاج است:
آیا تا کنون فکر کرده اید، فروشگاههای بزرگ اینترنتی در mail های خود به مشتریان از چه تبلیغاتی استفاده می کنند؟ و آیا این تبلیغات برای همه مشتریان یکسان است؟
پاسخ این است که از روی دانش کسب شده از اطلاعات خرید افراد و نتیجه گیری از این دانش، این کار را انجام می دهند.مثلا در نظر بگیرید یک قانون در پایگاه داده بصورت زیر استخراج می شود:
دقت = 80% : سیگار می خرند ^ نان می خرند کسانی که شیر می خرند
از روی این قانون فروشگاه می تواند به تمام کسانی که شیر می خرند تبلیغات سیگار و انواع نان را نیز بفرستد.همچنین این قانون در چیدن قفسه های فروشگاه نیز بی تاثیر نخواهد بود.
{شیر و نان و سیگار در قفسه های کنار هم چیده شوند}
کشف دانش در پایگاه داده 1
KDD یا کشف دانش در پایگاه داده اصطلاحی است که مکررا بجای داده کاوی بکار می رود. از نظر تکنیکی، KDD کاربردی از روشهای علمی داده کاوی است.
بعلاوه برای انجام داده کاوی فرایند KDD شامل :
1- یک روش برای تهیه داده ها و استخراج داده ها ،
2- تصمیم گیری درباره عملی که پس از داده کاوی باید انجام شود،
می باشد.
آیا داده کاوی برای حل مسائل ما مناسب است؟
تصمیم گیری در مورد اینکه آیا داده کاوی را به عنوان استراتژی حل مساله بکار ببریم یا نه، یک مساله دشوار است.
اما به عنوان نقطه شروع چهار سؤال عمومی را باید در نظر بگیریم :
1. آیا به وضوح می توانیم مساله را تعریف کنیم ؟
2. آیا بطور بالقوه داده با معنی وجود دارد ؟
3. آیا داده ها شامل “ دانش پنهان” هستند یا فقط برای هدف گزارشگری مناسبند ؟
4. آیا هزینه پردازش داده (برای داده کاوی) کمتر از سود حاصل از دانش پنهان بدست آمده از پروژه داده کاوی است ؟
یک مدل پردازش داده کاوی ساده :
در یک دید کلی ، ما می توانیم داده کاوی را به عنوان یک فرآیند چهار مرحله ای تعریف کنیم :
1. جمع آوری یک مجموعه از داده ها برای تحلیل
2. ارائه این داده ها به برنامه نرم افزاری داده کاوی
3. تفسیر نتایج
4. بکارگیری نتایج برای مساله یا موقعیتهای جدید