نجام پایان نامه کارشناسی ارشد داده کاوری/هوش مصنوعی/پردازش تصویر انجام پایان نامه شبکه عصبی داده کاوی ارشد / ماشین بردارپشتیبان/درخت تصمیم/آنزامبل کلاسیفایر انجام پایان نامه تشخیص نفوذ با داده کاوی/انجام پایان نامه تشخیص ریسک با داده کاوی سفارش پایان نامه داده کاوی/ تشخیص سرطان، تشخیص بیماری/تشخیص نار
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
عمل داده کاوی از یک پایگاه داده به چند مرحله مشخص تقسیم می شود که ما در این فصل به معرفی و توضیحی نسبتا کامل در مورد هر یک از این مراحل خواهیم پرداخت:
1- مرحله اول : تشکیل انبار داده
2- مر حله دوم : انتخاب داده ها
3- مرحله سوم : تبدیل داده ها
4- مرحله چهارم : کاوش در داده ها
5- مر حله پنجم : تفسیر نتیجه
1- انباره داده ها (Datawarehouse)
در این نوشته، نگاهی خواهم داشت به مقدمات مفاهیم انبارکردن داده ها بدون ورود به بحث های تخصصی مرتبط تا در آینده بتوانم در مطلب مستقلی به مفهوم داده در سازمانهای امروزی نگاهی داشته باشم.
تعریف: می توان تعاریف مختلفی را برای Datawarehouse:
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
1- تعریف Ralhp Kimball از انباره داده : یک DW نسخه ای از داده های تراکنشی است که به صورت اختصاصی برای پرس و جو ها و گزارش گیری ،سازمان دهی شده است.
A data warehouse is a copy of transaction data specifically structured for querying and reporting.
گرچند به این تعریف دو ایراد وارد است:که اولاً گاهی داده هایی که در یک DW ذخیره می شوند ،غیرتراکنشی هستند . اگرچه معمولاً 95 تا 99 درصد داده ها تراکنشی هستند . ثانیاً خروجی اصلی سیستم های DW ، لیست گیری های فهرست وار (queries) در حجم کم و یا گزارش های اداری در حجم زیاد هستند
2- اگر تعاریف زیر برقرار باشد:
داده : حقحیقت قابل مشاهده ، فایل ضبط
اطلاع : مجموعه سازماندهی شده از حقیقت ها ؛ داده های با ارتباط و هدف
سیستم عملیاتی : محیطی از داده ها و برنامه های لازم برای ادامه فعالیتهای یک سازمان
انبار داده ی اطلاعی :مجموعه ای از داده و برنامه ها، برای "تحلیل " و "تصمیم گیری "، جدا از سیستم عملیاتی
یک انباره داده(DW) معماری جداگانه ای است برای نگهداری داه های حساس تاریخی که این داده ها از انبار داده های عملیاتی به دست آمده اند و به صورتی قابل درک برای عملیات تحلیل سازمان درآمده اند.
3- یک تعریف از W.H.INMON
یک DW مجموعه ای از اطلاعات یکپارچه که دارای قابلیت آنالیز کردن و استخراج داده ها (query)میباشد
"repository of integrated information, available for querying and analysis "
بعضی از خصوصیات Data warehouse ها از این قرارند :
•یکپارچه بودن
•متغیر با زمان
•غیر فرار
•موضوع گرا (Subject-oriented)
تاریخچه:
بعد از رشد استفاده از TPS ها به عنوان سیستمهای پرداش تراکنش در بخش های عملیاتی سازمان، نیاز جدی به سیستمهای اطلاعاتی که بتوانند عملیات گزارش گیری را علی الخصوص در رده گزارشهای مدیریتی ساماندهی کنند احساس می شد. علی الخصوص بوجود آمدن جزایر فنآوری، سیستمهایی که به صورت جد از هم فعالیت می کرد و امکان تهیه گزارشات ترکیبی از اطلاعات سیستمهای مختلف و انجام پرس و جو ها را مشکل و یا غیر ممکن می نمود. بنابراین حرکت به سمت سیستمهای اطلاعات مدیریت (Management Information System) و بویژه سیستمهای گزارشگیری مدیریتی (MRS:Management Reporting System) آغاز شد. اما مشکل آنجا بود که این سیستمها به شدت به TPS ها وابسته بودند و داده هاشان اغلب یکی بود. این باعث می شد که تغییر یکی باعث انتشار تغییرات در همه سیستمها شود. از سوی دیگر ساختار داده ای مشابه، امکان تهیه گزارشات زمانی و موضوعی را مشکل می ساخت. این شد که مدل جدیدی از تفکر ایج
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
اد شد به نام انباره داده ها
دلایل استفاده از DW ها :
1- تهیه گزارشات (Reports) و انجام پرس و جو هایی (Query) که نیاز به عملیات ورودی/خروجی (IO) بسیاری هستند: از اهداف سیستمهای پردازش تراکنش (TPS:Transaction Processing System) آن است که گزارشات مورد نیاز بخش های عملیاتی و مدیریتی را تولید کنند. تهیه این گزارشات معمولا سخت و باحجم زیاد IO همراه است و باعث کند شدن خود سیستمها می گردد. بنابراین شرکت های تجاری به دنبال راهی هستند تا در کمترین زمان و با کمترین هزینه به سیستم هایی دست یابند که زمان پردازش تراکنش ها در آن ها قابل قبول باشد . بهترین راهکار استفاده از DW هایی بود که از منابع IO مجزایی برای گزارش گیری و انجام پرس و جو استفاده می کردند.
2- استفاده از مدل های داده ای و یا تکنولوژی های سرور به منظور بالا بردن سرعت عملیات گزارش گیری و پرس و جو ها که سیستم های عادی پردازش تراکنش ها(TPS) برای آن ها مناسب نیست.
3- ایجاد محیطی برای برای تسهیل و آسان نمودن به دست آوردن گزارش ها و پرس و جو ها و یا ایجاد وسیله ای برای سرعت بخشیدن به عملیات گزارش گیری: اغلب می توان DW ای ساخت که کاربرانی باسطح آگاهی کمتر بتوانند گزارش ها و پرس و جوهای ساده ای را تهیه کنند .
4- برای ایجاد انباری از داده های تصفیه شده ی سیستم های پردازش تراکنش ها (TPS)که می توانند به طور پیوسته گزارش از آن تهیه نمود. این انبار الزاماً احتیاجی به ثابت بودت TPS ها ندارد :DW ها این امکان را به شما می دهند که داده ها را بدون تغییر دادن سیستم های پردازش تراکنش ها ،تصفیه کنند. (clean up) توجه کنید که در برخی از پیاده سازی ها ، DW ها به گونه ای هستند که در آن ها امکان یافتن اصلاحات انجام شده بر روی داده های DW و فرستادن feedback به TPS ها برای اعلام این تغییرات ، وجود دارد. گاهی اوقات این گونه رفتار کردن با تغییرات داده ها بامعناتر از این است که تغییرات را به طور مستقیم بر روی خود TPS ها اعمال کنیم .
5- برای آن که بر اساس قواعد ، گزارش گیری و پژوهش را بر روی داده هایی که از چندین TPS مختلف می آیند و یا از یک منبع داده ای خارجی می آیند، یا اینکه داده هایی هستند که تنها برای گزارش گیری و انجام تحقیقات باید ذخیره شوند ، تسهیل بخشیم:برای مدت زمان مدیدی ، شرکت هایی که نیاز به گزارش هایی بر پایه ی داده های چندین TPS مختلف ، داشتند ؛ مجبور بودند داده های هر TPS را بیرون کشیده ، سپس آن ها را مرتب نموده و در هم ادغام نمایند تا به داده ی چکیده ای برسند که مناسب گزارش گیری است .در بسیاری از موارد این روش مناسب است.اما در شرکت هایی که با حجم عظیمی از داده هایی مواجه هستند که مرتباً نیاز به مرتب سازی و ادغام دارند ؛ در صورتی که نیاز به گزارش گیری از داده های تصفیه شده ی TPS ها داشته باشیم ؛ DW ها کارایی بیشتری دارند.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
6-برای ایجاد مخزنی از داده های TPS ها ، که شامل داده های یک بازه ی زمانی بسیار طولانی هستند وبه همین دلیل کارایی کنترل آن ها توسط خود TPS پایین می آید . :داده های قدیمی تر غالباً از یک TPS خالی می شوند تا زمان پاسخ مورد انتظار دراین سیستم ها ، به راحتی کنترل شود .برای انجام تحقیقات و گزارش ها ممکن است داده های قدیمی و داده های جاری مورد نیاز باشند که در این موارد استفاده از DW به علت مهم نبودن زمان انتظار برای پاسخ ، موثر خواهد بود.
روش کار
در DW فرایندی داریم به نام ETL: Extract, Transform,Load که در طی آن داده ها از سیستمهای پرادزش تراکنش استخراج می شود (E) تغییر فرمت های لازم در آن صورت می گیرد (T) و سپس در قالب داده ای جدید مناسب برای گزارشگیری آماده می شود (L) پس از آن از طریق داده کاوی (Data Mining ) و مکانیزم هایی مانند OLAP پرس و جو ها ایجاد و گزارشات مورد نیاز تهیه می شود.
2- مر حله دوم : انتخاب داده ها
در این مرحله برای کم کردن هزینه های عملیات داده کاوی، داده هایی از پایگاه داده انتخاب می شوند که مورد مطالعه هستند و هدف داده کاوی دادن نتایجی در مورد آنهاست. به عبارت دیگر داده های مرتبط به فرایند Data Mining از سایر داده ها جدا می شود. این مبحث را می توان بخشی از فرایند کاهش اطلاعات نیز دانست.
کاهش اطلاعات عبارت است از تولید یک مجموعه کوچکتر از داده های اولیه که تحت عملیات Data Mining نتایج تقریبا یکسانی با نتایج Data Mining روی اطلاعات اولیه به دست می دهد.
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
این عمل را می توان از طریق حذف خصیصه های غیر مرتبط با نوع عملیات Data Mining مورد نظر انجام داد.
حذف خصیصه های مرتبط که در اثر اشتباه در ارزیابی میزان ارتباط آنها با عملیات Data Mining انجام می گیرد، می تواند منجر به ناکارآمدی فرایند Data Mining و استخراج قوانین ناقص و در نتیجه بی ارزش شود.
عدم حذف خصایص غیر مرتبط می تواند زمان انجاخم عملیات Data Mining را به طرز قابل ملاحظه ای افزایش دهد.
سه روش کلی برای انتخاب خصایص مرتبط با Data Mining وجود دارد:
• انتخاب پیش رونده: در هر مرحله خصیصه ای که بیشترین ارتباط را دارد، برگزیده می شود.
• انتخاب عقب رونده: در هر مرحله خصیصه ای که کمترین ارتباط را دارد، انتخاب و حذف می شود.
• روش ترکیبی : ترکیب هر دو روش پیش رونده و پس رونده
سلسله مراتب مفهومی: روشی برای کاهش تعداد مقادیر ممکن برای یک خصیصه ارائه می دهد، اگر چه داده های خروجی کلی تر بوده و فاقد برخی جزئیات هستند، اما این داده ها بسیار ساده تر بوده و در سطح تجریدی بالاتری نسبت به داده های اولیه قرار دارند.
داده های مرتبط با فرایند Data Mining: بانک اطلاعاتی ممکن است شامل تعداد زیادی از رکورد ها باشد که تنها بخش کوچکی از آنها با فرایند Data Mining مرتبط هستند. مشخص کردن این بخش از اطلاعات باید توسط کاربر انجام گیرد.
نوع دانشی که باید استخراج شود: نوع روتین هایی که باید بر روی داده های انتخاب شده اعمال شوند، باید مشخص گردد.
دانش زمینه ای : کاربران می
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
توانند، با مشخص کردن دانش زمینه ای فرایند Data Mining را هدایت نمایند، برای نمونه حدس کاربر در مورد رفتار اطلاعات.
معیارهای ارزیابی دانش استخراج شده: این معیارها ممکن است در زمان اجرای فرایند Data Mining و یا پس از پایان Data Mining ، روی دانش استخراج شده اعمال شده و بخش ارزشمند دانش را مشخص نمایند.
نحوه ارائه دانش استخراج شده: نمایش دانش و قوانین استخراج شده در قالب های مختلفی نظیر جدول ، نمودار ، درخت تصمیم گیری و ...
3- مرحله سوم: تبدیل داده ها
از آنجائیکه سیستمهای اطلاعاتی و برنامه های کاربردی یک سازمان غالبا توسط افراد و پروژه های مختلف به مـرور زمان در مواجهـه با نیـازهای جدید سـاخته یا تغییر شـکل داده می شـوند، یکسـان سـازی آنها امری ضروری می باشد.در بسیاری از موارد نیز سیستمهای اطلاعاتی در بستر های مختلف پایگاه داده مانند Microsoft SQL Server ،Oracle ، Sybase ، Microsoft Access و غیره طراحی گردیده اند. بررسی جداول، برقراری ارتباط بین فیلدها و یک شکل سازی داده ها در این مرحله صورت می پذیرد.
مشخص است برای انجام عملیات داده کاوی لزوما باید تبدیلات خاصی روی داده ها انجام گیرد ممکن است این تبدیلات خیلی راحت و مختصر مثل تبدیل byte به integer باشد یا خیلی پیچیده و زمان بر و با هزینه های بالا مثل تعریف صفات جدید و یا تبدیل و استخراج داده ها از مقادیر رشته ای و ... باشد.
کیفیت اطلاعات برای انتخاب و استفاده از اطلاعات موجود و عرضه شده در سازمان یا خارج از آن ، از اهمیت فراوانی برخوردار است. از سویی دیگر نیاز به اطلاعات گوناگون برای بقاء هر سازمان با توجه به افزایش پیچیدگی، پویایی و تغییرات محیطی در حال فزونی است. این امر با توجه به رشد نمایی اطلاعات و از طرفی دیگر کوتاه بودن اعتبار آن ابزار و روشهای مناسبی را طلب می نماید تا توسط آن به کیفیت اطلاعات اطمینان پیدا نمود. از اینرو با توجه به اهمیت کیفیت اطلاعات، ارزیابی کیفیت اطلاعات برای دستیابی به اطلاعات موردنیاز سازمان امری مهم و ضروریست و لازم است تا با ایجاد ابزار مناسب (ساختار، ابزار، انسان و …) این مهم را به صورت صحیح و مؤثر مدیریت نمود. از آنجا که موضوع کیفیت ابعاد متفاوتی دارد لذا در ادامه بحث به معرفی کلی این ابعاد از منظر مدیریت کیفیت پرداخته می شود؛ تا با کسب این آشنایی اجمالی، بتوانیم ضمن شناخت محورهایی که می بایست در مورد آنها اطلاعات کسب شود، ابعاد کیفیت اطلاعات مربوط به این عوامل نیز بازیابی و شناسایی گردند. ابعاد کلی مختلفی که در ایجاد کیفیت، نقش ایفاء می نمایند در جدول شماره یک درج شده اند. با توجه به این ابعاد می توان ضمن شناخت اطلا عا ت مورد نیاز منابع تولید این اطلاعات را نیز شناخت.
کیفیت اطلاعات به خودی خود قابل رویت نیست، بلکه کیفیت آنرا می توان از صحت آن و نتایج آن سنجید. صحت اطلاعات نیز در مرحله اول قابل رویت نیست بلکه آنرا با ارزیابی ارائه کننده و درجه اطمینان آنان می توان وابسته نمود. از سوی دیگر اطلاعات معمولاً وابسته به زمان است یعنی آنکه اعتبار آن ممکن است که در طول زمان از بین برود. به عنوان مثال (لیست قیمت یک کالا، دقت یک دستگاه ومیزان تقاضا در بازارو. …) از اینرو باید به صورت مستمر با ایجاد / تعیین مقیاس و شاخص های مناسب برای اطلاعات مورد نیاز، کیفیت اطلاعات را به صورت پویا و مستمرمورد بررسی قرار داد. کیفیت اطلاعات یک مجموعه از نیازهای اطلاعاتی است که برای برطرف نمودن یک نیاز اطلاعاتی/ انجام کاری در سازمان مورد نیاز است (فرآیند - مشتری - ساختار - کارکنان - محصول - خدمات و …) تا با استفاده از آنها، کارها درست و بصورت اثر بخش انجام گردند. در این راستا مرتبط بودن - واضح بودن - معتبر بودن - به موقع بودن - قابل دستیابی بودن و … از جمله مواردی است که اطلاعات با کیفیت مطلوب می بایست دارا باشد.
4- مرحله چهارم : کاوش در داده ها
کاوش داده اغلب با نوشتن مقدار زیادی گزارش و تحقیق و استعلام از آنها اشتباه میشود. اما در واقع کاوش داده هیچکدام از اینها را شامل نمی شود. کاوش داده از طریق تجهیزات مخصوصی انجام میشود که عملیات کاوش از پیش تعریف شده را بر اساس مدلهای تجزیه و تحلیل انجام میدهند. کاوش داده، بررسی داده ها با تمایل به کشف نکات با ارزش و مفید اطلاعات در مقدار متنابهی از داده ها که در طول کار و تجارت بدست آمده است می باشد. کاوش داده با آنالیزهای متداول آماری نیز متفاوت است. در زیر تفاوتهای کاوش داده و آنالیز آماری آمده است. انبار داده Data warehouse از جمله منابع معمول برای بکارگیری کاوش داده هستند زیرا شامل منابع با ارزشی از داده های داخلی که بوسیله روشهای استخراج/ انتقال/ بارگزاری (ETL) جمع آوری، یکپارچه و تایید شده اند.
مراحل داده کاوی
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
انبار داده ها همچنین میتوانند شامل داده های با ارزش خارجی مانند قوانین و ضوابط، جمعیت شناسی یا داده های جغرافیایی باشند که وقتی با داده های داخل سازمانی مخلوط میشوند اساس کاوش داده را پی ریزی میکنند. اما وقتی داده برای انبار داده خلاصه شد، داده های مخفی و روابط و پیوستگی داده ها دیگر قابل تمییز نمی باشند. برای مثال یک ابزار نمیتواند دیگر به بررسی معمولی که بر روی سبد خرید مشتریها با داده های فروش که در هفته خلاصه شده بپردازد زیرا در خلاصه شدن جزییات و روابط و پیوستگیها از بین رفته است. به همین دلیل فایلها و بانکهای داده عملیاتی نیز بعنوان یک منبع معمول هستند زیرا شامل جزییات مبادلاتی و هزاران داده های مخفی هستند.
ابزارهای کاوش داده با بانکهای داده عملیاتی و انبار داده ها بطور مستقیم بدون ساخت بانک داده دست پیدا میکنند. اما بعضی از ابزارهای کاوش داده مثلا روابطی مانند Oracle ، طبقه بندی مانند IMS و حتی فایلهای مسطح مانند VSAM ترجیح میدهند خود نیز یک بانک داده داشته باشند. اما دسترسی مستقیم به انبار داده ها و داده های عملیاتی اصولا توصیه نمی شود .
زیرا:
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
حوضچه های داده Data Pool باید قادر باشند بسته به ابزار کاوش داده تغییر کنند اما تعویض جزئیات یک داده عملیاتی و یا بانکهای اطلاعاتی انبار داده ممکن نمیباشد.
عملکرد داده های عملیاتی و یا بانک داده با عملیاتهای جستجوی داده تحت تاثیر قرار میگیرند. این برای داده های عملیاتی غیر قابل قبول و برای انبار داده ها مطلوب نیست.
یک عملیات کاوش داده ممکن است به جزئیات تاریخی داده احتیاج داشته باشد. بانکهای اطلاعاتی عملیاتی جزئیات تاریخی را نگه نمی دارند و انبار داده ها جزئیات مطلوب را ندارد. بنابر این همانطور که در شکل صفحه قبل آمده است، سازمانها داده ها را برای کاوش داده با توجه به هدف کاوش از انبار داده و یا بانک داده عملیاتی استخراج می کنند
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
عضو شوید
عضویت سریع
آمار مطالب
آمار بازدید
