داده كاوي ( Data mininig)

در دو دهه قبل توانايي های فنی بشر برای توليد و جمع آوری داده‌ها به سرعت افزايش يافته است. عواملی نظير استفاده گسترده از بارکد برای توليدات تجاری، به خدمت گرفتن کامپيوتر ..ادامه مطلب..


در کسب و کار، علوم، خدمات دولتی و پيشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاوير تا سيستم¬های سنجش از دور ماهواره ای، در اين تغييرات نقش مهمی دارند. بطور کلی استفاده همگانی از وب و اينترنت به عنوان يک سيستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. اين رشد انفجاری در داده‌های ذخيره شده، نياز مبرم وجود تکنولوژی های جديد و ابزارهای خودکاری را ايجاد کرده که به صورت هوشمند به انسان ياری رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل کند: داده کاوی به عنوان يک راه حل برای اين مسائل مطرح مي باشد. در يک تعريف غير رسمی داده کاوی فرآيندی است، خودکار برای استخراج الگوهايی که دانش را بازنمايی مي کنند، که اين دانش به صورت ضمنی در پايگاه داده های عظيم، انباره داده و ديگر مخازن بزرگ اطلاعات، ذخيره شده است. داده کاوی بطور همزمان از چندين رشته علمی بهره مي برد نظير: تکنولوژی پايگاه داده، هوش مصنوعی، يادگيری ماشين، شبکه های عصبی، آمار، شناسايی الگو، سيستم های مبتنی بر دانش ، حصول دانش ، بازيابی اطلاعات ، محاسبات سرعت بالا و بازنمايی بصری داده . داده کاوی در اواخر دهه 1980 پديدار گشته، در دهه 1990 گام¬های بلندی در اين شاخه از علم برداشته شده و انتظار می رود در اين قرن به رشد و پيشرفت خود ادامه دهد.

واژه های «داده کاوی» و «کشف دانش در پایگاه داده» اغلب به صورت مترادف یکدیگر مورد استفاده قرار می¬گیرند . کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید، و در نهايت الگوها و مدل های قابل فهم در داده¬ها می¬باشد. داده کاوی، مرحله ای از فرایند کشف دانش می¬باشد و شامل الگوریتم¬های مخصوص داده کاوی است، بطوریکه، تحت محدودیت-های مؤثر محاسباتی قابل قبول، الگوها و یا مدل ها را در داده کشف می¬کند، به بیان ساده تر، داده کاوی به فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق می¬شود. تعریف دیگر این است که، داده کاوی گونه¬ای از تکنیک¬ها برای شناسایی اطلاعات و یا دانش تصمیم گیری از قطعات داده می¬باشد، به نحوی که با استخراج آنها، در حوزه¬های تصمیم¬گیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار گیرند. داده ها اغلب حجیم، اما بدون ارزش می¬باشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می¬باشد. به این دلیل اغلب به داده کاوی، تحلیل داده¬ای ثانویه گفته می¬شود. با اعمال تكنيك هاي داده كاوي بر حجم زياد داده¬هاي خام موجود در سازمان، تعدادي قانون و الگوي با معني كشف مي¬شود. با توجه به محدود بودن منابع سازماني، كليه قوانين استخراج شده قابل پياده سازي نمي¬باشند .حال اين مساله مطرح است كه مديران امروزي، ضمن درنظر گرفتن معيارهاي چندگان چگونه مي¬توانند به انتخاب و رتبه بندي قوانين كشف شده بپردازند؟ استفاده از داده كاوي در كسب و كارهاي امروزي به طور روزافزوني گسترش پيدا كرده است يكي از اصلي ترين دلايل شهرت داده كاوي، حجم در حال گسترش داده است كه نياز به پردازش دارد. افزايش آگاهي در مورد عدم كفايت مغز بشر براي پردازش داده و همچنين توانايي روزافزون يادگيري ماشين نيز از جمله علل توسعه و شهرت داده كاوي مي¬باشند. يك دسته كلي از تكنيك¬هاي داده كاوي، تحليل وابستگی مي باشد كه با بررسي حجم زياد داده خام، الگوهايي با احتمال تكرار بالا را شناسايي مي كند. يكي از كاربردي ترين حالات تحليل وابستگي¬ها، تحليل سبد بازار مي¬باشد كه تعيين مي¬كند چه قلم كالاهايي با هم خريده مي شوند پيشرفت فناوري اطلاعات، خرده فروشي ها را قادر ساخته است تا حجم زيادي از داده¬هاي مربوط به خريد هر يك از مشتريان( كه از آن به عنوان سبد بازار ياد مي شود) را جمع آوري و ذخيره نمايند. با تجزيه و تحليل سبد بازار براي خرده فروشان بينشي فراهم مي¬گردد و بنابراين مي توانند خريد مشتريان را پيش بيني كنند. اين كار به آنها كمك مي كند تا سازماندهي كالاهاي خود را ارتقاء داده و چيدمان بهتري براي محصولات (چه در فروشگاه فيزيكي و چه در فروشگاه الكترونيكي) خود داشته باشند، درنتيجه فروش و رضايت مشتري را افزايش دهند. به طور كلي، اعمال اين تكنيك ها بر حجم زياد داده خام، منجر به كشف تعدادي قانون كه داراي حداقلي از معيارهاي پشتيبان و اطمينان ٦ مي باشند، مي شود. اين در حالي است كه در اولويت بندي و انتخاب قوانين وابستگي، معيارهاي ديگري كه مربوط به ارزش كسب و كار مي باشند (مثل سود حاصل از فروش همزمان دو قلم كالا در يك سبد) نيز بايد مدنظر قرار گيرند. سوال اصلي اين تحقيق اينست كه كسب و كارها چگونه مي توانند قوانين بدست آمده را بر اساس معيارهاي چندگانه ارزيابي كرده و آن ها را اولويت بندي كنند؟ داده¬كاوي امروزه در حوزه¬ي فناوري اطلاعات توجه زيادي را به خود جلب كرده است. اين محبوبيت زياد به سبب مواجه بودن با حجم بسيار بالاي داده و نياز قطعي به تبديل اين داده¬ها به اطلاعات و دانش¬هاي مفيد است. اطلاعات و دانش¬هاي به دست آمده از اين طريق، آنگاه جهت كاربردهاي گوناگون - از تحليل بازار، تشخيص كلاهبرداري و حفظ مشتري تا كنترل توليد و كاوش علمي - مي¬تواند مورد استفاده قرار گيرد. تصميمات مهم سازمان¬ها اغلب نه بر اساس داده¬هاي ذخيره شده در مخازن داده ـ كه خود حاوي اطلاعات فراواني هستند ـ بلكه براساس درك شهودي تصميم¬گيرندگان صورت مي¬گيرد، و علت آن هم عدم در اختيار داشتن ابزارهايي جهت استخراج دانش-هاي ارزشمند پنهان شده در ميان مقادير فراوان داده¬هاست. به علاوه، فناوري¬هاي مرتبط با سيستم¬هاي خبره كه نوعاً در آن¬ها بايد كاربران يا خبرگانِ دامنه به صورت دستي دانش را وارد پايگاه دانش كنند، با توجه به وجود چنين رويه¬ي دستي از خطاي بالايي برخوردار بوده و در عين حال زمان¬بَر و پرهزينه مي¬باشد. شكاف گسترده بين داده و اطلاعات، توسعه¬ي سيستماتيك ابزارهاي داده¬كاوي را مي¬طلبد تا بدين وسيله گورستان¬هاي داده به قطعه¬هاي طلايي دانش تبديل شوند. بنابراین در يك تعريف ساده مي¬توان داده¬كاوي را استخراج دانش از مقادير زياد داده دانست، که امروزه مورد توجه زیادی قرار گرفته و موضوع پژوهش¬های گسترده¬ای در میان محققان گشته است. در این گزارش ما در ابتدا به بیان تعدادی از حوزه¬های کاری مهم مرتبط با داده¬کاوی که تحت عنوان کارکردهای داده¬کاوی مطرح می¬شود، خواهیم پرداخت. سپس از میان این کارکردها توضیحات بیشتری را در مورد دو کارکرد رده¬بندی و خوشه¬بندی بیان می¬کنیم. امید است در گزارش بعدی، با نگاهی عمیق¬تر تمرکز اصلی خود را به سمت یکی از این دو کارکرد معطوف کنیم.