بسم الله الرحمن الرحيم والصلاة والسلام على الرسول
الله أهلا و أهلا بكم في التسجيل الأخير أو في
المقطع الأخير من موضوع الـ Association role كنا
نتكلم في المحاضرة السابقة على ال FP Growth وقبلنا
.. أو في التسجيل السابق عفوا ال FP Growth وشوفنا
فعلا ال scalability و ال a priori algorithm سابقا
وطركني أقول مثل هذا تحلوه لوحدكم عشان تتدربوا عليه
الان اللى هنتكلم في جزئية ان انا فعليا موضوع ال
mining له different kinds of association rules ال
association
rules اللى عدي عبارة عن level واحدفهل في مجالي ان
انا اتكلم على multilevel association rules بمعنى
اخر if then else then بالشكل هذا involve concept
of different level of abstraction هل هذا ممكن
ممتاح او لا في ال multidimensional association
rules involve more than one dimension انا شغال ب
one dimension دائمااللي هي ال .. ال .. ال .. ال ..
ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال
.. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال ..
ال .. ال .. ال .. ال .. ال .. ال .. ال ..
ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال
.. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال ..
ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال
.. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال ..
ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال
.. ال .. ال .. ال .. ال .. ال .. ال .. ال .. ال ..
.. ال .. ال .. ال .. ال .. ال .. الهذه عبارة عن
مسائل مفتوحة في موضوع الـ Association Rules ومازال
الناس عمالها بتحاول تشتغل عليهاهل الـ quantitative
هل الـ numeric values الاتريبوتس احنا سابقا شفنا
ان ال item موجود نفسه اشتراه و مااشتراهوش yes و no
صح حرناهم و لا بتحول في بداية العملية و بتحولهم ل
binary طب الآن هذا ال value كان في عندي different
values ال numeric values ال quantitative كيف ممكن
انا اتعامل مع ال association rules كذلك من الشغلات
المهمة بالنسبة لنا في الموضوع ال measurement احنا
اتعرفنا على ال support و ال confidenceو هدولة
كانوا هم الأساس طيب شو بده يصير لو انا كان في عندي
large support و large confidence لو انا كان هدولة
كبارة جدا يعني هو سيكون صير في عندي small number
من ال association rules بينموزيني يعني ان انا في
عندي علاقة أرضية عكسية ما بين ال support و ال
confidence و العدد ال association rulesوبالتالي كل
ما بزيد ال association rules بجل العدد اللي موجود
عندهم ال support small يعني انا اتومنس يعني ايش
افضل ال threshold او the best threshold ممكن
انا اطبقه في ال finding او في عملية البحث على ال
association rules اللي موجودة عندهمكذلك ان انا
ممكن يصير في موضوع ال confidence وال support بعض
ال misleading او بعض السوء الفهم خلينا نشوف ال
contingency table اللي موجود عندي هنا عملوا
استطلاع من 500 واحدحاول انه .. بيلعبوا .. بيلعبوا
كرة سلة و بيشربوا .. بين لعبين الكرة السلة و
بيشربوا حليب ولا مابيشربوش او خيانة اخد خمس سلاف
واحد و اشتغلوا ايه فكان من الخمس سلاف دول انه في
ألفين بيقولوا ان كل لعبين السلة لازم يشربوا الحليب
بينما ألف وسبعمائة و خمسين بيقولوا لأ مش ضروري
اللي بيشربوا الحليب هدول ما يكونوا بيلعبوا سلةكذلك
في الوف قالوا لأ الشرب الحليب مش مرتبط باللعب
السلة كرة السلة و 250 قالوا لا بيشربوا حليب ولا
بيلعبوا سلةيعني هو كأنه الاستطلاع بين رأيك انت
بتشرب حلو و بتلعب كرة سلة و تحاول أن تلعب انصارين
مع بعض يعني drinking milk و playing football هدولة
binary tables او binary attributes كانوا موجودين
عندي هيهم playing و drinking playing basketball و
ال values اللي موجودة عندهاyes و no و
العكس صحيح موجود في التنين تمام و هكذا هي
الاستطلاع فكانت ال contingency table تبع الاستطلاع
هي من ال contingency table اللي موجود عندها لما
انا جاعد بقول الفين تمامالنسبة 40% لعب كرة السلة
يؤدي إلى شرب الحليب الـ
Confidence
فعليا 2000 على 3000مصبوط لأن هؤلاء فئة الناس اللي
بتلعب السلة فعدد مرتبط على ال probability ألفين
على عدد اللي بيلعبوا سلة تلت تلاف ال high
confidence او ال support تبعت الأول على ال support
تبعت ال association rule على ال support تبعت الأول
من ال association rule ألفين على تلت تلاف سبعة
وسبعين في المائة هذه ال data is misleadingلأن ال
over all عندى percentage بين ال students او بين
الناس اللى زى شمالهم الاستطلاع بتكلموا عن شرب
الحليب هم عمارة عن خمسة و سبعين في المية تمام؟
وهذا الكلام اكتر من ستة و ستين في المية طيب تعالى
نشوفها لو انا جيت جلبت او اخدت ال playing football
و نطت
عشرين في المية لان عشرة على خمسة ألف و عشرة على
تلاتة و تلاتين
لكن ال support تبعتها confidence و ال support
تبعتها مجلال وبالتالي أنا مش هاخد ال role هذا لأن
هو فعليا higher support و higher confidence بينما
هو misleading وبالتالي موضوع ال support و ال
confidence لحالهمهو غير كافي بالنسبة لنا في موضوع
الـ Measuring تبع الـ Association Roles لأنه كما
رأينا نفسنا يمكن أن يكون هناك Misleading ماهو الحل
اللي نحن نتكلم عنه؟ هل يمكن أن يكون هناك زوّر؟ هل
يمكن أن يكون هناك Framework يشكل إضافة عندنا؟
الـ Correlation ممكن تستخدمها كمجارية ممكن
تستخدمها كمجارية تعمل تعمل تعمل تعمل تعمل تعمل
تعمل تعمل تعمل تعمل تعمل تعمل تعمل تعمل تعمل تعمل
أنا ممكن أضيف الـ Correlation عشان يصير في عندي ك
Element تالت مع ال support و ال confidence عشان
انا اشوف العلاقة وبالتالي ال Correlation Major ليس
فقط بسبب ال support و ال confidence بل فقط بسبب ال
Correlation بين ال item set العلاقة ما بين ال item
set احنا متفقين ان ال A و ال Bتقاطع بينهم من
البداية في نعم و التقاطع بينهم في okay هذا كلام
صحيح يعني independent attributes لكن هل في ممكن
يكون في correlation بينهم و احنا مش شايفينه او ال
correlation هذا مش او لا ينتميأو لا يمثل بجموعة من
الـ Item Sets أو من الـ Items اللي موجودين في الـ
Item Set فممكن أنا أضيفه كذلك ممكن أنا أعتمد
أستخدم الـ Chi-Square تمام اللي لما اتكلمنا على
الـفي الـ Correlation أستخدم الـ Tri-Square لما
أكون في الـ Data اللي عندي هي categorial أو
nominal أو أعتمد على شغل بنسميها احنا ال left
analysis أو ال left correlation وهو عبارة عن
Correlation سهل الفكرة فيه بكل بساطة انه انا
المفروض ان ال item set ظهورها ال A و ال B
independent و ال occurrence تبعتهم غير مرتبطة في
ابعاطهمبالتالي ال probability تبع ال A اتحاد ال B
تساوي ال probability لل A في ال probability لل B
otherwise ال A و ال B are dependent يمكن أن يكون
بينهم dependent و ال correlation as دليل على ال
dependency اللي موجودةعندها فبكل بساطة ممكن انا
احنا اتفقنا كمان مرة لجماعة الخيار انه انا بدي
اضيف ال correlation ال correlation هذه اما بتكون H
I Square تمام او بتكون اللي هي ال left او بتكون ال
left measurement ال left بقول ليه لو كان في عندي
association rule A و BAA plus B as defined as
اللفت بعرف ليها انه تساوي ال probability للاتحادهم
على ال probability ل الحصل ضربهم وهذه تساوي ال
probability لل B difference ال A على ال
probability لل B الكلام أسهل بعيدا عن ال
probability اللفته ساوي ال confidence لل A و ال B
على ال support تبع ال B سابقا ال confidence هي
كانتالـ Support تبع الـ A و الـ B الـ Confidence
التي كانت الـ Support للـ A تبع الـ B على الـ
Support تبع الـ A الآن ستصبح المسألة كلها يتضف لها
الـ Support تبع الـ B وهكذا سأكون حققت الـ
Probability اللي موجودة عندها وبالتالي هي عبارة عن
الـ Ratioof confidence to expected confidence
وهكذا انا اتكلم ان هاتي عندى major تالت ممكن يكون
يضيفلي تحسين على موضوع ال selection للمولودها
والاصل انه انا كل ما بيجيل ابت المفروض ان ال lift
عشان اقدر افهمها صح اذا كانت ال lift قيمتها اكبر
من واحد معناته positively correlated معناته اذا
ظهر الاول هيظهر التانيطبعا هذه إشارة جيدة
Negatively correlated أقل من واحد معناته إذا ال ..
Discouraged occurrence .. معناته الظهر الأول لن
يظهر الثاني وإذا كانت واحد معناته هدول الاتنين
independent ومافيش correlation ما بينهم وبالتالي
ال .. الآن لو أنا سألت مين أفضل بالنسبة ليمن يدعي
support اكتر من يدعي موثوقية اكتر في ال confidence
المفروض لما تكون ال .. ال .. ال left عندي اكبر من
واحد وراها لما تكون العلاقة independentأقول
بالتانية اللي لما تكون ال lift أقل من واحد معناته
في عندي مشكلة حقيقية في ال association role اللي
ظهر عندي لأنه قيمته المفروض لما يظهر واحد يختفي
التاني طب ليش ظهروا التانين مع بعض في ال
association role هذا معناته في عندي مشكلة
وبالتانية ال role هذا لازم انا اتخلص منها هيك ممكن
احنا خلصنا محتويات ال chapter ان شاء الله تعالى
خلينا نروحبنشوف المثال اللي قمت بعمله مسبقاً في
الـ PyShare
طيب جماعة الخير خلينا نكمل في الفيلم نشوف ال
example
اللى موجود عندنا انا الان فروح جوجل اعمل import لل
pandas وعملي بدي ابني data set transaction من six
rows من ست صفوف و بدي اعمل import للعن طريق الـ
machine learning extend بدي processing import
transaction encoder وهذا ال transaction encoder
انا هستخدمه من أجل انه يتحول ال data set اللي
لديها ال data set هذه ل binary array وكذلك من ال
نفس ال machine learning extend بدي استخدم ال
frequent pattern وعملها import لل apriori هشوف في
ال hand ال apriori وفي المثال في ال code اللي
وراها هشوف
الخطوة الأولى كما قلنا في الفيديو الأولى هي ال
data set transactional data set طبعا انا انشأت
menu اللى بحسب المثال اللى موجود هنا سابقا حكيته
يعنى الخطوة الأولى انا استدعيت ل transaction
encoder تمام عشان احول ال array هذا ل 2d array بعد
الخطوة التالية روحت قلت له انا transactionalعن
طريق اتساوية TE.FET.TRANSFORM للـ data set اللي
موجود عندها و لما احاول ان اكتب قمر طبعا عشان اشوف
ال code اللي موجود عندها بعد هيك ال transaction ال
array تبعت اللي هي ال binary ال race ان سميها زي
ما بدك بندس data frame روح تحولت ل data frameهنا
في الأول انشأت data set عادية الري حولتها ل binary
array و الأن بدي أحولها ل data frame عشان ده من
خلال ال pandas أقدر أتعامل معاها و قلت له هيستخدم
ال columnsهذا الـ array الموجودة عندها كcolumn لمن
ال data frame اللي موجودة عندها الآن قلت له ال
frequent item set تبعتي تساوي ال a priori اللي انا
عملته on board فوق ال data frame work ال data
frame تبعتي هي ال minimum support اللي انا بدي
اشتغل عليها ستة واستخدم ال column names yes
استخدمهم لان انا بتتعامل مع ال columnاللي بتمثل
الـ attribute of value أو الـ items في ال sets
اللي موجودة عندي ما تنسوش ان ال data set هنا مافيش
فيها columns هي عبارة عن items فلما انا حولتها ل
binary data set او binary 2D array صارت ال milk و
ال onion و ال .. ميج و ال ..والـ items هاي عبارة
عن attributes أو أسماء الـ attributes و ال value
تبعتهم ال true و ال false ولكن هنشوفها في الموضوع
لما انا اروح عند عملية الطبعةعشان هي قلت له
استخدمها لأن ال data set مبنية على ال names على
المسميات وبالتالي ال frequent item set فرح جاب
ليها ليش؟ أنا قلت له ال minimum support لأنه ممكن
تتجهل من هناك ال support انت حر ممكن تتغيرها حسب
الحالة واتفقنا كل ما بقل ال support بتزيد عدد ال
minimum أو ال frequent item set فروحت طبعة ال
frequent item setعشان انا اجيب ال item set روحت من
نفس المكتبة تبعتي ال frequent patterns اللي عملت
منها support او import لل a priori روحت استدعيت
مين اللي عملت import لل association rules وقلت له
ال list تبع ال rules تساوي ال frequent item setقمت
بالاستخدام الاستخدام الخاص بالاسوشيشن رول و قمت
بالطبع بإطباع الهاتف الخاص بالهاتف الخاص بالهاتف
الخاص بالهاتف الخاص بالهاتف الخاص بالهاتف الخاص
بالهاتف الخاص بالهاتف الخاص بالهاتف الخاص بالهاتف
الخاص بالهاتف الخاص بالهاتف الخاص بالهاتف الخاص
بالهاتف الخاص بالهاتف الخاص بالهاتف الخاص بالهاتف
الخاص بالهاتف الخاص بالهاتف الخاص بالهاتف الخاص
بالهاتف الخاص بالهاتف الخاص بالهاتف الخاص بالهاتف
الخاصطبعا انا طبعت على تلت مرات في تلت جمال قباعة
الجملة الأولى كانت ب ال array او اللي احنا سميتها
ب binary2d array هيو راح اطبع لل array اللي موجودة
عندي من ست صفوف true
false
الجملة التانية جملة الطباعة كانت بتطبع ال item set
اللي عندي و ال support تبعتها فرح جالي هاي ال item
set و طبعا لما انا قلتله استخدم اسماء ال
attributes فهيش راح جابلي ال eggs و جابليها هان لو
انا قلتله نوم مش حطين عندي هاي ال minimum support
ال 6 من 10 اللي موجودة عندك هانفجاب لي هناك ست
عراصر فعليا مختلفة او عفوا ست frequent item sets
with minimum support بعتهم ستة من عشرة انا قصدت ان
اجربها مبتقال مثلها الاخر فالجملة الأخيرة لما قلت
له انا هات ال association rule فراح قال لي ال
association rule هي ال antecedent او ال consequent
طبعا في الأول ال antecedent implies ال consequent
هو الـ antecedent support وطبعاً في معلومات هنا
خفية لأن شاشة العرض أعتقد أنها غير كافية للتعامل
مع الأنصار الموجودة عندها لكن في الآخر قال لي هيي
ال left وفي عند ال averageطبعا ال lift واحد يعني
ال attributes اللي عندى independent فعليا هم مبدأش
يوجد علاقة وبالتالي انا ممكن اكتفي بال support وال
confidence اللي موجودة عندنا طيب لو انا بدى اروح
طبعا خليني بس نجرب هان زى ما قلنا هاي هان خمسة او
بلاش اربعة من عشرةهذه هي ترشيلتي الخاصة بيها
عندما قلت له
خلّي ال confidence خمسة من عشرة فقال لي عندي تلاتة
و عشرين rules association و ال support تبعتهم هيها
العناصر الموجودة هنا
بس ليش مايعرضهاش مش عارف الصحيح بس في الآخر ال
data موجودة عليها طيب بالمثال التاني لما انا بدأ
استخدم ال app ال fp growth ولشه مجرد بدك تستخدم
بكتب اسمه python fp growth هي نفس ال data set قلت
له ال frequent pattern تبعتي ال minimum support
تبعتي equal 3وهنا ايقول الـ 7 من 10 مش 6 من 10
عفوا الحسب زي ما انا .. طبعا هنا التجريب هيرن
للمثال اللي موجود هنا طبعا
هنا بتتكلم على الابريوليه وان كان هنا ال FB growth
defined frequent pattern ال data ال data set
مباشرة لاحظوا انا جزئيتي التحويل مش مسئوليتي اصلا
لان بشتغل على ال data set مباشرة اتنين مجرد كان
السبعة مباشرة طبعا اسهل في ال coding
الـ FD Growth and Generate Association Rules فقلت
له انا هاي ال better او هاي ال association
التابعتي تمام ال better التابعي هيه ال milk طبعا
اتفقنا ان ال better هي عبارة عن العناصر اللي انا
عامالي بجيبها طبعا هو بدأ مع انصر وانصرين الاخرين
لما راح جاب ال association rule و كيف بدأ اقرأ ال
rules هي ال rule الأول طبعا هي عبارة عن جيسون في
الآخر النتيجة تبعتي للي ال rule الأول هي
الملك يعني كيندي
بيز واليوغرد وهذا ال confidence تبعتها خمسة أو
سبعين في المية التانية ال support تبعتها مية في
المية إلى آخرهم من العراسر ال confidence عفوا من
العراسر الموجودة هناهذه كانت جامعة الخير ..
انتهينا من موضوع ال .. ال association role .. هرفق
لكم ملفين ال coding هنا .. عشان تجربوا في موضوع ..
لو بقيت تجرب .. شغلة عندك .. وتشوف ال result اللي
موجود .. الله يعطيكم العافية .. والسلام عليكم
ورحمة الله