بسم الله والحمد لله والصلاة والسلام على رسول
الله أهلا وأهلا بالشباب الطيبين، وأتمنى لكم إن
شاء الله فصلا جديدا ملءه النشاط والمعرفة، وختامه
الدرجات العالية إن شاء الله تعالى. اليوم إن شاء
الله، هنبدأ نتكلم أو هنعمل مقدمة نتكلم.. نتواصل..
نتناقش فيها، ونعرض فيها الـ syllabus أو وصف مساق تنقيب
البيانات. لكن كالعادة يعني اللي بنحب الـ
discussion وبنحِب نتكلم معاكم بشكل كويس. لو أنا
سألتك أو سألت أي واحد فيكُم، شو يعني تنقيب بيانات؟
طيب، حد فيكم كلف نفسه يطلع على وصف المساق اللي
موجود على الصفحة قبل ما يسجل المساق؟ آه محمد؟ اللي
هي filtering the big data، filtering the big data،
شو يعني معاه؟ شو يعني بالعربي filter؟
filter معناته أنا بتكلم على تصفية، ترتيب، مصبوط لأ..
هي الـ data mining أو تنقيب البيانات، شغل أكبر من
هيك، آه الشباب، حاجة
صغيرة، وأفصل البيانات اللي فيها. طيب
الآن، أجيب pattern، أطلع شغلة غامضة، الآن يعني بديتها.. آه، رمي
آه، الوصول إلى معلومات مفيدة من معلومات ما لها غير
مرتبة، غير مرتبة، خلّيني أقول. طيب، الآن لو أنا جيت
سألتك، تنقيب
بالعربي mining شو
يعني كلمة تنقيب معناته بالعربي استخراج، استخراج
إيش؟ يعني ابن فعلا راح يقول: والله بدنا بنقب عن
الشواكل مثلا؟ لا.. لا.. لا، استخراج مادة من مادة
خام، استخراج أو بحث أثري؟
مادة من مادة خام. طب ممكن تقولي إيش طبيعة المادة هي
يا باشا؟
التنقيب، الآن سيبني من الـ data، الـ data عن الجهة
خلينا الآن نتكلم على التنقيب. أيوة، أيوة، البحث هذا
أو التنقيب، هذه كمسمّى أو كمصطلح مرتبط باستخراج أو
البحث عن أشياء
ثمينة،
نادرة،
الوجود.
يعني الآن ما فش أروح أقول: والله أنا بدي أنقب على
جلم رصاص! احنا بروح بنشتري جلم رصاص أو بنستلفه، لأن
حد بيتفرج في الـ national geographic وبيِتفرج على
برامج التنقيب، ليش
بنقبوا كانوا؟ آه يا هاشم، عن الذهب، فحم، petroleum،
النفط، أحجار كريمة، ولاحظ كلها.. كلها غالية
ونادرة الوجود، ومهمة في عالمنا اليوم. طيب، كلمة تنقيب
ارتبطت بمخاطر، زائد
تكلفة، ولا شو رايكم؟
الناس اللي بتعمل تنقيب على الدهب، وتنقيب على
البترول، هاي جِدّاش في عندهم risk عالية، لأنهم
بيستخدموا مكان تقيل، بيضطروا بيحفروا عميقا في الأرض،
أحيانا بينزلوا، أحيانا في داخل الحفرة تبعتهم، وممكن
تنهار عليهم، هذه
مخاطر على مستوى الجسد، مخاطر تانية مرتبطة بالتنقيب،
إنه ممكن بعد جهد كبير تطلع صفر اليدين، تمام؟
وتكلفة عالية، مكان وفمكانه تماما زي الصياد اللي
بيروح بيحاول يصيد، بس الصياد بيستنى السمك يجيه،
مظبوط؟ بينما المناقب هو اللي بِدور، هو اللي بِبحِث،
وبِدور عن العناصر اللي موجودة. فاليوم احنا هنتكلم
تنقيب البيانات، تمام؟
data، شو يعني بيانات؟
بيانات،
إيش يعني بيانات؟
طيب، إيش الفرق بين الـ data والـ information؟
data، تمت معالجتها، معناته البيانات هي البيانات الخام،
وببدأ أرجع للكلام اللي قلت لزميلك: استخراج مادة من
مادة خام. فأنت فعليا عندك بيانات طلاب الجامعات في
فلسطين من 2000 لـ 2020. So what؟ أنا جد موجودة أكثر
من database، دمجناهم مع بعض، جمعنا البيانات هذه،
إيش بقدر أستفيد منهم أنا؟ دورك أنت كمنقب، تبدأ تروح
تدور لنا على معرفة جديدة نقدر نستفيد منها في حياتنا،
مثل.. نسبة الذكور للإناث. آه.. لاحظ من.. أنا
خلّيني أَصْبر.. أنا بَضايق.. بعدين بجاوبك يعني على
الكلام اللي أنا بحكي فيه الآن، زميل اللي بقول مثل
نسبة الذكور للإناث، هذا الكلام غلط، هذا إحصاء، إحنا
بإحصاء بتجيبه، مش ضروري تتعلم تنقيب بيانات. وهنشوف
كمان شوية في التعريف تبع تنقيب البيانات، إنه أنا
فعليا بحاجة لاستخدام طرق غير تقليدية، وهتشوف إنه
تنقيب البيانات باستخدام الإحصاء، وباستخدام الـ
database، وباستخدام البرمجة، وباستخدام الشبكات، و
باستخدام معظم العلوم من أجل الوصول للهدف المطلوب،
لأنه هو بنقّب في معلومات
بنقب في الـ data عشان يطلع، أيوة. فبالتالي الآن هذه
بيانات مش معلومات، عشان هي، أنا بسألك إيش هي
البيانات؟ شوف
عادة.. مثلا.. الآن أنت بتستخرجي المعلومة، تمام؟
الآن بالعربي عادة إحنا بنقول: تنقيب عن الذهب، ما نقولش
بنقب في الذهب. تنقيب عن البترول، ومكان التنقيب في
حياتنا كبشر، مكان واحد، باطن الأرض. عشان هيك اختصر كل
المسميات، تمام؟ كما بقول لك: تنقيب عن، بينما هنا أنواع
البيانات اللي عندي مختلفة، والـ task تبعتي اللي أنا
باطلعها مختلفة. الـ data، مصدر البيانات، لما تكون
بيانات الطلاب الجامعيين على مستوى فلسطين، غير لما
تكون مصدر البيانات بيانات، وإما الإرشيف الصحي
للمواطنين الفلسطينيين، بيصير في عندي، هن بتدور على شغلة
مختلفة عنها، ومصدرين مختلفين، فبيصير في عندي تنقيب البيانات
مجلكاش تنقيب عن البيانات، فأنا بنقب في الـ.. بنقب
البيانات قاعد، عشان.. بهدف إني أطلع منها شغلة ممكن
تكون formation، بس هي فعليا أعلى من الـ information،
إحنا متكلمين على knowledge، معرفة، وهنشوف الفرق..
الفرق بين الـ data والـ information والـ knowledge
والحكمة أو الـ wisdom لاحقا. وبالتالي أنا الآن هدفي
أن أتعلم كيف أنقب البيانات في البيانات، مش عن
البيانات. الآن data mining، تنقيب، مقصود فيها في
البيانات، تنقيب البيانات نفسها من أجل استخراج معرفة
طيب، تتوقع العملية تكون سهلة ولا صعبة؟ حسب الـ data،
لكن عادة الـ data mining هي task، ليست task تقليدية،
ممكن تقدر تكتب برنامج، وهذا بيُعقّد إن كنت تكون
developer كويس. بيقتضي منك إنك تعمل import و export
بعض الأحيان للـ database، وكيف تعمل integration
وبيُلزِمك تعرف إن الـ database كويس. بيُلزِمك تتعرف على الـ
machine learning algorithm عشان تسخرها في عملية
التنقيب. يعني بنجّوزين، بدك أدوات، بدك tools، اللي
بِدور على الدهب، عنده حفار وعنده جرافة وعنده
المصفاة، وعنده الميه إلى آخره، هذه هي أدواته. وأنت
لازم يكون لك أدواتك اللي بقى بتستخدمها في عملية
التنقيب. طيب، لما نتكلم على معلومات المساق تبعنا،
أهم شغلة بتهمك فيها، إيميلي لأي استفسار، طبعا كلكم
بتعرفوا ساعات المكتبية للفصل هذا، من السبت للأربعاء
من الـ 11 إلى الواحدة، أنا موجود في المكتب، طبعا إلا
لو صار في اجتماع طارئ، أنا ما بقدرش أتحكم فيه يعني،
بس غالبا إن شاء الله أكون موجود، ومكتبي في الطابق
التالت في مبنى تكنولوجيا المعلومات. مقعد لقائنا 9 ونص
إلى الـ 11، كان في I 116، وجبناه للقاعة المصورة،
هذه وصف المساق تبعنا. المساق هذا حاولنا نعيد تصميمه
أو صممناه بحيث إنه يزود الطالب بمقدمة عن علم
البيانات، ويزوده بخبرة عملية، hand experience في
التعامل مع كل مراحل مشروع، أو مع شريعة قواعد data
mining، تنقيب البيانات. الآن hand experience، تجربة
عملية، with all faces، لما أتكلم with all faces،
معناته أنا جاي أتكلم عن إيش؟ عن مشروع بيمر في
مراحل، مش مرحلة واحدة. الآن في الـ database project،
لو أنا بدأ أُقارنها في الـ database، بتعمل analysis،
بتعمل design، بتعمل implementation، مظبوط؟ إيش دول
بعد هيك؟
خلاص، بدي أعمل test عشان أتأكد إن كل الأمور تمام،
وبعد ذلك لو أنا محتاج maintenance، بكلمك على أربع
مراحل. اليوم هتشوف إنه أنا في عندي 6 من 7،
على 8 مراحل، وكل واحدة بدها جهد ومعرفة مختلفة مني،
عشان أقدر أنجزها. طبعا هذا كله باعتماد على الـ real
data، ما بنفعش أستخدم fake data أو fabricated data، و
أشتغل عليها. طب دلوقت، بدي أجيب الـ real data، الـ
real data متاحة في مواقع كتير عالميا بتزودني بـ
real data، موجودة، historical data في مجالات مختلفة،
بدءا من التمييز بين أنواع الحشرات ومواصفاتها، لحد
تصنيف صور الفضاء، والشغلات هذه. فأنت وين مهتم، ممكن
تلاقي بيانات بتخدمك، وزودكوا إن شاء الله من خلال الـ
model بمجموعة من الروابط. ممكن المحاضرة الجاية أعرض
الروابط عليكم، نشوف بعض المواقع، بحيث إن مطلوب منك
فعليا تحدد data set أنت والفريق تبعك عشان تشتغل
عليها لحد نهاية الفصل. الآن هذا المساق هيغطي
مواضيع، بدءا من الـ data format، أنواع البيانات، طبعا
بما إنه درستوا قواعد بيانات اتنين، هسألكم شو هو
أنواع البيانات؟ تتذكروا المربع تبع البيانات؟
رسمنا رسمة زي هيك، اللي هي علاقة بالبيانات قبل ما
نتكلم عن الـ NoSQL Database، طبعا
إحنا بناخد المعلومات عشان نستخدمها، صح؟ أعين عليكم، صار
في عندي structured،
و unstructured. طيب، وإيش كمان؟ لا يا باشا، خلاص،
هدول هنخلصهم.. هنخلص الـ semi-structured. قلنا الـ No
SQL جاية عشان تتعامل مع الـ semi-structured data، و
لو كانت الـ structured بتتعامل معاها، unstructured
بتتعامل معاها غير. وفيه كمان تصنيفين: static
و dynamic data. الآن إن البيانات تبعتي بتتصف بواحدة
من الصفات هذه، بواحدة من المربعات هذه، إما هتكون
structured و static، أو unstructured و static. طبعا
لما أتكلم على structured، معناته إن أنا بتكلم على
بيانات جاهزة، وهذه اللي معنين فيها في المرحلة
الحالية في الـ Data Mining، وإلا كان صار اسم المساق
علوم البيانات، لأنه بيصير المفروض منك تاخد الـ
unstructured data، وتتعامل معاها مثل ما بتتعامل مع
structured. فإحنا مستهدفين المنطقة هذه، وممكن هذه في
الـ dynamic. وبالتالي أنا بقى أشتغل وين؟ على
structured data، سواء كانت dynamic أو static، مش
فارقة كتير معايا. عشان هيك، بالذات، أنا بُميّز من الـ
data format، كيف أعملها cleaning؟ شو يعني cleaning؟
الآن، الناس اللي بنقبوا عن الدهب، شو بيُطلّعوا؟ لا
قلنا وتستخدم الـ tools الحديثة ومن أهم الـ
tools التي يستخدمها الشباب اليوم هي الـ tools المبنية
على الـ Python سواء كانت كلغة برمجة
programming language تمام أو different distribution للـ Python أو حتى
فعلياً software packages مبنية على الـ Python بعد
هيك بدي أعمل evaluation المفروض evaluation لإيش؟
لشغل، للنتيجة التي حصلت عليها، الآن وبعد دراسة
الوضع الصحي تبع المرضى اكتشفنا أن والله أن الناس
الذين يعانون من سوء تغذية هؤلاء ممكن برضه يكون
احتمالية إصابتهم بسرطان الرئة الله يبعد عنكم الشر و
عنكم وعن جميع المسلمين أنه عالي جداً كل الـ knowledge
التي لدينا نعرف أن التدخين، طيب شو دخل سوق التخزين؟ الـ
historical data تقول أن سوق التخزين لها دور في
الموضوع لأن هناك شخص كان يتغذى بشكل جيد وشرح
في التدخين لكنه لم يصب، لكن كل الحالات التي أصيبت
بالإضافة للتدخين كان لديهم سوق تخزين، معناته أصبح
هناك دور جديد، knowledge جديدة، من يقيمها؟
من يقيمها؟ الناس المختصون القائمون على الموضوع
هؤلاء يحتاجون أن يأخذوا، يجيبوا، يقولوا أين الـ system
الذي بنيته أو أين الـ project الذي بنيته، هذا صحيح
الحال، سيذهبون بأنفسهم ليجلبوا عينات حقيقية من الناس
المصابين بهذا المرض ويدرسونه، فعلياً عنده سوق
تغذية حسب الشروط الموجودة، يأخذون البيانات
ويعرضونها على الـ system، أنا لا أعرف، فالـ system عندما
يقول positive سيصاب، أو negative، هذه النسبة هي
بمثابة الـ evaluation، يعني تجلبون عينة من البيانات
الحقيقية وتُطبق على النظام، بعد ذلك يصبح النظام
هذا موثوقاً بالنسبة لهم، حسناً والله نحن ممكن
نتنبأ باحتمالية الإصابة، وممكن الآن
نسعى جاهدين لتحسين موضوع تغذية الناس بأهمية التغذية و
بحيث يتجنبوا التدخين وهكذا، آخر شغلة
تحتاجها، وطبعاً ممكن تكون أول شغلة أيضاً أحياناً
لفهم البيانات التي عندي، موضوع الـ data أو الـ
knowledge visualization، كيف أُظهر المعرفة؟
كلنا نعرف المقولة التي تقول الصورة خير من ألف
كلمة، الآن لو ذهبت وجلبت لك بيانات الطلاب أو جدول
الطلاب فيه مليون record وعلامات الطلاب موجودة، هل
تستطيع تحديد نسب الطلاب في كل مستوى؟ يعني مثلاً كم جيد
جداً، كم ممتاز، قل لي، اعمل تقريراً إحصائياً، حسناً
الحال، هذا التقرير لو كان فيه Graph أو
رسم بياني أسرع في فهمه، حتى أسرع من الجدول، لهذا السبب
يجب أن تكون لديك القدرة على عمل
visualization، الـ if then rule الذي يتحدث عنه
زميلنا، لو كانت نسبة الناس بحالتهم
الاجتماعية ودراستهم وتحصيلهم سيئ بنسبة 90%، فما
فوقها، هذه القاعدة تُكتب لفهمها بشكل صحيح if then
طيب، ممكن أروح أعمله كـ decision tree لفهم
كل فرع، لأننا نتحدث عن فرع واحد فقط، فممكن
نحتاج أن نعمل visualization من
أهداف المساق لدينا، بعد أن تحدثنا عن أُسس
المساق، أهداف المساق لدينا كانت كالآتي: providing
fundamental understanding، يزودنا بالفهم الأساسي
لمتطلبات الـ data mining حتى أستطيع استخراج المعرفة
المخفية في البيانات، أو المخفية في البيانات، هذه
النقطة الثانية: نستكشف معاً مجموعة من الـ data mining tasks
لاستخراج هذه المعرفة، الـ data mining tasks:
classification، classification يعني تصنيف يا شباب
لو أردت أن أرى، في جو كالذي نحن فيه، فصل
الشتاء، وأريد معرفة هل الدنيا ستمطر أم لا، تلاحظ؟
rainy yes و no، إذا كان الـ system يقول إن
الجو ماطر أو غير ماطر فهذا classification، إذا أراد
أن يقول لي الـ stock market أو الـ stock price سعر
السهم سيرتفع increase
or decrease
هذا classification طبعاً، لكن لو كانت مسألة أخرى
مثل التنبؤ، أكتبها هنا، وهي الـ prediction أو الـ
regression، عندما أريد قيمة محددة، قيمة
لا تقول لي إن السهم سيرتفع أو سينخفض، قل لي كم
ستكون قيمة التغيير على السهم بعد يومين، وأنا أعرف
بنفسي هل سيرتفع أم ينخفض، ماذا تبقى؟ للقيمة
التي ستزودني بها، قل لي كم حجم المطر الذي سي
ينزل، عندما تقول لي صفر أفهم أنه لا يوجد مطر، وعندما
تقول لي أن نسبة المطر ستكون 5.45 ميليمتر في
اليوم الفلاني، معناته أفهم أن هناك مطراً، ومطراً غزيراً
أيضاً، وبالتالي هنا لدينا شغلة لها علاقة بـ
Prediction، الـ Clustering، الـ Grouping أو تجميع
البيانات حسب الخصائص المشتركة، طيب، أنا أبحث
عن الخصائص، الخصائص التي لا يمكنك تطبيقها
بيدك أو رؤيتها بعينيك، وسأُريك خلال مثال عملي
لاحقاً إن شاء الله تعالى، معاً هنا في القاعة، أو
سأريك أن هناك صعوبة حسب الـ
Requirement في الـ Clustering، أن تعمل عليها
Association Rules Extraction، ارتباط أو قوانين
الارتباط بين الأشياء في الـ supermarket؟ ما علاقة
علب السجائر بالقهوة بالشاي بالمشروبات الساخنة؟ هل
هناك علاقة بين حفاظات الأطفال والحليب والبودرة
والأشياء هذه أم لا؟ الناس الذين يذهبون عادةً ليشترُوا
مثلاً الشوكولاتة السائلة والزينة وما إلى ذلك
أكيد يبحثون عن طحين لعمل كيك، أو دقيق لعمل
كيك، هذه المعاملات الارتباطية ليست سهلة، أنا
أستطيع أن أعرفها وأراها، وبالتالي أنا أحتاج لـ
association، أخطر من هذا، حالات ظهور مرض معين إذا
توفرت الظروف واحد اثنان ثلاثة، معناته هذا المرض
ممكن أن يظهر، وهكذا تصبح قيمة الـ association rule خاصتي
أكثر جدية من الأمور السابقة، الـ outlier detection
تحديد الحالات الشاذة في البيئة التي أعمل
عليها، يعني يقول لك والله فلان ماشاء الله عليه
الرجل مجتهد في تربية أولاده والبيت ماشاء الله
وأهل بيته كذلك، لكن لديه ابن، أعوذ بالله، شاذ بعيد
عنهم، مختلف عنهم تماماً، تقول ليس منهم يا رجل أم لا؟
هذا بمصطلح الباحثين الذي… نقول عنه out layer
مختلف، نجد نتحدث أن ثمار شجرة معينة
شجرة التفاح أو… بلاش، في مزرعة تفاح وأنا أُعِب
عليهم جميعاً، أسقيهم نفس الري ونفس الموعد ونفس
الكمية، يحتاجون لعلاج أو مضادات أو تغذية، أشتغل
عليهم جميعاً إلا أن هناك شجرة في المزرعة، ثمارها
غير نافعة، أحتاج لاقتلاعها ورميها؟ قد تحتاج لـ
اقتلاعها حتى لا تُحسب عليك في النهاية، يبقى هذا، طيب
الآن، هل هناك سبب معين واضح للشذوذ؟ genetic، وبالتالي
ممكن أن أبحث، طيب هم جميعاً مزروعون في نفس
الأرض، فرّج مثلاً في ارتفاع أربعة أمتار، ممكن أن تكون جولة
مياة، اختيارنا للأرض بالسنتيمتر، صحيح كلامك، ممكن أن تُفرق
الأمور، لكن في النهاية تبقى ليست ضمن السياق الذي
نتحدث عنه الآن، أخطر من هذا يا شباب، عادةً أنا
لدي server، لدي server يقدم خدمة تسجيل للطلاب
للجامعة، عادي، والحركة عليه متوقعة أن
تأتي لي مثلاً خلال الدقيقة 100 connection ألف
connection، في لحظة من اللحظات جاءني مليون request
لـ connections
أها، يعني أصبح هناك attack، أصبح هناك ماذا؟
outlier، فيجب أن تكون، يجب أن تكون هناك القدرة على
تحديد هذا الـ outlier وأسبابه، سنتحدث بالتفصيل
في حينها، practicing data mining project phases
تجربة وتطبيق فعلياً جميع المراحل، هذه
presenting، عرض البيانات سواء كانت في المرحلة المبكرة
قبل العمل، أو كانت المعرفة في نهاية الـ
project الموجود لدي، ونرشد الطلبة قدر المستطاع
على المواضيع المتعلقة بـ data mining طبعاً
سيكون هناك جهد منا على هذه المواضيع معنا إن شاء
الله تعالى، نحاول تقوية
العمل الجماعي بينكم، وغالباً سأُشَكِّلُكم لمجموعات إن
شاء الله هذا الفصل، طيب الـ outcome، مخرجات المساق
أتوقع بعد نهاية المساق أن تكون قادراً على
تعريف الـ data mining، وصف البيانات المناسبة للـ
project في الـ data mining، معرفة خمسة على الأقل من
الـ data mining tasks، وكل واحدة بشرحها، بتساوي collect
and prepare، تكون قادراً على جمع وإعداد البيانات
لأي data mining project، ستتعرف
وتستخدم الـ machine learning algorithms لتنفيذ
الـ data mining tasks المختلفة، تحليل وبناء data
mining project سواء بشكل مستقل أو ضمن
فريق، سواء كنت عضواً في الفريق أو قائداً للفريق، تتبنى
أخلاقيات المهنة في المحافظة على خصوصية الناس في
المعلومات، لأنه عندما نتحدث عن بيانات
صحية أو بيانات اجتماعية أو بيانات، بمعنى
أن هناك privacy يجب الالتزام به، تتصرف بأخلاق
حميدة وتحافظ على خصوصية الناس، يعني textbook
data mining concepts and techniques، النسخة الرابعة
2017 من Elsevier، كذلك لدينا الـ data mining الـ
reference book، طبعاً هذه هي الأساسية، لكن
ستجد في الـ references عندي حوالي سبعة أو ثمانية
كتب ستكون مفيدة لك على الـ model، لأن هذه موجودة في
التحضير، سأنتقل بين الكتب، الـ Data Mining Practice
Machine Learning Tools and Techniques في 2016، قد
قريباً، هذه أحدث الإصدارات التي تتحدث مباشرة في
الـ Data Mining في 2018 و2019، تتحدث عن الـ Data
Science، لكن تأخذنا في الاتجاه قليلاً، مختلفة بعض الشيء عن
الـ structured data، الآن، ما هي المواضيع التي
سنغطيها؟ سنغطي مجموعة من العناوين أو المواضيع
بمحاولة توزيعها على الأسابيع، طبعاً كما أقول، لا يوجد شيء
مقدس، لكن سنحاول الالتزام بها قدر
المستطاع، تقريباً سنحتاج أسبوعاً لإنهاء الـ
introduction، يعني أسبوع، يعني محاضرة ثانية يا شباب
محاضرة، والمحاضرة القادمة، من المفترض أن الـ introduction
تنتهي، بعد ذلك سنتحدث عن الـ data
understanding and data preparation، وهنا تقريباً
سنأخذ أسبوعين، ممكن أكثر قليلاً، لكن هذا المبدأ، إذا أنا
أعددت البيانات وفهمتها جيداً أو فهمتها جيداً وأعددتها
للمهمة الخاصة بي، سنبدأ بالحديث عن knowledge
extraction باستخدام الـ machine learning
algorithm، وكما قلنا، المهام الخاصة بنا خمسة:
classification، regression، clustering،
association rules، و outlier detection، لكل واحدة
فيها مقاييس مختلفة، evaluation metrics
ف سنشرح خوار
جدر يشخص لي خمسين في المئة من الحالات، تشخيص صحيح،
خمسين في المئة من الحالات اللي أنا مش قادر أشخصها،
هذا إنجاز، هذا الـ risk اللي احنا قلنا قبل شوية
فيها مخاطرة في التنقيب، ما هو أنت الآن جربت تبعك
الـ system بيكون reliable
شوف، أنا ممكن أرفض نظام بيديني 95% accuracy، دقة،
في الأمور الصحية، في الـ critical، لكن أنا قاعد
بقول لك إن الأعراض هي هي، والتشخيص، احنا كـ human مش
قادرين نشخص، عشان هيك أنا حصرتك في المجال إنه
complete benefit راح فعليا قدر يشخص لي تشخيص صحيح بـ
50% من الأعراض اللي موجودة، هاي طب تقول لي أنت شخصته
غلط؟ وما طب أنت مش قادر تشخصه وغالبا هتشخصه غلط
فما تحمل الـ system ما لا يطيق، زي ما أقول له، مع أنه
أنا بقول لك، إستهينش بحياة البشر، لأ لازم أشتغل و
أجتهد إنه تكون الأمور تمام، زي ما قلنا regression
أتوقع قيمة، value، real value، clustering جسم
لمجموعات، أروح أقول والله جسم الطلاب لثلاث مجموعات
هيكونوا في القاعة ثلاث مجموعات يا شباب، في الآخر اسمك
عبدالله، لو قلت لك جسم الطلاب لثلاث مجموعات في القاعة
ثلاث
مجموعات، اهدأ يا شباب، على السريع، عبدالله، ايوا
ممتاز، مع إنه مش موجود الكلام اللي أنت موجود فيه
بينما لو قلت له يمين أو يسار أو قلب، كان ضبطه معاك
100%، لاحظ إنه أنا ما تكلمتش معاك على
characteristics، قلت لك، كل بس كان طلبي منك جسم ليهم
كمجموعات، ما تحكملي في العدد، عفوا كان .. قد إيش ..
عفوا .. لما قلت لك ثلاث مجموعات أنا طلبت العدد هذا بس
ما قلت لك كم واحد في كل مجموعة، مصبوط؟ لكن أنت
ممكن تجي تقول لي والله هاي واحد، كمان اثنين، وهي ثلاثة،
طب ليش عملت هيك يا عبدالله؟ عشان أضمن توازن
أعداد في الأشخاص اللي موجودين، ممكن يقول آه والله
لا دكتور أنا بدي أصنفهم شكل مختلف، أنا بدي أروح
أستخدم معدلاتهم التراكمية اللي تحت الـ 75، بين 75 لـ
90 واللي فوق الـ 90، هاي ثلاث مجموعات، لاحظ ما حدا
في الدنيا بالسجل يقول لك تصنيفك غلط أو تقسيم ..
برنامج تقسيمك، طالما في عندك justification قوية،
ليش أنت قسمت هيك؟ أحيانا احنا بنعجز عن نشوف الـ
common properties في الـ data set، تخيل data set
فيها 100 attributes ومليون record، إيش الـ common
اللي بينهم؟ ما بعرف، فبقول للـ system أشغل نيابة عني
قسم لي إياهم لثلاث مجموعات، فببدأ يروح يدرس الخصائص و
بقسم لي إياهم، كذلك في الـ association rules سواء
كانت في الأمراض، في الـ marketing إلى آخره، والـ
outlier detection، بعد هيك، لسبوع 13 و 14 هنبدأ في
الـ data visualization والـ knowledge presentation، 14
و 15، الـ 14 رح ن تناول موضوع من الموضوع الجديد إن
شاء الله تعالى، والـ 15 رح يكون في عندنا project
presentation and discussion، إن شاء الله تعالى
رح يتعلق بمسابقات تبعنا طبيعي، رح أ علمك تبرمج، رح أ علمك بما
يمشي لك بالمسابقة، ليش أنا جاي؟ إن شاء الله تعالى، طيب،
الآن أسلوبنا في التدريس رح يكون كالتالي: محاضرة،
مجموعة نقاش، عمل جماعي، وبعض الفيديوهات، والـ
presentation اللي رح أزيدك فيها، وممكن نعرض شغلة
ونتناقش فيها مع بعض، حسب التفكير، يعني شوية شوية
رح تكون الأمور رح تختلف، المادة عن database، اثنين، لأنه
فعليا المادة مختلفة، فيها ممكن تكون في interaction
بينكم وبين بعض بشكل كبير، اللي أنتم بتدوروا عليه من
ساعة توزيع العلامات، عشر علامات quizzes و assignments
عشرة على مشاركة في نشاطات المساق خلال الفصل، إيش
المشاركة؟ discussion، لأن ممكن تكون فيه علامات
وفلان، طبعا هذه العشرة بالذات، أنت فيهم صفر إلا لما
تشارك، يعني مثلا إيش اسم اللي بجنبك عليه؟ برضه علي؟
علي تربيع ولا علي اثنين؟ الآن علي قرر إنه بتبقى
يلعب في الجوال، قول المحاضرة مش مشكلة، فلازم تشاركني
في المحاضرة، عشان أسجلك، إن فلان حاضر المحاضرة،
هاي فلان نايم، فلان ناسِ، فلان مشغول، المحاضرة اللي
بتغيب فيها، العذر أنا سامحك فيها، في المناقشة وإذا
قررت تغيب كثير، رح أسحب لك المادة
مصبوط؟ عشرين في المئة، أو عشرين علامة على الـ
midterm، عشرين علامة على final project، وهذا غالبا
رح يكون فيه ثلاثات أو مجموعات، يعني حاجة simple فيه، مش
رح تكون لوحدك، واربعين في المئة امتحان نهائي، توزيع
بسيطة وسهلة، يعني ممكن تروح على الـ final عارف
بالضبط، وتقدر كم علامة لك عندي، وكم واحدة عشان تجيب
امتياز، اللي بيلزمك .. كم واحد بيعرف Python فيكم يا
الشباب؟ ولا واحد .. هاي في واحد .. كويس، الله يجبر
خاطرك، فرصة تتعلم شغلة جديدة، بس هذه رح تكون لوحدك، الـ
Java ما بنستخدمها كثير في الـ .. في الـ data mining
وإن كان الـ Python هو الـ trend، ممكن تلاقي بس رح تتغلب
.. رح .. لأ ما عنديش مشكلة، بتعرف الـ SQL؟ عشي
رح نتعرف كذلك، بيلزم نتعامل مع الـ Rapid Miner، أنتم
ملاحظين إن المادة ما فيش معها عمل، أي شباب، فإنت
معيد العملي تبع المادة، مش أنا، أنت، وبدأ المناسبة،
احنا أخذنا قرار في الكلية، كل مستوى ثالث من السنة،
عفوا، الرابع، من السنة الجاية، من الخطة الجديدة،
ما فيش عملي، وتالت قلصنا العملي قدر المستطاع، لأنه أنت
اللي المفروض تكون معيد بالسنة اللي بعديها، فخلصنا
يعني أبداً اشتغل، اتعب لأ، مش السنة اللي جاية هي لسه
عندها الخطة القديمة شغالة، متطلبات المساق، متطلبات
المساق، حضورك إجباري يا صاحب، ما فيش، علي علامات
علاماتك على نشاطك، أنت جيت وتقعد هنا عشان تتنشط
معنا، وناخد و نعطي مع بعض، فبن سجلك علامات، مش عشان
حضورك، تمام؟ 25%، الشباب، الغياب هذا قانون الجامعة، ما فيش
موعد مسبق للـ quiz، دربت
معاكم على وجوهكم الكريمة الطيبة، جامل هيك وأنا لا ..
ما بعرف الحال، بس ما فيش موعد .. ما فيش موعد مسبق للـ
quiz، وما فيش أي عذر، ما ترجعنيش في quiz، أنت غيبت عن
محاضرتي، إنه ما كانش معي خبر يا دكتور، وأنا بقول لك
ما فيش، quiz، الله يمن عليك بتمام الصحة والعافية
أنت ووالدك وكل أحبابك، ويمن عليك بالرزق الوفير
تمام؟ وتجيني كل محاضرة على البدري، على موعدها عشان
ما تغيبش، لأن هذه الأمور اللي ممكن تمنعك من التيجي، يعني
طيب، عادة بالزمن، رح أراجع باستمرار، لأن التقييم
رح يكون مختلف عن الأعوام الماضية، أو عن ما أنت عهدته
سابقا، جوالك
على الأقل يكون صامت، خصوصا إنه قاعتنا هي في اللي
احنا عاملين بنسجل الـ video وبنسجل المحاضرة و
بالتالي يعني يكفيني صوتي وصوتك هما اللي يكونوا
موجودين، صوت جوالاتنا، ما فيش داعي، لحكمة الفصل أو
السنة هاي، استمتع بحياتك قدر المستطاع، تمام؟ ولا تنسى
نصيبك من الدنيا، وأحسن كما أحسن الله إليك، كمل
الآية، بس احنا اتعودنا نأخذ الـ .. إيه؟ الـ .. إيه؟
الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ ..
إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟
الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ ..
إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟
الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ ..
إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ .. إيه؟ الـ ..
إيه؟ الـ ..
تمام؟ حتى كثير من أهل الدين بت .. اللي بيقولوا إن
حياتك أو أقدارك صنع يديك، يقال إن يوسف عليه
السلام، لما طال عليه السجن، قال يا ربي طال .. طال
السجن، آه، قال لو سألت العفو لعفوتك، وقال ربي السجن
وأحبه إلي مما .. ما قالش ربي اصرف عني، إيه ده، وهو
قدم السجن عن طلب الله الرحمن، فاخذ معينة له
وبالتالي أنت به، لا لفظك ولا نيتك، أنت وين بتكون
طبعا هاي الدرس في التنمية البشرية، كمل؟ يلا، الآن
بيلزّمك تصبر، لأنه مش كل شيء على كيفك، وبدك تتعدى في
المساق هذا، وفي الحياة كلها، يتهكّى، المساق مش ممكن
يجي على كيفك دائما، ولا مدرس المساق، ولا علامات
المساق، خلاص، راح هاشم
لأ، أنت شوف، أنت بتتمنى، بس أنت اجتهدت عشان تحصل
عليها في الآخر، يعني قد ما ممكن تجدها، دو ما ترضاش، بس
في الآخر هذا أصبح أمر واقعي موجود، فبدها تتعدى في
الآخر، لازم تصبر، كويس، وفي الآخر لازم تتمتع
بالجدية، لأن مش كل حياتنا لعب، عشان تحقق أهدافك،
شباب، من المساقات الممتعة، اللي ممكن تستفيد منه
بشكل كويس، أشياء اتضاعت وأشياء اتعلمت، وأنا بحاول
أعلمك قدر ما أستطيع، إن شاء الله تعالى، خلص
السلبس، رح نهرّش شوية صغيرة كمقدمة، كمقدمة عشان ننتهي
زي ما انتهينا في المحاضرة السابقة، الآن في عندي هرم
بيسموه هرم المعلومات، أو هرم البيانات، عادةً احنا
بنتكلم Data Mining، وبنتكلم Data Base، مظبوط؟ وبنتكلم
Data Communication، كل شيء Data، ما فيش معلومات،
لأن الـ Data هذه بيلزمها سياق معين عشان تصير
معلومة، ما بنفعش وإحنا نيجي بنتكلم، بنفكر، عاملين
محاضرة أو جلسة حوار، عشان شو كيف بدنا نسقط صفقة
القرن، نقطة، واحد يقول لي والله عماد رجل طيب، ويا عز
ما تنعزم عنده، معلومة، data، عماد رجل كريم ومقدم
أكل طيب، بهمش، شو دخلها في السياق اللي احنا بنتكلم
فيه، حتى لو كانت معلومة قيمة، فقدت قيمتها، ليش؟ مش
في المكان الصح، فبالتالي إذا الـ data هاي اتوفر لها
context مناسب، معناته أنا بتكلم على information، صارت
معلومة، والمعلومة طبعا بمعناها أو بقيمتها، بالوقت أو
بالزمان اللي قيلت فيه، المعلومات هذه إذا نظمتها
rules، المعلومات هذه إذا صارت فيه rules بتحكمها و
بتطبقها، معناته احنا بنتكلم على knowledge أو معرفة
الآن
بَسمع إن الصائم يحق له أن يفطر في رمضان، أو المسلم
يحق له يفطر في رمضان، إيش بتقول يا راضي؟ الصيام فرض
.. فرض، في شروط، رح يلاحظ إن كان في عندي معلومة الآن
الشروط هذه هي اللي خلتها معرفة، لأن المعرفة بتعتمد
عليها تطبيق، يا جماعة الخير، المعرفة بترتب عليها
تطبيق، على خلاف المعلومة، الآن، طب مين اللي بيقدر أنت
عليه action بينفعش أجي أتكلم مع تعوض مثلاً بعمل
system عشان يساعد الأطباء في الـ diagnosis وأجي
أقولهم هذه 01 ولو عملتلها أس تربيع وكذا ومش عارف
..الكلام بيعنّوش، أديله المعلومة عشان هيك هامت الـ
presentation، أديله المعلومة بالشكل اللي هو يفهمه
لأنه إذا هو أخده يا سامر..يا عارف؟ سامر ولا
عارف؟ سامر عارف، لو هو أخد المعلومة بالشكل اللي
بيفهمها تمام؟ هيبني عليها action، هتصير الشغل
useful بالنسبة له، طبعاً هاي تعريف الـ pattern هي
عبارة عن arrangement of repeated parts، هي الشغلات
..هو أهم شغلة فيها تكرار والترتيب، لأنه لما بيظهر
النسق أو الـ pattern هذا بنفهم كيفية بصير أتكلم
عليه better تبع لنسبة معينة محددة يا محمد زي ما
أنت قُلت، valid هذا لازم يكون true لما أنا بقادي
أطبّق عليه data جديدة، يعني أنت بتقول لي أنا والله
okay، أنا في عندي rule أو في عندي algorithm أو في
عندي data product ممكن يعمل classification لكذا
okay، على الـ all data صحيح، أبتعالي نجرب الـ real
data اللي موجودة عندنا حقيقية، جدّيش هو صحيح فيها؟
تمام؟ وبناء عليه أنا لازم أقبله novel زي ما قلنا
ما حد شافه، actionable لازم يكون عليه شغلة مفهومة
وزي ما قلنا سابقاً، understandable لازم يكون مفهوم
في البيئة اللي أنا بتكلم فيها، عشان نقدر نأخذ الـ
action، ليش إحنا محتاجين الـ data mining؟ الآن
البيانات عمّالة بتتضخم بشكل مخيف، مصادر البيانات كل
شيء اليوم أصبحت موجودة عندنا وبنقدر نجمعها بكل
بساطة، data collection و data availability، البيانات
متاحة، بس خد automated data collection tool موجود
فيه عندي أدوات في مجال أنا أجمع بيانات بشكل تلقائي
أه فيه، أحط sensors، أعمل برنامج يعمل scrapping للـ
websites أو الـ social media sites أو الـ networks
فأنت بتقدر تجمع البيانات بشكل.. الآن كذلك أعظم
المؤسسات الصحية والتعليمية والاجتماعية في البلدان عندها
data ضخمة جداً، بتعداد الناس اللي ساكنينها وبالتالي
ممكن تستفيد منها، الآن أهم تلت مصادر للناس للبيانات
الـ business، التجارة، طبعاً أنا بتكلم عن الاقتصاد
الـ Science، العلوم كلها، كانت طبية، اجتماعية، تعليمية
زراعية، في كل المجالات في العلوم، الـ society، في
الحياة الاجتماعية ما بين الناس، في الأخبار، والـ
digital cameras والـ YouTube والقنوات والصفحات
فأنت فعلياً عندك هذه أصبحت مصادر بيانات مهمة جداً
ممكن تبني عليها decision، فعلياً أصبحنا نغرق في
البيانات وبندور جوعاً للمعرفة، الآن بعض الناس أو
بعض المفسرين كانوا بيقولوا في القرآن أو في تفسير
آية القرآن، "وتلك الأيام نداولها بين الناس"، يعني
أحداث التاريخ تتكرر بأشخاص مختلفة، الـ behavior واحد
والـ action واحد، يعني ما نشوفش غريب أن نقول
والله انتشر فيروس في الصين مثلاً وقضى على 1500 شخص
طب ما هو طاعون عمواس قبل مش عارف كام سنة برضه قضى
على نفس العدد ويزيد تقريباً، طب شو الاختلاف؟ مُسمّى
الـ Virus أو مُسمّى البكتيريا أو مُسبّب المرض؟ حسب
العلوم بتختلف الأمور، وبالتالي الـ Historical Data
المتراكمة عندي بتحتوي على Knowledge تخدمني في
مستقبلي، لأن إذا أتعرفت على الحدث سابقاً بتعرف على
كيف أتجنبه أو ممكن أنا أحاول أستفيد من الخبرة
السابقة وأتجنبه، وبالتالي بما أن الحاجة أم الاختراع
فإحنا فعلياً بحاجة إلى automated analysis للـ
historical data أو للـ big data اللي موجودة عندنا
حتى نحصل على مطلوبنا من البيانات اللي موجودة عندنا
أنا هيك اليوم خلصت المقدمة تبعتي اللي تناولتها الـ
syllabus، والمقدمة البسيطة عن الـ data mining، في حد
عنده أي سؤال يا شباب؟ في حد عنده أي اعتراض على
الخطة؟