Data science

السلام عليكم ورحمة الله وبركاته في درس جديد وتراك جديد من تراكس المعهد والمقدمة من منحة iti 
وتراك النهاردة يندرج ضمن الفرع العام (information system) ضمن تقسيمات المعهد الموجودة بالموقع الرسمي ويجب أن ننوه أن كل مقالة من مدونة "Iti بالعربي"  إنما لهي جهود من كافة طلبة المعهد نفسه الذين تخطوا تلك المراحل ونتمني ان تقدم لكم الماتريال والسرد المناسب لنعطيك لمحة عن كل تراك ونبدأ علي بركة الله تراك:-

Data science 

وفي شرحنا للتراك ده هنحاول نتطرق لعنصرين هما:-

1. مفهوم Data Science
2. مثال بسيط منه هتفهم التراك كويس "منقول"
3. الماتريال اللي تجهز بيها للمنحة

ماذا يعني المفهوم Data Science ؟

هو مصطلح باللغة الإنكليزية يعني علم البيانات. هو مجال من الدراسة يستخدم طرقاً علمية للحصول على المعارف عن طريق البيانات، لتقديم الدعم اللازم لاتخاذ القرارات.

تستخدم الشركات بشكل عام تقنيات data science في تحليل البيانات واتخاذ القرارات التي تساعد على توسيع الأعمال التجارية.

لا يُعتبر اتخاذ القرارات الأكثر إصابة للهدف مهمة سهلة دوماً، ولهذا السبب يعتبر علم البيانات مجالاً تعليمياً متنوعاً ومتعدد الفروع، ويضم المعارف في مجال الرياضيات، الإحصاءات، الحاسوب وتجارة الأعمال.

مثال توضيحي للتراك وايه اللي يتذاكر للتراك ده عشان تجهز للمنحة ؟؟

هنحاول ان شاء الله نشرح في المقال ده حاجات كتيير ممكن تكون في ناس مش فاهماها عن التراك او عن اللي هتدرسه في التراك

 مثال علي شركه موبينيل و ازاي هما بيستخدموا الحاجات اللي انتوا ان شاء الله هتدرسوها في التراك في اداره و تشغيل الشركة بتاعتهم

***اول حاجه شركه زي موبينيل عندها عملاء بالملايين و العملاء دول بيعملوا كل يوم برضو ملايين المعاملات او ال transactions .. معاملات زي المكالمات بتاعتهم و زي دخولهم علي الانترنت و الرسائل اللي بيبعتوها و لما بيشحنوا كارت مثلا ... كل ده بيخلي موبينيل لازم تعمل حساب عندها لكل عميل تشيل فيه بياناته و تشيل كمان كل المعاملات اللي بيعملها عشان تقدر تحسب دايما رصيده بعد كل حاجه بيعملها (مكالمه، رساله، شحن رصيد ....) و كمان عشان تعمل بالبيانات دي حاجات تانيه هقول عليها بعد شويه

كل ده معمول ليه نظام في موبينيل بيتخزن فيه الكلام ده كله .. النظام ده اللي هو ال Operational System و النظام ده كمان ليه ميزه بتميزه اللي هي OLTP او Online transaction processing

و اللي من الخصائص بتاعت النظام ده انو دايما البيانات اللي فيه بتتغير بسرعه بسبب كميه المعاملات اللي بتتعمل عليه و بمعني technical اكتر يعني بيتعمل عليه

insert , update delete --- sql statements

اكتر بكتير جدا مابيتعمل عليه

select -- sql statements 

بيتعمل عليه مثلا insert لعميل جديد او update لرصيد عميل او delete لعميل مشي من الشركه

دلوقتي بقي بعد ما موبينيل قعدت تسجل البيانات بتاعت العميل في ال Operational System و كمان تسجل كل المعاملات اللي هو بيعملها .. هل هتفضل محتفظه بكل المعاملات القديمه دي زي سجل المكالمات و سجل الرسائل و الدخول علي الانترنت بتاعت كل السنين اللي فاتت دي متخزنه في ال Operational System ولا تمسحها و تتخلص منها ولا تعمل فيها ايه ؟؟؟

الاجابه .. هي طبعا بتحتفظ بيها لان البيانات دي تعتبر جزء من رأس مال الشركه اللي هيفيدها بشكل كبير جدا في تحسين خدماتها و ده هقول كمان شويه ازاي بيحصل

*** موبينيل بتاخد البيانات من ال Operational System و بتنقلها لمكان تاني تقدر تخزن فيه البيانات دي كلها و اللي بتكون حجمها كبير جدا جدا لانها بتكون مغطيه فتره زمنيه اكبر من الفتره الزمنيه اللي مغطيها ال Operational System

المكان الجديد اللي بيتحط فيه ال data ده اسمه ال data warehouse

ايه هو بقي ال data warehouse ده ؟؟

ده system يشبه لحد كبير الsystem بتاع ال Operational System بس بيختلف عنه في شويه حاجات .. زي ايه؟؟

زي مثلا نوع البيانات اللي بتتخزن فيه و اللي زي ما قولت قبل كده انها بتكون بتغطي فتره زمنيه اكبر و دي اكبر اختلاف فيه .. و دي اسمها ال (historical data)

وكمان البيانات دي بتكون مجمعه لحد ما مش تفصيليه .. يعني مثلا بنخزن فيه تجميع البيانات علي مستوي اسبوع مش بيانات فرديه .. و دي اسمها aggregated data

و في خصائص تانيه كتير للبيانات دي ممكن تقروا عنها و تدوروا عليها

كمان ال data warehouse من الخصائص بتاعته انو بيكون مصمم بشكل كبير انو يتقري منو البيانات بشكل سريع جدا و من خصائصه ان البيانات دي تقريبا مابيتعدلش فيها ابدا لكن ممكن يتضاف عليها بيانات جديده.. بمعني تاني انو بيكون مصمم انو يتعمل عليه select اكتر بكتير ما يتعمل عليه update , insert, delete و ده عكس اللي بيحصل في ال Operational System

النظام اللي بيشتغل فيه ال data warehouse ده ليه ميزه بتميزه و هي OLAP او Online Analytical processing

*** طب ازاي بقي البيانات دي بتتنقل من ال Operational System لل data warehouse ؟؟؟

البيانات دي بتتنقل عن طريق عمليه مشهوره جدا اسمها E-T-L او

Extract-Transform-Load 

و اللي بيتم بيها نقل البيانات من ال operational systems او الانظمه التشغيليه للشركه او المؤسسه ثم اجراء شويه عمليات عليها ثم تخزينها في ال data warehouse

من اللي لازم اقوله هنا ان البيانات دي ممكن تكون بتتنقل من كذا مصدر للبيانات مش مصدر واحد .. يعني كذا Operational System او مصادر تانيه مثلا

و ده اللي بيدي خاصيه جديده للبيانات المخزنه في ال data warehouse انها بتكون مجمعه من كذا مكان .. او integrated data

طيب دلوقتي احنا عمالين نجمع في البيانات دي كلها الكتير جدا و نخزنها في ال data warehouse .. هنعمل بيها ايه؟؟؟

*** هنا ييجي دور business intelligence 

ايه هو بقي ال business intelligence ؟؟؟

هو عباره عن شويه مفاهيم concepts و ادوات tools بتساعد في تحويل البيانات المتخزنه دي الي معلومات عن طريق عرضها بشكل افضل و ابسط زي رسوم بيانيه graphs and charts و اللي بتخلي صانعي القرار جوه الشركه يقدرو ياخدو القرار الصحيح.

- مثال علي ده مثلا انو ممكن يتعرض شكل بياني او chart بتوضح فيها حجم المكالمات اللي اتعملت في منطقه معينه في وقت معين و اللي ممكن تبين فيها ان حجم المكالمات كان اقل في الفتره دي و اللي ممكن يفسره شكل بياني تاني بيتوضح فيه ان قوه الشبكه و التغطيه بتاعتها في الفتره دي كانت سيئه.

و زي دي امثله كتيره لتقارير بتتعمل بال business intelligence tools و اللي بتساعد بشكل كبير في اتخاذ قرارات صحيحه تساعد علي حل مشاكل او تطوير خدمات

*** حاجه تانيه ممكن تقدم استفاده كبيره من البيانات الهائله المخزنه في ال data warehouse .. هي ال data mining

ال data mining هي مجموعه من ال techniques و ال algorithms اللي بتساعدنا اننا مش بس نعرض البيانات زي ال BI لكن كمان نحللها و نكتشف فيها حاجه مكناش شايفنها قبل كده او متقدرش ال BI tools انها تبينها

- مثال لده هقوله علي algorithm مشهور جدا في ال data mining

و ده اللي بيستخدمه حد زي ال retailers او ال super markets الكبيره زي كارفور مثلا

كارفور بيحلل البيانات دي عن طريق algorithm في ال data mining اسمه association rules بيخليه يشوف الناس بتشتري اكتر حاجه ايه مع بعضها 

يعني مثلا ممكن تكتشف ان الناس اللي بتشتري اللحمه بتشتري معاها سمنه و كمان زيت و ملح مثلا .. و مش بس واحد او اتنين هما اللي بيشتروا بالطريقه دي لكن لا في عدد كبير من الناس بيشتري بالطريقه دي

و ده اللي ممكن يخلي كارفور ياخد قرار انو يقدم عرض او تخفيض للي بيشتري الحاجات دي مع بعض مثلا و اللي ممكن يساعده في زياده مبيعاته

*************

من الحاجات المهمه اللي انا مقولتهاش في الجزء اللي فوق ده بس لازم تكونوا عارفنها

اول حاجه في ال database لازم تكونوا عارفين حاجات زي 

Entity-Relationship-Diagram , Normalization Process , mapping to relational schema - sql - pl/sql

تاني حاجه في ال data warehouse مهم انكم تعرفوا ان ال data warehouse ممكن يكون مصصم علي هيئه relational system او relational database "RDBMS" و ده اللي كلنا عارفينه و اللي بيكون التصميم بتاعه هو ال ERD او ال entity relationship diagram 

و ممكن يكون ليه تصميم تاني و اللي هو ال Star schema

و هي بتتكون من جداول ليها صفات معينه , الجداول دي اسمها fact tables - dimension tables

مهم انكم تعرفوا ايه هي ال Star schema دي و ايه الفرق بينها و بين ال relational schema

*************

ده تقريبا كان الاجزاء الرئيسيه في ال system اللي بتقوم عليه شركات كبيره زي موبينيل و كمان زي كارفور

************* 

اشهر ال tools المستخدمه :

1- Databases

Oracle - Microsoft Sql Server - IBM DB2 - SAP HANA- Teradata

3- Business Intelligence"BI" tools

Business Objects - OBIEE - Tableau - Microstratege

4- mining and statistics tools 

SAS - SPSS

5- ETL tools

informatica power center - IBM datastage

*****************

اخر حاجه هي شويه حاجات تانيه هتفيدكم جدا لو اتسألتوا فيها و كنوا عارفينها زي:

Bigdata:

ال bigdata هي عباره عن كميه كبيره جدا من البيانات اللي ليها خصائص معينه .. ممكن تعرفوا ايه هي خصائصها و معناها

و ال data science هو عباره عن مجموعه علوم و مفاهيم و طرق بتتكامل مع بعضها لتقديم فايده كبيره للشركات و اللي بيبقي علي علم بالعلوم دي بيبقي اسمه data scientist , مهم هنا انكم تعرفوا ايه هي العلوم دي اللي بتتكون منها ال data science , مجرد اسمائهم

و ال hadoop هو عباره عن نظام لتخزين البيانات بس بشكل مختلف عن ال database و البيانات دي بتتخزن علي حاجه اسمها HDFS او Hadoop distributed file system و زي ما بيتم التعامل مع ال database عن طريق ال SQL بيتم التعامل معاه عن طريق حاجه اسمها ال Map-Reduce

ممكن تعرفوا ازاي البيانات بتتخزن عليه و ازاي بيتم قرايتها منه عن طريق ال map-reduce

و ال no-sql هي نوع من انواع برضو انظمه تخزين البيانات و اللي مصممه بشكل اكبر لتخزين بيانات غير منظمه او غير مرتبه في شكل Tables زي ال databases العاديه , و هي بتسمح في تحليل البيانات دي بشكل افضل بكتير من ال databases العاديه

البيانات دي بتتسمي unstructured data

******************

علي فكره ال datasets اللي نزلتلكم دي هي بالظبط شكل البيانات اللي بيبقي متخزن في ال data warehouse و اللي هتلاقوا ليها نفس الخصائص بتاعتها زي انها بتعبر عن فتره زمنيه كبيره و انها متجمعه من كذا مصدر زي مستشفيات و وزارات و مدارس و كمان هي خاصه بمشكله معينه زي مشكله التعليم او الصحه subject oriented

الماتريال اللي هتحتاجها في التراك ده؟؟

حمل المراجع الخاصة بالتراك من هنا

المراجع دي هي تقريبا كل اللي ممكن تحتاجوه عشان تذاكرو للـ technical interview

طيب بالنسبه للي مش عارف هو ممكن يذاكر ازاي!!
تم رفع 6 folders أهمهم اللي فيه الكتاب بتاع ال database fundamentals

1- أول حاجه ممكن تبتدي بيها هي انك تذاكر شويه database concepts و دي ممكن تزاكرها من الكتاب اللي في اول فولدر ... ذاكر منو ال chapters دي
1و2و3و7و10 بالترتيب

2- ممكن بعد كده تزاكر SQL & PL/SQL و ده ممكن تزاكروا من تاني فولدر ... هتلاقيه كتير ... حاول تركز علي مزاكره ال SQL لان ده اكتر حاجه اتسالنا فيها السنه اللي فاتت و اللي غالبا هتتسأل فيها .. بعد كده ممكن تزاكر PL/SQL شويه و تعرف فيه ايه هي ال loops , functions, stored procedures , cursors and triggers

3- تالت حاجه تذاكر شوية عن ال data warehousing و ديي ممكن تزاكرها من كذا مكان
لو عايز تذاكرها بشكل بسيط و كافي و مش عميق اوي ممكن تذاكرها من chapter 2 من كتاب ال business inteligence
او chapter 1 من كتاب ال data warehouse design
او من كتاب ال Database fundamentals - chapter 28

4- رابع حاجه ممكن تعرف شويه اكتر عن ال ETL و الفرق بينها و بين ال ELT .. و دي ممكن تذاكرها من ال paper اللي في رابع فولدر .. و لو حابب تعرف اكتر عنها ممكن تدور علي الانترنت هتلاقي حاجات كتير جدا عنها او ممكن تسألنا و احنا ان شاء الله هنجاوبك

5- خامس حاجه انك تعرف يعني ايه data mining و دي كفايه جدا انك تذاكر فيها chapter 1 من كتاب ال Data mining concepts .. او chapter 27 من كتاب ال database fundamentals

6- سادس حاجه ان شاء الله انك تعرف يعني ايه business Intelligence
و دي كافي جدا فيها ان شاء الله انك تزاكر chapter 1 من كتاب الـ business Intelligence

7- سابع و اخر حاجه ان شاء الله انك تعرف شويه حاجات هتفرق كتير معاك ان شاء الله لو اتسألت فيها
اعرف يعني ايه big-data , data science, no-sql , hadoop, HDFS, Map-Reduce
و دي حاجات ممكن تدور عليها علي الانترنت لان مفيش حد لسه عنده المعلومه الكامله اللي موجوده في reference اقدر ارشحهولك
لو شايف ان دي حاجات كتيره انك تزاكرها فعلي اقل تقدير ماتسيبش حاجه من ال 7 حاجات اللي فوق دول الا و انت عارف علي الاقل تعريفها او هي بتكلم او بتحكي عن ايه
المنحه تستاهل انك تحضرلها كل ده و تزاكرلها ده كله؟؟؟؟
ايوه تستاهل جدا جدا جدا ان شاء الله

حمل الملف ده  من هنا

للإنضمام لمجموعة التراك ده علي الفيسبوك  اضغط هنا

                                       طاقم المعهد لهذا التراك

تعديل المقال