AI2: Maximum Likelihood Estimation

[Virtual Presenter] أهلاً وسهلاً بكم في أول درس لنا في هذه الدورة التدريبية الخاصة بالتعليم العالي. سأكون مدربكم في هذه الرحلة الشيقة لتعلم المهارات اللازمة لتحقيق النجاح في مجال التعليم العالي. سنستكشف معاً مواضيع مهمة وأساليب تدريس فعالة لتساعدكم على تحقيق الأهداف والمبادئ الأساسية للتعليم العالي. لنبدأ الآن هذه الرحلة التعليمية الملهمة..

[Audio] سنقدم لكم محاضرة حول التقدير الأقصى الاحتمالي، الذي يعد أحد المواضيع الهامة في التعليم العالي. ولتنفيذ هذا التقدير، يجب تحسين القيم العددية بواسطة الحسابات الأساسية، وطريقة الانحدار النزولي واحدة من الطرق المستخدمة لهذا الغرض. وتساعدنا هذه الطريقة على الوصول إلى الحل الأمثل بطريقة سريعة وفعالة. سنتناول في العرض التالي هذه الطريقة بشكل مفصل ونتحدث عن الخطوات اللازمة لتطبيقها..

[Audio] في هذا الفيديو التدريبي، سنتحدث عن الكرات في الأواني. يحتوي وعاءنا على كرات سوداء وبيضاء بنسبة غير معروفة. سنقوم بسحب عدد معين من الكرات بالاستبدال ونلاحظ سلسلة معينة من الكرات السوداء والبيضاء. سنستخدم الرمز xi لتمثيل النتائج في هذه السلسلة والتي ستأخذ قيمتها في المجموعة . السؤال هو: ما هي النسبة الحقيقية للكرات السوداء في الوعاء التي تفسر هذه السلسلة بشكل أفضل؟ سنلتقي في الشريحة القادمة..

[Audio] قبل أن نبدأ في حل مشكلة الجرة، يجب علينا فهم بعض المفاهيم الأساسية المتعلقة بهذه المشكلة. "يجب علينا أولاً فهم مفاهيم أساسية متعلقة بمشكلة الجرة. يوجد احتمالية لسحب كرة سوداء من الجرة وتسمى هذه الاحتمالية "ثيتا". بسبب وجود نوعين من الكرات، فإن الاحتمالية تتبع توزيع برنولي، حيث أن P(B) = θ. وبذلك، فإن احتمالية سحب كرة بيضاء تكون P(W) = 1 - θ. ثانياً، لا يتغير محتوى الجرة ويتم السحب بالبدائل، مما يجعل السحب مستقلاً ويتم توزيعه بشكل متماثل. بالتالي، فإن احتمالية السلسلة تُعطى بواسطة θ. ثالثاً، تقوم الدالة الكالورامية بقياس مطابقة قيمة θ للبيانات في نموذج برنولي. سنستكمل الشرح في الشريحة القادمة.

[Audio] "درس اليوم يناقش دالة الاحتمالية وتعريفها العام. نفترض وجود مجموعة من العينات المستقلة والمتطابقة X1، X2،...، Xn (مجموعة مختصرة باستخدام متجه X=(X1، X2،...،Xn)) من توزيع معلم θ. نفترض أيضًا وجود قيم محددة لكل من X1=x1، X2=x2،...، Xn=xn، والتي نرمز لها بالمتغير x=(x1، x2،...،xn). ▶ إذا كان التوزيع عشوائيًا، ستكون دالة الاحتمالية L(θ|x)=L(θ|x1، x2، ...، xn)=PX(x;θ)، حيث أن PX(x;θ) هي معادلة دالة الاحتمالية للمتغير X بمعلم θ. ▶ إذا كان التوزيع مستمرًا، ستكون دالة الاحتمالية L(θ|x)=L(θ|x1، x2، ...، xn)=fX(x;θ)، حيث أن fX(x;θ) هي معادلة الكثافة الاحتمالية للمتغير X بمعلم θ. تساعدنا هذه المعادلات في حساب دالة الاحتمالية وتحديد قيمة المعلم θ بناءً على القيم المحددة للمتغير x. لذا، تأكدوا من تطبيق هذه المعادلات بشكل صحيح في تحليلكم للمتغيرات..

[Audio] الاحتمالية المعطاة هي مفهوم يتم استخدامه لتقييم الاحتمالات في الأحداث المختلفة. وذلك عن طريق تحديد الحالة المعلمة المناسبة لتوزيع الاحتمالية في المثال الذي تم ذكره. وهذا يعني أن الاحتمالية للأحداث المتقاربة يمكن أن تكون محددة كما يلي: في حالة توزيع diskrete، يتم استخدام معادلة L(θ|x) = PX(x; θ)، بينما في حالة توزيع مستمرة، يتم استخدام معادلة L(θ|x) = fX(x; θ). وفي ملاحظة عن مثال الجرة، يمكن أن يكون θ متجها من المعلمين في العام، في حين أنه كان معلما علميا واحدا في المثال السابق. وكذلك، قد يختلف توزيع المتغيرات بين المثال السابق والعام، حيث كانت مستقلة وموازية في مثال الجرة، لكن في العام قد يكون شيئا آخر..

[Audio] تمثل الشريحة السابعة من أصل 24 تصور دالة الاحتمالية ورقة للدالة البيرنولي، حيث أنها تمثل الاحتمالية التي تفسر سلوك متغير عشوائي بثبات النجاح والفشل. لاحظ أن قيمة المتغير الاحتمالية (θ) تتراوح بين الصفر والواحد في هذه الدالة. هذه الدالة تمثل العلاقة بين قيمة المتغير الاحتمالية والتسلسل السابق الملاحظ (X). في الشريحة القادمة، سنتعرف على تطبيقات هذه الدالة في حل مشكلات محددة. شكرا لمتابعتكم..

[Audio] في هذه الشريحة، سنتعرف على الفرق بين الاحتمال والاحتمالية في الإحصاء. الاحتمال يصف فرصة حدوث حدث معين عندما يكون هناك توزيع معين. أما الاحتمالية، فهي تقيس مدى تطابق النموذج الإحصائي مع البيانات المرصودة. يمكن تمثيل الاحتمالية كدالة الاحتمالية أو بقيمة احتمالية خلال تغير العوامل القليلة للتوزيع. هذا كل ما كان للشريحة الثامنة من إجمالي 24، وسنلتقي في الشريحة القادمة..

[Audio] الدرس عن الاستنتاج الأعلى مثلية وتطبيقه على مشكلة الجرة. سنتعرف على كيفية إيجاد أفضل قيمة لمعلمة θ لتفسير البيانات الملاحظة. السؤال هو: ما هي القيمة الأفضل لمعلمة θ بناءً على التسلسل الملاحظ؟ الإجابة هي القيمة التي تظهر في أعلى الرسم البياني للتكرارية وهي θ = 5/12. ولكن يجب ملاحظة أنه لا يمكن تحديد القيمة الأفضل بشكل دائم بواسطة العد. الاستنتاج الأعلى مثلية يستخدم لإيجاد القيم الأفضل للمعلمات في نموذج يشرح البيانات الملاحظة بأكثر الطرق تشابها. يتطلب استخدام البيانات الملاحظة لتحديد القيم الأفضل للمعلمات في نموذج التوزيع الاحتمالي. سنكتشف الطريقة التي نستخدمها في هذا الدرس، الذي يأتي ضمن سلسلة دروس التعليم العالي. هذا الدرس هو الدرس التاسع من مجموع 24 درس، فلنستعد لاكتشاف أسرار الاستنتاج الأعلى مثلية..

[Audio] نفترض أن X = (X1، X2، ...، Xn) تمثل عينة عشوائية من توزيع مع معلمة θ. لقد تم ملاحظة قيم X كـ x = (x1، x2، ...، xn). التخمين الأقصى للمحتمل (MLE) للمعلمة θ، المسمى ˆθMLE، هو قيمة لـ θ التي تحقق أقصى قيمة لدالة الاحتمال: ˆθMLE = arg max θ L(θ|x). المقدر الأقصى للمحتمل، المسمى ˆΘMLE، هو متغير عشوائي: ˆΘMLE = ˆΘMLE(X)، وقيمته تعطى من قبل ˆθMLE عندما تكون X = x..

[Audio] تقوم ضبط أقصى احتمال - عملية تحسين رسميًا: لحل مسألة التحسين كما صيغت في: ˆθMLE = arg max θ L(θ|x)، هناك خيارات عديدة: استمارة مغلقة، بحث شامل، وخوارزميات التحسين. يناسب البحث الشامل للمشاكل ذات الأبعاد المنخفضة، مثل بحث الشبكي الذي يستخدم لضبط الأجزاء الإضافية في تعلم الآلة. ويعتبر استخدام خوارزميات التحسين نهجًا عموميًا وقابلًا للتوسيع..

[Audio] "تتكون طريقة حساب انحونة الإمكانات (MLE) من ربط مجموعة من الأحداث برقم يمثل "التكلفة" لحدوثها، ويُطلق على هذا الرقم أيضاً اسم "الخسارة" أو "الهدف". يتم إجراء التطابق بين دال الاحتمال ودال التكلفة: J(θ, D) = − log L(θ|D) بعد الحصول على البيانات D. ولماذا نستخدم اللوغاريتم السلبي؟ يتم ذلك للأسباب التالية: 1. التوافق مع البرامج لحل المشكلات الصغيرة، 2. السهولة العالية لتبسيط العمليات الحسابية (log(AB) = log(A) + log(B))، وبالتالي تسهيل عملية التفريق، 3. الحصول على نتائج أكثر استقراراً حيث يمكن أن يصبح حاصل ضرب الاحتمالات الصغيرة قريباً من الصفر، مما يتسبب في مشاكل عدوية نظراً لحدود الدقة الآلية..

[Audio] طريقة استخدام الدالة التكلفة لإيجاد القيمة الأقصى للميدان هي عن طريق تحويل الدالة إلى شكل اللوغاريتم السالب للإحتمالية الأقصى، حيث تمثل هذه الدالة القيم الأكثر واقعية ومناسبة للميدان. تستخدم الدالة التكلفة كأداة هامة في حساب الإحتماليات وتحديد الأفضلية في الحسابات الإحصائية. تتراوح قيمها بين الصفر والعدد اللامحدود السالب، وتنقص قيمها كلما انخفضت الإحتمالية وتزداد كلما زادت. باستخدام هذه الدالة، يمكن تحديد القيمة الأكثر توافقاً مع البيانات والقيود الإحصائية المتوفرة. كما يمكن تحديد القيمة الأقصى للميدان وتحديد الأفضلية في الحسابات الإحصائية. لا تتردد في الرجوع إلى هذه الدالة في حال واجهتك أي تحديات في فهمها وتطبيقها في الحسابات. في الشريحة القادمة، سنتحدث بشكل أكثر تفصيلاً عن كيفية استخدام الدالة للوصول للقيمة الأقصى للميدان. نتمنى لكم الاستفادة من هذه الشريحة ونتطلع للقاءكم في الشريحة القادمة..

[Audio] في هذا الدرس، سنتحدث عن مقدمة في مجال التحسين والأمثلة. يتم البحث عن الحل الأمثل من بين مجموعة من الحلول الممكنة. يجب اتباع إجراءات تحسين معينة للوصول إلى الحل الأمثل. الخطوة الأولى هي إنشاء نموذج للمشكلة والتأكد من صحته وملائمته للمشكلة. ثم يتم تحديد نوع المشكلة واختيار الخوارزمية المناسبة للحل. يمكن الاطلاع على تصنيف التحسين الرياضي لمساعدتنا في تمييز أنواع المشكلات واختيار الخوارزمية المناسبة. هذه الشريحة رقم 14 من أصل 24 في درسنا اليوم..

[Audio] تهدف الاستنتاج الآلي إلى الوصول إلى الدالة التي تربط المدخلات بالمخرجات حتى يتمكن من التنبؤ بالنتائج الصحيحة للمدخلات الغير معروفة. تُستخدم عادة أدوات تحسين الأداء الشائعة لتحقيق هذا الهدف، ويعتمد نجاح عملية التعلم بشكل كبير على كيفية تنفيذ هذا الأمر. ومن أمثلة مشكلات التعلم الآلي التي يتم استخدام تحسين الأداء لحلها هي التعلم الموجه، حيث يتم التحديد وتحسين الدوال الهدف من خلال الاعتماد على بيانات التدريب. وتُستخدم أيضًا تقنيات التعلم غير الموجه، مثل تجميع العينات في مجموعات متشابهة قدر الإمكان أو مجموعات مختلفة متباينة قدر الإمكان..

[Audio] الشروط الأولية للأمثلية في النظام هي أن تكون وظيفة g(w) من المتغيرات المستقلة ذات N أبعاد في w ∈ RN. المسألة الأمثلة هي arg min w g(w). الشرط الأولي الضروري للأمثلية هو أن يستوفي الحد الأدنى المحلي w∗ شرط الشرط الأولي للأمثلية: ∇wg(w∗) = 0N×1. النقطة الثابتة هي النقطة التي تستوفي هذا الشرط وتسمى نقطة ثابتة. يمكن أن تكون النقطة الثابتة حداً أدنى، حداً أعلى، أو نقطة جامحة. (16/24).

[Audio] في هذه الشريحة، سنتعرف على مقارنة مهمة في مجال الرياضيات والإحصاء، وهي بين النقطة الدنيا والنقطة الحزامية في الدوال الرابحة. تظهر الصورة اليسار دالة محدبة تحتوي على نقطة دنيا فريدة، بينما تظهر الصورة اليمين دالة غير محدبة تحتوي على نقطة حزامية. وتعتبر هذه النقطتان متضادتان لبعضهما البعض، ولذلك يمكن لنا فهم الفرق بينهما لتحليل الدوال بطريقة صحيحة وفهم سلوكها. دعونا نتابع الشريحة التالية لمعرفة المزيد عن هذا الموضوع الشيق..

[Audio] يمكن كتابة المعادلة الأولية للشرط الضروري للأمثلية الأولى على شكل نظام من معادلات الدرجة الأولى، وهي ∂ ∂w1 g(w∗) = 0, ∂ ∂w2 g(w∗) = 0, . . . ∂ ∂wN g(w∗) = 0. هل يمكن حل هذا النظام من معادلات الدرجة الأولى لتحديد النقاط الدنيا للدالة g؟ نسبة النجاح هي 18 / 24..

[Audio] التدرج المنحدر هي خوارزمية تساعد على تحسين دالة التكلفة تدريجياً. مهمتها الأساسية هي إيجاد القيمة الأقل محلياً لدالة التكلفة التفاضلية. يتم تحقيق ذلك من خلال استخدام التدرج السالب في كل خطوة، وذلك للحد من دالة التكلفة. يتكون هذا النظام من مكونين، الأول هو الاتجاه الذي يتحدد من خلال التدرج في النقطة، والثاني هو القيمة، ويعرف أيضاً بحجم الخطوة أو معدل التعلم. الفكرة الأساسية هي البدء من أي قيمة للمعامل θ وتغيير قيمته في الاتجاه الذي يقلص دالة التكلفة. يتم تكرار هذه الخطوات حتى تتحول كل خطوة إلى تقليل تكلفة صغير جداً. 19/24.

[Audio] تحديد التراجع الانحداري السالب للتكلفة J(θ) على المستوى الرسمي بالطريقة التالية: dθ . −∇θJ = −dJ(θ) اختيار عامل حجم الخطوة η (معدل التعلم)، حيث تصبح المعادلة التحديثية: θ(t + 1) = θ(t) − η∇θJ(θ(t)) (1) dθ . (2) = θ(t) − ηdJ(θ(t)). مثال على ذلك هو إذا كانت J(θ) = − log(θ5(1 − θ)7)، فما هو التراجع؟ 20 / 24..

[Audio] "الخطوة التالية لتحسين النموذج هي خوارزمية انخفاض الانحدار. وتساعد مبدأ الانخفاض الانحدار على العثور على قيمة جيدة للمعامل θ الذي يقلل من تكلفة وظيفة J(θ). يمكن استخدامه في مجالات متنوعة مثل التعلم الآلي وعلوم البيانات. وتحتوي سلم الانحدار على خطوات محددة يتم اتباعها للعثور على القيمة الأمثل للبارامتر θ. لنلق نظرة على الشيفرة المزيفة لانخفاض الانحدار. ١. البدء: ابدأ من أي قيمة للبارامتر θ. ٢. تكرار: ▶ غير قيمة البارامتر θ في الاتجاه الذي يقلل من تكلفة وظيفة J(θ). ٣. حتى: تكون تكلفة الانحدار في كل خطوة صغيرة جدًا..

[Audio] "نقاش: ماذا لو لم نتمكن من تحديد توزيع الاحتمال للبيانات الملاحظة؟ هل يمكننا ما زلنا حساب أقصى احتمالات التقدير في مثل هذه الحالات؟ تلميح: "كل النماذج خاطئة، ولكن بعضها مفيد" - بوكس. 22 / 24.

[Audio] القراءة الأساسية في مجال الاحتمالات والإحصاء تُعتبر علم الأتمتة الفئوية في العلوم. وتضمن الإسطر التالية: الفقرة 1.5 (الاحتمالات الشرطية والاستقلال) الفقرة 2.1 (المتغيرات العشوائية) الفقرة 2.3 (التوزيعات المتقطعة) والمحاضرة 6 (التفسير الاحتمالي). وعند اقتراب العرض من نهايته، ينبغي الانتباه للقراءة الأساسية في مجال الاحتمالات والإحصاء، والتي تُعتبر أساسية لفهم المفاهيم الأخرى في هذا المجال. هذا القسم يتضمن الفقرات 1.5 و2.1 و2.3 والمحاضرة 6، ومن شأنها مساعدتك في فهم الاحتماليات الشرطية، وفكرة الاستقلال والمتغيرات العشوائية والتوزيعات المتقطعة. ننصحك بالاستفادة من هذه القراءة لتحقيق فهم كامل لمبادئ الاحتمالات والإحصاء، وذلك بغرض إعداد عارضة البيانات..

[Audio] مرحباً بكم في الدرس الأخير من دورة التدريب على الفيديو. الشريحة الرابعة والعشرون تحتوي على مقالات قرائية تساعدكم على تحسين فهمكم واستيعابكم للموضوع. ستجدون تعليمات مفصلة حول تقدير الاحتمال الأقصى في مجلة علم النفس الرياضي عام ٢٠٠٣، ونماذج لغوية NGram في الفصل الثالث من كتاب "معالجة الكلام واللغة" للكاتبين دانيال جورافسكي وجيمس مارتن من جامعة ستانفورد. كما يوجد أيضاً نماذج n-gram القائمة على الفئات للغة الطبيعية في ورقة GPT-1 للكاتبين ب. إي. براون وآخرين عام ١٩٩٣. هذا هو نهاية العرض، أشكركم على الاستماع. أتمنى أن استفدتم من هذه الدورة وأن تطبقوا المفاهيم والتقنيات التي تعلمتمها في عملكم اليومي. شكراً لكم وبالتوفيق..