دانلود فایل پاورپوینت برچسب گذاری اجزای کلام زبان فارسی

›ساخت واژه فارسی و کلمات:

• وندها مانند نشانه جمع، ضمایر ملکی، کسره اضافه و …
• کتابــهــایـــم
• ساخت واژه افعال
• ›ابهام در ساخت واژه
• مردی: نکره ، شناسه دوم شخص
• ›تشخیص کران کلمات
• «کتابها»، «کتاب ها»، «کتاب‌ ها»

›اولین کار برای برچسب گذاری زبان فارسی:

• آسی و حاجی عبدالحسینی ۲۰۰۰
• ›Megerdoomian 2004
• ›Raja et al 2007
• ›ارومچیان ۲۰۰۶ و ۲۰۰۷ ›(مرادزاده، ۱۳۸۳) ـ› (بی جن خان و مرادزاده، ۱۳۸۳ )

›چند نمونه پیکره:

• پیکره موازی زبان فارسی
• همشهری
• پیکره بی جن خان
• ›۲.۶ میلیون تگ دستی
• ›۴۳۰۰ موضوع: حقوقی، سیاسی، حسابداری، اقتصادی و …
• ۷۶۷۰۶ واژه

›دو نسخه ـ ›حدود ۵۰۰ تا ۶۰۰ برچسب ـ ›برچسبها در سه دسته:

1. برچسب های نحوی ـ ساختواژی: اسم، فعل، صفت، قید، حرف ربط، حرف اضافه، حرف
2. برچسب های خاص: ادات شرط، کیفیت نما، کلمه پرسشی، جمله واره، حرف ندا، منادی،
3. برچسب های متفرقه: جداکننده، علامت ریاضی.

›وجود انواع تکواژها در زبانهای خاص مثل فارسی:

1. تکواژهای تصریفی: معمولا برای ساخت کلماتی استفاده می شوند که حامل مفاهیم دستوری در جمله باشند
2. تکواژهای اشتقاقی: کلمات جدید را می سازند که بار مفهومی خاصی را منتقل می کنند.
3. تکواژهای ترکیبی

›مشکل:

• تعداد برچسب های متمایز پیکره زیاد و فراوانی کم
• تفسیرهای متفاوت کلمات با بن واژه یکسان
• دخترم N,COM,SIM,1
• دختر N,COM خوبم ADJ,CMPR,SIM,1
• ›راه حل تکواژهای تصریفی
• سیستم برچسب گذاری را به یک تحلیل گر ساختواژی مجهز کرد.

حال با توجه به جدول بخش قبل کلمه و برچسب آن هر دو تجزیه می شوند:

• مثال
• کتابها (N,COM,PL)
• کتاب + ها (N,COM) + (PL)

انجام برچسب گذاری:

• توزیع احتمالی کلمات ناشناخته: مقادیر احتمالی توزیع می تواند در برچسب گذارهای آماری به طور مستقیم استفاده شود
• ›روشهای پیدا کردن توزیع: پیکره دو بخشی
• کلمات ناشناخته = کلماتی که در مجموعه آموزش نیستند
• نیاز به پیکره بزرگ
• کلمات کم تکرار
• کلماتی که یک در کل پیکره ظاهر شدند

یکسانی تظاهر واجی و نوشتاری تکواژها:

• /ja’ aani/ . یاء نکره: جوانی را دیدم
• /ja aa’ni/ . یاء اسم ساز: جوانی نعمتی است
• /ja’ aani / . یاء شناسه: تو هنوز جوانی
• / ja aa’ni / …. یاء نسبت: مشکلات جوانی

رابطه بین وزن کلمات عربی و بعضی پسوندهای فارسی:

• منزلت
• ›راه حل : لیست تصمیم گیری
• جمع آوری و برچسب گذاری مجموعه آموزشی
• به دست آوردن توزیع های باهم آیی
• کلمات قبل و بعد
• محاسبه نرخ درست نمایی