1. مدلی برای تحلیل و تولید متن وبلگ
فرزانه سرافراز
استاد راهنما: دکتر شیری
استاد مشاور: دکتر عزمی
بهمن ۵۸۳۱
2. پدیدههای زبانی قرن حاضر
گسترده شدن ه جهانی اینترنت و روشهای تبادل اطلعات
شبک ●
عمومی شدن خدمات کامپیوتری و آشنایی بیشتر مردم با ابزارهای ●
کامپیوتری
استاندارد شدن خطها و زبانهای مختلف برای ه الکترونیکی
مبادل ●
یونیکد –
اهمیت زبانهای مادری –
پیدایش نرمافزارهای محلیشده –
افزایش سریع حجم دادههای نوشتاری و گفتاری زبانهای مختلف ●
۰۱میلیون پیام کوتاه در ایران (گزارش مخابرات) با ۰۶۱ نویسه در هر کدام –
با افزایش تعداد نویسههای پیام کوتاه به ۰۰۸ نویسه پنج برابر خواهد شد –
3. پیامدهای این وضعیت
تأثیر روی واژگان و ویژگیهای ساختی زبانهای مختلف ●
فراهم شدن حجم عظیم دادههای زبانی به صورت الکترونیکی ●
منبع مهم تجزیه و تحلیل زبانی –
زیاد شدن اهمیت پردازش دادههای زبانی برای دستیابی به سیستمهای ●
مختلف فنآوری زبان
پردازش زبان طبیعی NLP –
ن شناسی محاسباتی CLزبا –
5. مسائل اصلی در پردازش زبان طبیعی
تولید گفتار ●
تبدیل اشکال مختلف نمایش اطلعات به صوت گفتار طبیعی
> –
● متن به گفتار
● نشانههای آوایی به گفتار
● سایر اشکال نمایش زبانشناسی به گفتار
کاربردها –
● کودکان و دسترسیپذیری برای کسانی که مشکل خواندن دارند
● سیستمهای هوشمند مخابراتی
● کاربردهایدیگردررابط +متقابلانسانوکامپیوتر
ه
11. روشهای اصلی در علوم شناختی
دو روش اصلی متفاوت برای پردازش زبان طبیعی و به طور خاص تولید ●
زبان طبیعی
روش تکوینی یا منطقی ()rational or formalist approach –
روش تجربی ()empirical approach –
در روش تکوینی به دنبال اطلعات تحلیلی هستیم که بدون استفاده از ●
دادههای تجربی به دست میآیند
در روش تجربی ارزش زیادی به دادههای زبانی میدهیم ●
از نظریهپردازان روش تجربی: نوام چامسکی، ن شناس
زبا –
در سالهای اخیر روش تجربی بین دانشمندان اهمیت زیادی پیدا کرده است –
12. نقش پیکره
مهمترین ابزار مورد نیاز برای حل مسائل مختلف به روش تجربی در حیطه ●
پردازش زبان طبیعی وجود پیکره زبانی بزرگ است
در زبان فارسی با رشد ک Nی وبلگهای فارسی چنین پیک ه متنیای در
ر م ●
اینترنت وجود دارد
«وبلگ یک قالب روزنامهنگاری برخط است که به ترتیب زمانی عکس ●
منتشر میشود، مرتب Vبهروز میشود، و نوع Vشامل تفکرات و تأملت شخصی،
ا ا
زندگی روزمره، مقالت، نظرات دیگران، و پیوند به صفحات وب است.»
13. راهحلهای پیشین برای مسائل کلسیک
پردازش زبان و مسائل خاص زبان فارسی
مشکلت فنی و ساختاری ●
قالبهای گوناگون پروندههای کامپیوتری –
● زرنگار، کلک، نشر الف، لت>ک، پیدیاف، وQرد مایکروسافت
– حتی نسخههای «فارسیشده»ی مختلف وQرد فارسی را یک جور پشتیبانی نمیکنند
● تبدیل این قالبها به تصویر برای سازگاری بیشتر
برتری قالب ( xmlاز جمله صفحات وب) –
● قالب استاندارد ←امکاناستفادهازتجزی گرهایاستاندارد
ه
● پشتیبانیوب روزرسانیازسویw3c
ه
● تعدادزیادکاربرانکههرروزبهدامن +آنهاافزودهم شود
ی ه
● توانای هاوامکاناتزیاد: قابلیتنمایشوچاپ
ی
● قابلیتحملرویکامپیوترهاوسیست عام هایگوناگون
مل
14. ی ها و نقاط تمایز وبلگ با سایرویژگ
پیکرههای زبانی
زبان غیررسمی و محاورهای ●
مفاهیم و موضوعات محدود و تکراری ●
وجود شکلک و پیوند به صفحات وب در بین متن ●
نویسندگان مختلف ●
استفاده از سیستمها و نرمافزارهای گوناگون برای حروفچینی ●
کدگذاریهای غیراستاندارد و مختلف ●
رسمالخطهای متفاوت ●
کلمات خارج از دایره واژگان فارسی ●
15. استاندارد خط در کامپیوتر
نویسه: کوچکترین واحد نوشته ●
نویسه «ی» شکلهای اول، وسط، آخر تنها، آخر چسبان دارد:
Y –
●ی ی ی ی
استاندارد (منسوخ) ۰۰۹۲ موسسه استاندارد و تحقیقات صنعتی ایران ●
ه اروپا
چندین کدگذاری مختلف برای دربرگرفتن ه ن های اتحادی
هم زبا ●
این کدگذاریها با هم تعارض هم داشتند ●
تحریف دادهها هنگام عبور از ط های مختلف
محی ●
16. کDد
استاندارد یونی
کد یکتا به هر نویسه؛ مستقل از محیط، برنامه، زبان ●
کار کردن یک وبگاه یا نرمافزار در ط های متعدد بدون ه اضافی
هزین محی ●
مورد قبول پیشتازان صنعت کامپیوتر ●
استاندارد ۲۴۳۳ موسسه استاندارد و تحقیقات صنعتی ایران ●
19. جمعآوری پیکره
روش مطلوب: روشی که تا جای ممکن وبلگهای تصادفی را از روی وب ●
بارگیری کند
استفاده از کارگزار پینگ ●
هر وبلگ وقتی که بهروز میشود پیغامی به یک کارگزار پینگ میفرستد –
در بازههای زمانی معین فهرست وبلگهای بهروزشده را بارگیری میکنیم –
بارگیری صفحات مرتبط با دنبال کردن پیوندها و با استفاده از خزنده وب ●
جدا کردن وبلگهای فارسی: استفاده از روش مکاشفهای ●
عه Yنویسههای خط فارسی مجمو –
تمییز از صفحات عربی، اردو، پشتو، کردی، کشمیری –
20. استخراج متن خام
دستهبندی صفحات بارگیریشده ●
تشخیص انواع برچسبهای بهکار رفته در صفحه ●
تشخیص آشغال از نظر موتور پردازش زبان طبیعی ●
سرصفحهها –
کدنوشتههای جاوااسکریپت، ایاسپی، پیاچپی –
پیوند –
عبارتهای غیرفارسی –
پروندههای تصویری (شکلکها و...) –
21. استخراج متن خام
پیدا کردن متن هر مطلب و جدا کردن آن از ●
عنوان صفحه –
عنوان مطلب –
حاشیهها –
شرح پیوندها –
و... –
نیاز به روش جداگانه برای هر سرویسدهنده، و حتی هر قالب طراحیشده ●
هدف: بهینه کردن جوابهای درست، بیتوجه به مطلب آشغال تشخیص ●
داده شده ()false negative
22. پیشپردازش
تبدیل سه های غیرمجاز به سه های یونیکدی صحیح فارسی
نوی نوی ●
حذف نویسه کشـیـده ●
حذف nعراب
ا ●
حذف تنوین (شدیدVا ←شدیدا) ●
حذف ساک oو تشدید
ن ●
حذف ء از آخر کلماتی مثل شهداء ●
یکنواخت کردن ارقام ●
تبدیل رشتههای ه ة هی ه ی به ه ●
28. تولید متن
فرض: رفتار گذشته راهنمای خوبی برای چیزی است که در آینده رخ ●
خواهد داد ←مدلباثباتاست
پی بینیواژ +بعدی
ه ش ●
تلشبرایتقریبزدنتابعاحتمالزیر –
(1-n| w1,…, wn
●P)w
برپای +اینکهمقدارزیادیبهمت هانگاهکردایم،تخمینیازاحتمالرخداد
ه ن ه ●
دنبال هایمشخصازواژهاداریم
ه ه
29. مدل -nنگاشتی
ه متنی را تا جای ممکن بزرگ فرض کنیم
مطلوب است ه تاریخچ
دنبال ●
ممکن نیست، چون اغلب جملهای میشنویم که تا به حال نشنیدهایم –
فرض مارکوف: فقط بافت موضعی پیشین بر ژه بعدی اثر میگذارد
وا ●
مدل -nنگاشتی ●
هر دنباله به طول nاز واژگان را یک -nنگاشت مینامند –
میخواهیم nهای -nت هایمان نسبت Vبزرگ باشند
ا نگاش ●
پیچیدگی محاسباتی (رشد نمایی با رشد )n –
کوچک شدن ظرفهای نمونه –
30. روش تولید
بررسی فرایند تولید با مدل -nنگاشتی با nهای برابر ۰، ۱، ۲، و ۳ ●
استفاده از تخمینگر MLE ●
استفاده از قانون لپلس برای قرار دادن یک احتمال کوچک (غیرقابل ●
تنظیم) برای پیشامدهای تاکنونمشاهدهنشده
31. نتیجهگیری
نگاه به اعداد از دید زبانشناختی ●
مغرب در سه شنبه شانزدهم خرداد ۵۸۳۱ ساعت ۰۰:۰۲ –
با وجود بیقاعدگیهای نحوی دنبالههای نسبت Vطولنی با ساخت نحوی قابل
ا ●
قبول و محتوای یکنواخت تولید شد
مگر در هر ثانیه چند کلمه میتواند از میان لبان بیرون بریزیم تا بیانگر احساس درون –
ام بود و هزار نامه هایم به رویاهایشان چنگ میزنند
–
32. توسعه Eطرح
استفاده از دادگان فارسی ●
استفاده از تحلیلگر نحوی تغییریافته برای این نوع خاص پیکره ●
استفاده از تحلیلگر مورفولوژیک تغییریافته برای این نوع خاص پیکره ●
ع سازی با یک نرمافزار انتشار وبلگ و انتشار برخط مطالبمجتم ●
خواندن نظرات دیگران و تولید پاسخ مناسب ●
انتشار مطلب جدید در با ه های زمانی معقول متناسب با تعداد
ز ●
بازدیدکنندههای صفحه و محتوای کامنتها
33. توسعه Eطرح
سرزدن به وبلگهای دیگر، گذاشتن نظر، و تبادل پیوند ●
اضافه کردن مطالب منتشرشده روی گ های دیگر و سایتهای خبری
وبل ●
مربوط به محتوا به مجموعهی دادههای آموزشی و تولید مطلب هماهنگ و
مربوط به وقایع روز
استفاده از قالببندیهای ،htmlشکلک، پیوند، تصویر، و... برای شبیهتر شدن ●
به کارهایی که یک فرد هوشمند وبلگنویس انجام میدهد
34. امکان استفاده در حیطههای دیگر
●
تاریخچهی متن nیکسانی دارند در بارگیر nبازگشتی اجازهی آبونه شدن و پردازش دادهها، و بدون نزدیک
ی ی
شدن صف دیگر ۶67 -۴-۷-۱قانون زیپف اگر چنین ترکیباتی لزوم Vل„ Vبه بخش روی جنبههای مختلف
„ قب
ا
برای فعل «دید» یک نمونه را بدون ایجاد میکنند، پیوندهای دائم به حروف اول فهرست وبلگهایی که
کم میکنند و «هی» در زیر یک قالب روزنامهنگاری برخط72 است ولی با فارسی صرف Vمحاسباتی
ا
نگریست از رشتههای « و پشت سر هم که برآیندهای یک راه حل بهکاررفته در انتهای پاراگراف بال
ی شده حذف حرکتها و دستوری بابسامد در بازههای ۰۰۰۰۱ کلمهای بشماریم. تعداد وبلگهای بارگیر
تشخیص داد. این منظور، توجه خود تنوین حذف فاصله قبل و سوم به خوبی از همهی علئم نقطهگذاری
را برمیشماریم و فهرست واژگان
35. ؛)
باد دانه را بگرفت. نوشته دوست داره؟ بایدبگم من و عشقمه...!!! ●
وقتی حرفهای مرا بر خواهیم خندید .بیا بی جواب تام خستگیهر روز
ده نفربت گفت هیچ کس دوست داشتنی ترین واژه برای ایجاد میط بدون
اندیشه و به هرجا که خیلی بی تودنیابامن چه آرزو وهزار رویای بی
تاب وتوان وبال وپرسوخته کنج قفس نانده باشد و مسدود کننده هستیم
میدانیم نا سلمتی خودت از عشقت پاسخ دادمتو اجازه دادی که قلبش
به صرفه است وآهسته بی رحم دردهای زندگی ، نات میدهد افرادی که
نگاه کن . هر زمان درازای هر آینه من اگر با هه جدایی هاست و شش
دفت مثنوی او رویاهای بچه گانهات . میخواهم بگویم خیلی دوستت
دارم................مواظب خودت رپ ایران چطوره ؟؟؟ تنهایی و
گناهم را داری با گریه های متنوعی وجود من نادرجان روخیلی دوسش
دارم گله از امشب بسوزم چونکه میدان آتش آن آشیان دارند. چرا
مثبت بودن مثل ماه شب را تنها هربار که دعاکنیدمنواون به تونادرم
نوشته شده باید بدست خودم میبینم با تام اندیشه هایت سر بکشم
،جلوتر ازما تام نبودنای تو شدم پس هیچ لظهای هم نبود شگفت بر
سخره شاه حرون خر گیری بر عهده دارد.کم خوابی ... امروز و خاموشم
مکن درکنارت نیستم امافراموشم مکن نوشته دوست ندارند ؟ سلم..من
کامیار هون راسکال از میزان اشتها را امتحان کردم ، آزاد و ساعت
۶۲:۶۱ لینک کلیک کنید جایزه بگیرید لینک کلیک کنید جایزه بگیرید
لینک ثابت (۰۱)؛ آهای دنیا نگاه میکنی ... کویرم خشک و آرامش با
مژگانت اشارهای کنی . جز امید تو بان و آفرینش صور خیال ،از
سردیه دستام ... من معنا میکنی ... آرزو داشتی مرا میبشیدی .
میدونی چرا وقتی بیشت کل نیست...کل خودش یه عاله دوستت دارم...