تَجْزِيئ الْكَلَام – TreeTagger

تقديم:

العديد من الطرق الإحصائية اُسْتُخْدِمت في عملية تجزيئ أقسام الكلام من أبرزها تلك التي اعتمدت على نماذج ماركوف المخفية، إلا أن هذه الخوارزمية تواجه  بعض صعوبات في تقدير احتمالات الانتقال بدقة لاسيما إن كانت بيانات التدريب محدودة. ونتيجة لذلك فقد ظهرت طريقة جديدة لتجاوز هذه المشاكل عبر استخدام الرسم الشجري. بناء على هذه الخوارزمية تم تطوير برنامج قياسي تجزيئ الكلام مستقل عن أي لغة بعينها وتتم تهيئته لمعالجة لغة معينة عبر إنشاء ملف إعداد خاص بتلك اللغة. الورقة البحثية أسفله تشرح طريقة إعداد البرنامج لإستعماله لتوسيم النصوص العربية مع عرض النتائج المحصل عليها وكذا تجدون في المرفقات ملفات الإعداد النهائية لكل من النصوص القرآنية و النصوص الحديثة.

لمزيد من التفاصيل المرجو الإطلاع على الورقة التالية :

Imad Zeroual and Abdelhak Lakhouaja, “Adapting a decision tree based tagger for Arabic,” in 2016 International Conference on Information Technology for Organizations Development (IT4OD), 2016, pp. 1–6., (DOI) 10.1109/IT4OD.2016.7479306.

 لتحميل ملفات الإعدادات :

• النص القرآني ArabicQuranic
  
• النصوص الحديثة ModernStandardArabic