Bài Toán Tách Từ Tiếng Việt | Tìm ở đây

Xử lý ngôn ngữ tự nhiên bao gồm rất nhiều các bài toán như dịch tự động (machine translation), tóm tắt văn bản (text summarization), tìm kiếm thông tin (information retrieval), trích chọn thông tin (information extraction), v.v. Muốn giải quyết được các bài toán trên thì bài toán phân tách từ (word segmentation) là bài toán quan trọng nhất, nó quyết định thành công của các bài toán khác.

Như chúng ta đã biết, văn bản tiếng Việt đặt dấu cách giữa các âm tiết chứ không phải giữa các từ. Một từ có thể có một, hai hoặc nhiều âm tiết nên có nhiều cách phân chia các âm tiết thành các từ, gây ra nhập nhằng. Việc phân giải nhập nhằng này gọi là bài toán tách từ.

Tiêu chí quan trọng nhất trong bài toán tách từ đương nhiên là độ chính xác. Hiện tại người ta đã đạt được độ chính xác lên đến 97% tính theo từ. Tuy nhiên nếu tính theo câu (số câu được tách hoàn toàn đúng/tổng số câu) thì độ chính xác chỉ khoảng 50%. Đây là vấn đề nghiêm trọng đối với các bước xử lý sau như phân tích ngữ pháp, ngữ nghĩa vì một từ bị tách sai có ảnh hưởng toàn bộ đến cách phân tích cả câu.

Ngoài ra tiêu chí độ chính xác tách từ mới cũng quan trọng với các ứng dụng thực tế. Tiếng Việt là một sinh ngữ – nó luôn luôn biến đổi. Các từ mới thuần Việt cũng như vay mượn được tạo ra hàng ngày. Nếu một ứng dụng không xử lý được những từ này thì hiệu năng của nó sẽ giảm dần theo thời gian.

Hiện tại có một số cách tiếp cận bài toán tách từ như sau:

• Ghép cực đại: Đặt các từ vào câu sao cho phủ hết được câu đó, thoả mãn một số heuristic nhất định. Phương pháp này các ưu điểm là rất nhanh, nhưng có rất nhiều hạn chế, ví dụ như độ chính xác thấp, không xử lý được những từ không có trong từ điển.
• Luật: Xây dựng tập luật bằng tay hoặc tự động để phân biệt các cách kết hợp được phép và không được phép.
• Đồ thị hoá: Xây dựng một đồ thị biểu diễn câu và giải bài toán tìm đường đi ngắn nhất trên đồ thị.
• Máy học: Coi như bài toán gán nhãn chuỗi. Cách này được sử dụng trong JVNSegmenter[1], Đông du[2].
• Dùng mô hình ngôn ngữ: Cho trước một số cách tách từ của toàn bộ câu, một mô hình ngôn ngữ có thể đánh giá được cách nào có khả năng cao hơn. Đây là cách tiếp cận của vnTokenizer[3].

Tài liệu tham khảo

1. ↑ Nguyen, C.-T., Nguyen, T.-K., Phan, X.-H., Nguyen, L.-M., & Ha, Q.-T. (2006). Vietnamese word segmentation with CRFs and SVMs: An investigation. In 20th Pacific Asia Conference on Language, Information and Computation (PACLIC 2006).
2. ↑Lưu Tuấn Anh, Yamamoto Kazuhide. Ứng dụng phương pháp Pointwise vào bài toán tách từ cho tiếng Việt.
3. ↑ Le, H.-P., Nguyen, M.-H. T., Roussanaly, A., & Ho, T.-V. (2008). A Hybrid Approach to Word Segmentation of Vietnamese Texts. Language and Automata Theory and Applications, 240.

situs togel toto slot rtp slot situs toto bo togel situs toto situs toto situs togel bo togel pam4d situs togel toto togel situs togel situs togel bento4d situs togel bento4d situs togel bo togel situs toto pam4d daftar pam4d daftar pam4d login bento4d cerutu4d cerutu4d cerutu4d situs toto bento4d situs toto situs toto situs togel situs toto situs toto situs togel situs togel toto togel situs toto situs togel situs togel resmi toto slot situs toto situs togel situs toto situs togel situs toto situs toto situs togel situs toto slot cerutu4d situs toto cerutu4d situs toto gimbal4d daftar gimbal4d gimbal4d toto slot situs toto situs toto toto slot situs toto situs toto toto togel toto slot situs togel live casino toto slot toto togel bandar togel situs toto situs toto situs togel situs toto situs togel bakautoto situs bandar togel bakautoto situs resmi toto togel bakautoto situs toto togel terpercaya 2024 monperatoto monperatoto monperatoto monperatoto monperatoto monperatoto situs togel situs toto situs toto situs toto situs toto bo toto pulsa bo toto bo toto pulsa bo togel bo togel bo togel bo togel cerutu4d bo togel bo toto situs togel situs togel situs toto situs toto situs togel bakautoto situs togel bakautoto situs togel situs toto situs togel bo togel situs togel bandar toto macau togel pulsa bo togel Daftar Situs Toto situs toto situs toto situs toto toto togel situs toto situs toto situs togel situs togel situs toto situs toto situs togel situs toto situs lotre

situs togel

bakautoto

bandar togel togel resmi bakautoto bakautoto bakautoto bakautoto situs toto slot/a>

totoslot

scatter hitam

situs togel situs toto bo togel togel pulsa bento4d bento4d situs toto jacktoto bandar togel bo togel situs toto situs toto bo togel bo togel situs toto situs toto situs toto bo togel bandar togel situs togel jacktoto monperatoto monperatoto monperatoto monperatoto monperatoto data macau slot gacor hari ini situs toto situs toto situs toto togel online bandar togel online bandar toto macau bandar togel togel pulsa toto togel situs toto bo togel toto togel bo togel bo togel situs togel situs toto togel online situs toto jacktoto bo togel situs togel situs togel situs togel situs togel bo togel situs toto bo togel rimbabola agen toto togel situs togel situs togel bo togel situs togel situs togel toto togel situs toto toto macau situs togel situs togel online situs toto bo toto situs toto bandar toto macau situs toto situs toto macau togel dana situs togel togel pulsa situs toto link togel situs togel online situs toto cabe4d monperatoto monperatoto monperatoto monperatoto monperatoto data macau monperatoto slot gacor hari ini situs toto situs toto toto togel situs toto bandar togel situs togel rimbabola situs toto situs togel slot gacor bento4d togel pulsa situs toto situs toto situs toto situs toto situs toto bento4d bo toto cabe4d bo toto jacktoto situs toto situs deposit pulsa togel online situs toto macau cerutu4d cerutu4d rimbabola situs toto macau situs toto macau situs togel online situs toto situs togel terpercaya situs toto rtp situs togel situs togel situs toto situs togel bandar togel situs togel jacktoto situs toto situs toto situs toto situs slot gacor situs togel situs togel bo togel situs togel situs toto situs toto situs togel situs toto situs togel bo togel bakautoto bo togel bakautoto bet togel situs togel situs togel online situs toto bo togel situs togel resmi togel online situs togel situs toto bo togel rimbabola situs togel bo togel situs toto togel online situs toto bandar togel bo togel bandar totomacau bo toto pulsa cerutu4d toto macau situs togel situs togel situs togel situs toto situs toto situs toto agen togel” bo togel togel online situs togel situs togel4d bo togel terpercaya situs toto situs toto situs togel resmi situs togel togel resmi situs togel situs togel pam4d bakautoto situs toto situs toto bo togel gimbal4d situs togel bo togel bo toto situs toto bo toto situs togel situs toto situs bandar togel situs togel situs togel bo toto bo togel bandar togel resmi 10 situs togel terpercaya cerutu4d situs toto bo togel situs togel situs togel online situs togel situs toto togel situs togel situs togel bo togel agen togel situs togel situs togel situs toto situs toto situs toto bo togel situs toto bo togel cabe4d rimbatoto situs toto situs toto situs togel situs togel togel resmi situs togel situs toto situs togel situs togel situs toto cabe4d situs toto bandar togel situs toto cabe4d situs togel situs togel situs toto rimbatoto rimbatoto situs toto PAM4D PAM4D PAM4D rimbabola PAM4D gimbal4d situs toto rimba toto https://iaida.ac.id/bandar https://ak.poliupg.ac.id/ngacor/ rimba toto rimba toto bo togel terpercaya rimba toto rimba toto rimba toto rimba toto rimba toto rimba toto rimba toto agen togel cabe4d cabe4d bandar togel cabe4d situs toto togel situs togel terpercaya situs slot pam4d situs togel agen toto situs togel situs togel situs togel situs togel rimbatoto