Tìm Hiểu Về Tách Từ Trong Tiếng Việt - Speaker Deck

$30 off During Our Annual Pro Sale. View Details » Speaker Deck

• Features
• Speaker Deck PRO
• Sign in
• Sign up for free
• Search

• Search

Tìm hiểu về tách từ trong tiếng Việt

Search Van Hai January 20, 2015 0 1.4k Tìm hiểu về tách từ trong tiếng Việt

Van Hai

January 20, 2015 Tweet Share

More Decks by Van Hai

See All by Van Hai 文献紹介：Recurrent Neural Network based Language Model nguyenvanhai 0 99 文献紹介：HMM Parameter Learning for Japanese Morphological Analyzer nguyenvanhai 0 110 文献紹介:An Effective Neural Network Model for Graph-based Dependency Parsing.pdf nguyenvanhai 0 160 文献紹介：Finding Synonyms Using Automatic Word Alignment and Measures of Distributional Similarity nguyenvanhai 0 84 文献紹介：A Supervised Learning Approach to Automatic Synonym Identification based on Distributional Features nguyenvanhai 0 160 文献紹介：Revisiting Word Embedding for Contrasting Meaning nguyenvanhai 0 280 文献紹介：ベトナム語ツリーバンク nguyenvanhai 0 320 文献紹介：ベトナム語の品詞付与 JVnTagger nguyenvanhai 0 370 文献紹介：Pointwise法を利用したベトナム語単語分割 nguyenvanhai 0 300

Featured

See All Featured VelocityConf: Rendering Performance Case Studies addyosmani 326 24k GraphQLとの向き合い方2022年版 quramy 43 13k The Web Performance Landscape in 2024 [PerfNow 2024] tammyeverts 1 200 Build your cross-platform service in a week with App Engine jlugia 229 18k How to Think Like a Performance Engineer csswizardry 20 1.1k Site-Speed That Sticks csswizardry 0 79 Side Projects sachag 452 42k Put a Button on it: Removing Barriers to Going Fast. kastner 59 3.6k BBQ matthewcrist 85 9.3k Being A Developer After 40 akosma 87 590k Save Time (by Creating Custom Rails Generators) garrettdimon PRO 27 870 Mobile First: as difficult as doing things right swwweet 222 8.9k

Transcript

1. Xử lý ngôn ngữ tự nhiên Nguyễn văn hải Pgs.

   Yamamoto kazuhide Ptn. XỬ LÝ NGÔN NGỮ TỰ NHIÊN Trường đại học khoa học kỹ thuật Nagaoka

2. Tại sao phải tách từ? Tiếng Việt được tạo từ

   nhiều âm tiết, và dấu cách không có nghĩa là phân tách từ. Ví dụ: “đất” và “nước” là 2 âm ý nghĩa riêng khi đứng độc lập và mang 1 ý nghĩa khác khi ghép lại với nhau “đất nước”. Do vậy tách từ nhằm phân biệt các từ trong 1 câu để máy tính có thể hiểu được.

3. Bài toán tách từ gồm có 3 phương pháp tiếp

   cận Dựa vào từ điển cố định Dựa vào thống kê Dựa vào cả 2 phương pháp trên

4. Phương pháp được sử dụng Phương pháp so sánh cực

   đại (maximum matching) Phương pháp đồ thị hóa Mô hình Markov ẩn (hidden Markov model) Độ hỗn loạn cực đại (maximum entropy) Mô hình trường ngẫu nhiên có điều kiện (conditional random fields) ….

5. Tìm hiểu và giới thiệu một vài phương pháp tách

   từ trong tiếng Việt 1.Phương pháp so sánh cực đại 2.Phương pháp mô hình n-gram 3.Phương pháp mô hình Markov

6. phương pháp so sánh cực đại (longest matching) Còn gọi

   là LRMM-left right maximum matching phương pháp này duyệt 1 câu từ trái sang phải, chọn từ có nhiều âm nhất có trong từ điển và lặp đi lặp lại cho đến khi hết câu Dạng đơn giản cúa phương pháp này dùng để giải quyết nhập nhằng từ đơn trong. Giả sử chúng ta có 1 chuỗi kí tự C1, C2, C3, C4,…. Cn Đầu tiên kiểm tra xem C1 có phải từ hay không, sau đó kiểm tra C1C2 có phải từ hay không. Tiếp tục tìm cho đến khi tìm được từ dài nhất

7. phương pháp so sánh cực đại (longest matching) Dạng phức

   tạp của phương pháp này là phân đoạn từ Ví dụ chuỗi kí tự C1, C2, C3, C4,…. Cn Giả sử C1 là từ, C1C2 cũng là 1 từ. Khi đó ta kiểm tra các kí tự trong chuỗi C1, C2, C3, C4,…. Cn để tìm tất cả các đoạn 3 từ bắt đầu với C1 hoặc C1C2 Giả sử ta được: C1 C2 C3 C4 C1C2 C3C4 C5 C1C2C3C4 C5C6 Chuỗi dài nhất là chuỗi thứ 3 do đó từ đầu tiên (C1C2) sẽ được chọn

8. phương pháp so sánh cực đại (longest matching) Phương pháp

   này tách từ đơn giàn, nhanh, chỉ cần dựa vào từ điển thực hiện. Nhưng do phụ thuộc vào từ điển nên độ chính xác của phương pháp này phụ thuộc vào sự đầy đủ và chính xác của từ điển.

9. Mô hình n-gram Trong mô hình n-gram, mỗi từ được

   xem như phụ thuộc xác suất vào n-1 từ trước no. Xác suất của 1 từ dựa vào n từ trước đó được thống kê trên 1 corpus đủ lớn. 

10. Mô hình n-gram tùy vào giả thuyết phụ thuộc vào

    các từ mà ta có mô hình 2-gram hay 3-gram tương ứng. Phương pháp này là phương pháp thống kê giải bài toán tách từ khi không có thông tin từ điển và dữ lieu gán nhãn. Mô hình phân đoạn từ được biểu hiện bởi mô hình dưới:

11. phương pháp hidden Markov model Mô hình Markov ẩn là

    mô hình thống kê. Mô hình hóa là 1 quá trình markov với các tham số không biết trước và nhiệm vụ là xác định được các tham số ẩn từ các tham số quan sát được. Các tham số của mô hình rút ra sử dụng cho các phân tích kế tiếp

12. phương pháp hidden Markov model Trong 1 mô hình Markov

    điển hình, trạng thái được quan sát trực tiếp bởi người quan sát, và vì vậy các các xác suất chuyển tiếp trạng thái là các tham số duy nhất. xi: các trạng thái trong mô hình aij: các xác suất chuyển tiếp bij: các xác suất đầu ra yi: các dữ liệu quan sát

13. phương pháp hidden Markov model Mô hình Markov vô hướng

    Thêm vào các đầu ra: mỗi trạng thái có xác suất phân bố trên các biểu hiện đầu ra. Vì thế ta có thể tìm ra chuỗi mô tả tốt nhất Cho chuỗi dữ liệu quan sát bằng cách tính: 

14. phương pháp hidden Markov model Hạn chế của mô hình

    Markov: để tính được xác suất P(Y, X) phải liệt kê được hết các trường hợp của X, Y. Thực tế chuỗi Y là hữu hạn, có thể liệt kê được. Nhưng chuỗi X (dữ liệu quan sát) là rất phong phú

15. Tham khảo Mô hình tách từ, gán nhãn từ loại

    và hướng tiếp cận cho tiếng việt [2008]- Trần Thị Oanh Bài viết về thuật toán tách từ cùa Lưu Tuấn Anh: http://viet.jnlp.org/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tu-nhien/thuat-toan- tach-tu-tokenizer/thuat-toan-tach-tu