KHOẢNG CÁCH EUCLIDEAN

Phân loại

Lý thuyết học thứ (31)Quy hoạch lồi (13)Thuật toán (6)

Lưu trữ

Thống kê

219724 lần xem

Bài cách đây không lâu

Trang

Blogroll

Quản trị

Theo dõi

Blog D.Q. Huy

Xem nhiều nhất

Các khái niệm trong Học trang bị (Machine Learning) (7) – một vài vídụ

Posted by è Quốc Long trên mon Bảy 30, 2008

Ước lượng thông số của trưng bày chuẩn (normal distribution): Ở bài bác thứ 3, ta đang thấy một ví dụ thực hiện công thức Bayes để ước lượng xác suất của tham số. Trong ví dụ này, ta sẽ thử thực hiện nguyên tắc cực đại hóa khả năng (maximum likelihood estimation – MLE) để cầu lượng tham số.

Bạn đang xem: Khoảng cách euclidean

Ví dụ 1. mang sử tài liệu

được đem từ phân phối chuẩn chỉnh . Hãy khẳng định .

Giải: quý giá của

phải cực lớn hóa khả năng (likelihood) của dữ liệu

Lấy logarit cơ số tự nhiên cả nhị vế và thải trừ đi hằng số, việc cực lớn hóa

tương tự với việc cực to hóa hàm log-likelihood sau

Lấy đạo hàm

cùng đặt bởi rồi giải ra ta được ước lượng MLE của là

Ví dụ 2. đưa sử tài liệu

được rước từ phân phối chuẩn . Hãy xác định .

Xem thêm: Những Bài Văn Tả Cây Phượng Vĩ Trên Sân Trường Lớp 4, Tả Cây Phượng Vĩ Hay Nhất (Dàn Ý

Giải: tương tự như trên hàm log-likelihood là:

Đầu tiên, cực đại hóa

theo , ta được

Tiếp tục cực đại hóa

theo ta có

Lưu ý:

Qua 2 lấy ví dụ như trên, ta thấy xác minh qua nguyên tắc cực lớn hóa khả năng chính là các đại lượng trung bình cộng của tài liệu và trung tầm thường phương không đúng số.Đối với tài liệu nhiều chiều, , với phương pháp làm tương tự (có phức tạp hơn 1 chút), ta cũng rất có thể tính được

Ví dụ 3. trả sử gồm hai lớp đối tượng , ta biết rằng

Nghĩa là phân bổ của nhị lớp đối tượng người dùng đều là phân phối chuẩn, gồm phương sai như là nhau. Đồng thời đưa sử

. Hãy xây dựng công cụ phân lớp buổi tối ưu và mong lượng tỷ lệ lỗi.

Giải: bởi

nên luật phân lớp tối ưu là

Lấy logarith cơ số tự nhiên và thoải mái cả nhị vế của bất đẳng thức rồi thải trừ hằng số tầm thường ta được

Tức là nếu

ở ngay gần hơn thế thì sẽ được phân vào lớp với ngược lại. Hoặc trường hợp

Do

và tính đối xứng của các phân cha ta có

Trong đó

là hàm phân bố xác suất (cummulative distribution function) của phân bố chuẩn .

Ví dụ 4.

Xem thêm: Có Thể Điều Chỉnh Đường Cong Mấy Lần, Đề Thi Học Kì 2 Tin Học Lớp 3 Năm 2021

Xét ngôi trường hợp bao quát hơn

và

Điều kiện để phân

vào lớp là

Lấy logarit cơ số tự nhiên cả 2 vế, ta có

Như vậy, nghỉ ngơi trường vừa lòng phân phối chuẩn tổng quát, con đường phân trẻ ranh giới tối ưu thân 2 lớp là 1 đường cong bậc 2. Nó rất có thể là mặt đường thẳng, elipsoid, hyperbol xuất xắc parabol tùy thuộc vào

với . Ta xét một vài trường hợp đối chọi giản:

Lưu ý:

Do ma trận là ma trận xác định dương nên thường thấy các tính chất sau

(bất đẳng thức tam giác)

Tức là khoảng cách Mahalanobis vừa lòng các tính chất cần phải có của khoảng cách trong không gian metric.
Posted in kim chỉ nan học sản phẩm | Thẻ: cực đại hóa khả năng, CDF, cummulative distribution function, Euclidean distance, generalization error, khoảng cách Euclid, khoảng cách Mahalanobis, LDA, linear discriminant analysis, log-likelihood, Mahalanobis distance, maximum likelihood estimation, MLE, phân bổ xác suất, chia cách 2 lớp bởi siêu phẳng, support Vector Machines, SVM, vectơ hỗ trợ, xác suất lỗi, mong lượng tham số | Leave a bình luận »