KHOẢNG CÁCH EUCLIDEAN

     

Phân loại

Lý thuyết học thứ (31)Quy hoạch lồi (13)Thuật toán (6)

Lưu trữ

Thống kê

219724 lần xem

Bài cách đây không lâu

Trang

Blogroll

Quản trị


Theo dõi

*
Blog D.Q. Huy

Xem nhiều nhất


Các khái niệm trong Học trang bị (Machine Learning) (7) – một vài vídụ

Posted by è Quốc Long trên mon Bảy 30, 2008


Ước lượng thông số của trưng bày chuẩn (normal distribution): Ở bài bác thứ 3, ta đang thấy một ví dụ thực hiện công thức Bayes để ước lượng xác suất của tham số. Trong ví dụ này, ta sẽ thử thực hiện nguyên tắc cực đại hóa khả năng (maximum likelihood estimation – MLE) để cầu lượng tham số.

Bạn đang xem: Khoảng cách euclidean

Ví dụ 1. mang sử tài liệu

*
được đem từ phân phối chuẩn chỉnh
*
. Hãy khẳng định
*
.

Giải: quý giá của

*
phải cực lớn hóa khả năng (likelihood) của dữ liệu

*

Lấy logarit cơ số tự nhiên cả nhị vế và thải trừ đi hằng số, việc cực lớn hóa

*
tương tự với việc cực to hóa hàm log-likelihood sau

*

Lấy đạo hàm

*
cùng đặt bởi
*
rồi giải ra ta được ước lượng MLE của
*

*

Ví dụ 2. đưa sử tài liệu

*
được rước từ phân phối chuẩn
*
. Hãy xác định
*
.

Xem thêm: Những Bài Văn Tả Cây Phượng Vĩ Trên Sân Trường Lớp 4, Tả Cây Phượng Vĩ Hay Nhất (Dàn Ý

Giải: tương tự như trên hàm log-likelihood là:

*

Đầu tiên, cực đại hóa

*
theo
*
, ta được

*

*

Tiếp tục cực đại hóa

*
theo
*
ta có

*

*

Lưu ý:

Qua 2 lấy ví dụ như trên, ta thấy
*
xác minh qua nguyên tắc cực lớn hóa khả năng chính là các đại lượng trung bình cộng của tài liệu và trung tầm thường phương không đúng số.Đối với tài liệu nhiều chiều,
*
, với phương pháp làm tương tự (có phức tạp hơn 1 chút), ta cũng rất có thể tính được

*
*
Ví dụ 3. trả sử gồm hai lớp đối tượng
*
, ta biết rằng

*

*

Nghĩa là phân bổ của nhị lớp đối tượng người dùng đều là phân phối chuẩn, gồm phương sai như là nhau. Đồng thời đưa sử

*
. Hãy xây dựng công cụ phân lớp buổi tối ưu và mong lượng tỷ lệ lỗi.

Giải: bởi

*
nên luật phân lớp tối ưu là

*

*

Lấy logarith cơ số tự nhiên và thoải mái cả nhị vế của bất đẳng thức rồi thải trừ hằng số tầm thường ta được

*

*

Tức là nếu

*
ở ngay gần
*
hơn thế thì sẽ được phân vào lớp
*
với ngược lại. Hoặc trường hợp
*

Do

*
và tính đối xứng của các phân cha ta có

*

Trong đó

*
hàm phân bố xác suất (cummulative distribution function) của phân bố chuẩn
*
.

Ví dụ 4.

Xem thêm: Có Thể Điều Chỉnh Đường Cong Mấy Lần, Đề Thi Học Kì 2 Tin Học Lớp 3 Năm 2021

Xét ngôi trường hợp bao quát hơn

*

*

*

Điều kiện để phân

*
vào lớp
*

*

Lấy logarit cơ số tự nhiên cả 2 vế, ta có

*
*

Như vậy, nghỉ ngơi trường vừa lòng phân phối chuẩn tổng quát, con đường phân trẻ ranh giới tối ưu thân 2 lớp là 1 đường cong bậc 2. Nó rất có thể là mặt đường thẳng, elipsoid, hyperbol xuất xắc parabol tùy thuộc vào

*
với
*
. Ta xét một vài trường hợp đối chọi giản:

Lưu ý:

Do ma trận
*
là ma trận xác định dương nên thường thấy các tính chất sau

*
*
*
*
(bất đẳng thức tam giác)

Tức là khoảng cách Mahalanobis vừa lòng các tính chất cần phải có của khoảng cách trong không gian metric.
Posted in kim chỉ nan học sản phẩm | Thẻ: cực đại hóa khả năng, CDF, cummulative distribution function, Euclidean distance, generalization error, khoảng cách Euclid, khoảng cách Mahalanobis, LDA, linear discriminant analysis, log-likelihood, Mahalanobis distance, maximum likelihood estimation, MLE, phân bổ xác suất, chia cách 2 lớp bởi siêu phẳng, support Vector Machines, SVM, vectơ hỗ trợ, xác suất lỗi, mong lượng tham số | Leave a bình luận »