Jakiej odległości użyć? np. manhattan, euclidean, Bray-Curtis itp.

Niestety w większości sytuacji nie ma jednoznacznej odpowiedzi na Twoje pytanie. Oznacza to, że dla każdej aplikacji z pewnością istnieje wiele wskaźników odległości, które dadzą podobne i dokładne odpowiedzi. Biorąc pod uwagę, że istnieją dziesiątki, a prawdopodobnie setki, aktywnych metryk odległości, założenie, że można znaleźć „właściwą” odległość, nie jest produktywnym sposobem myślenia o problemie wyboru odpowiedniej miary odległości.

Zamiast tego skupiłbym się na nie wybraniu złej metryki odległości. Czy chcesz, aby odległość odzwierciedlała „wielkość bezwzględną” (na przykład interesuje Cię wykorzystanie odległości do identyfikacji akcji o podobnych średnich wartościach), czy też ogólny kształt odpowiedzi (np. Ceny akcji, które zmieniają się w podobny sposób w czasie, ale może mieć zupełnie inne wartości surowe)? Pierwszy scenariusz wskazywałby odległości takie jak Manhattan i Euklidesa, podczas gdy drugi wskazywałby na przykład odległość korelacji.

Jeśli znasz strukturę kowariancji danych, wtedy odległość Mahalanobisa jest prawdopodobnie bardziej odpowiednia. W przypadku danych czysto kategorialnych istnieje wiele proponowanych odległości, na przykład dopasowanie odległości. W przypadku mieszanych kategorycznych i ciągłych dystans Gowera jest popularny (choć moim zdaniem nieco niezadowalający).

Wreszcie, moim zdaniem, twoja analiza zostanie wzmocniona, jeśli wykażesz, że twoje wyniki i wnioski są odporne na wybór metryki odległości (oczywiście w ramach podzbioru odpowiednich odległości). Jeśli twoja analiza zmieni się drastycznie wraz z subtelnymi zmianami używanej metryki odległości, należy przeprowadzić dalsze badania w celu zidentyfikowania przyczyny niespójności.

Komentarze

• Co rozumiesz przez correlation distance? 1- r ?
• @ttnphns tak, najczęściej występuje $ 1-r $. Warto zauważyć, że ' dla danej metryki podobieństwa $ \ rho \ in [-1,1] $ tam są co najmniej trzy formuły konwersji na niepodobieństwo: (1) Bhattacharyya ' s metoda $ cos ^ {- 1} (\ rho) $, (2) Kołmogorow ' s metoda $ 1- \ rho $ i (3) Matusita ' s metoda $ \ sqrt {2-2 \ rho} $. To kolejny obszar, w którym $ w praktyce $ nie ' nie sądzę, że wybór ma zwykle duże znaczenie, a gdyby tak było, martwiłbym się o solidność moich wyników.
• Cytat za mój ostatni komentarz: Krzanowski (1983). Biometrika, 70 (1), 235-243. Patrz strona 236.
• OK, dziękuję. Sprawdź również tę odpowiedź . Wskazuje to na fakt, że r jest dokładnie związane z odległością euklidesową uzyskaną na podstawie ustandaryzowanych danych (porównywanych profili), co reflect overall shape of the response według twoich słów.
• Dobry post. Jak zauważyłeś, te dwa wskaźniki są rzeczywiście powiązane. Aby nadać kontekst aktualnej dyskusji, kluczową różnicą jest to, że zmienne odległości euklidesowej nie są (zwykle) wyśrodkowane, ale wzór korelacji wyśrodkowuje zmienne i skale według ich odchylenia standardowego. Zatem korelacja jest niezmienna dla przekształceń liniowych, podczas gdy odległość euklidesowa niekoniecznie.