안녕하세요? 이번 글은 희귀 종(rare species)의 종 분포 모델(SDM: Species Distribution Modeling)에 대한 성능 지표로써 AUC-PR(Area Under the Curve-Precision-Recall)을 평가한 논문을 소개해 봅니다. 원문 링크는 아래와 같고, 초록과 일부 내용만을 번역하여 수록했습니다.
Abstract
종 분포 모델(Species distribution models)은 생물지리학적 패턴을 연구하고 의사결정을 지원하는 데 사용됩니다. 이러한 모델의 변수 품질은 모델의 출력이 의도된 용도에 적합한지 평가하는 것이 매우 중요하게 만듭니다. 그러나 주로 쓰이는 평가 접근법은 많은 생태학적 맥락에 적합하지 않습니다. 특히 희귀 종(rare species)에 대한 모델과 광범위한 지리적 범위에 대한 예측과 관련하여 과도하게 높은 성능 평가가 연관되어 왔습니다.
연구는 희귀 이진 사건에 대한 성능 지표로서 AUC-PR(Area Under the Curve-Precision-Recall)을 평가했으며, 종 분포 모델의 평가에 중점을 두었습니다. 여기서 Precision(정밀도)는 출현을 예측한 위치에서 종이 실제 출현한 확률을 나타내며, Recall(재현율=Sensitivity(민감도))은 종이 관측된 위치에서 출현을 예측한 확률을 의미합니다.
연구는 세 가지 수준의 종 출현빈도(Prevalence)를 모의 생성하였고, 예측의 지리적 범위가 확대될 때 AUC-PR과 AUC-ROC을 비교하며, 각 지표가 새로운 모집단 조사를 안내하는데 모델의 유용성을 얼마나 잘 반영하는지 평가했습니다.
AUC-PR은 종의 희귀성(rarity)에 대해 견고(robust)하였으며, AUC-ROC와 달리 지리적 범위의 증가에 영향을 받지 않았습니다. AUC-PR의 주요 장점은 정확하게 예측된 비출현(predicted absences)을 포함하지 않으며, 따라서 불균형한 데이터셋에서 모델 성능을 과장하는 경향이 적습니다. AUC-PR과 Precision는 조사를 안내하는데 모델의 유용성을 나타내는 유용한 지표였습니다.
연구는 AUC-PR이 희귀 종의 모델을 평가하는 데 중요한 장점을 가지고 있으며, 불균형한 이진 응답의 맥락에서의 이점은 다른 생태학적 연구에도 적용될 수 있을 것임을 보여줍니다. AUC-PR은 혼동 행렬(confusion matrix)의 진 음성 사분면(true negative quadrant)을 고려하지 않음으로써, 지리적 범위가 종의 분포 범위를 벗어나거나 비출현 정보가 없는 상황에서 많은 배경 지점이 사용될 때 발생하는 문제를 개선합니다.
그러나 어떤 단일 지표도 모든 성능 측면을 포착하거나 데이터셋 간에 절대적으로 비교 가능한 지표를 제공하지 않습니다. 연구 결과는 AUC-PR과 Precision이 샘플링을 안내하는데 모델의 유용성 평가에 유용하고 직관적인 지표를 제공할 수 있음을 나타내며, 모델의 적절한 사용 범위를 명시하는 데 다른 지표를 보완하는 역할을 할 수 있습니다.
Contents
단일 혼동 행렬(single confusion matrix)을 기반으로 한 성능 지표와 마찬가지로, AUC-ROC는 구별 능력을 측정하는 성능 지표입니다. 구별 능력은 1과 0을 구분하는 능력으로 정의됩니다. AUC-ROC는 임계값을 모든 범위에서 고려하여 무작위로 선택된 양성 예측이 무작위로 선택된 부정 예측보다 높은 연속적인 예측값을 갖을 확률을 나타냅니다(Hanley & Mcneil, 1982).
Hanley, J. A., & Mcneil, B. J. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982, 143, 29–36.
표. AUC-ROC 및 AUC-PR 계산에 사용되는 성능 속성을 강조한 혼동 행렬
AUC-ROC는 임계값을 기준으로 민감도(재현율) 대 1-특이도의 곡선 아래 영역을 나타냅니다. 민감도는 모든 관측된 출현 기반으로 계산됩니다, 반면 특이도는 모든 관측(또는 추론된) 비출현 기반으로 계산됩니다. 따라서 AUC-ROC는 혼동 행렬의 모든 사분면을 포함합니다. AUC-PR은 임계값을 기준으로 정밀도 대 재현율(민감도)의 곡선 아래 영역을 나타냅니다. 정밀도는 모든 예측된 출현 기반으로 계산됩니다. 따라서 AUC-PR은 진 음성(TN)의 개수를 포함하지 않습니다. AUC-PR을 계산하는 데 사용되는 셀은 회색과 점선으로 표현됩니다.
TP, 진 양성; FP, 가 양성; FN, 가 음성; TN, 진 음성.
문헌에서는 종 분포 모델링의 AUC-ROC의 두 가지 제약 사항이 강조되었습니다: 지리적 범위에 따른 변동성과 실제 비출현지에 대한 지식에 의존하는 한계입니다. 연구 영역이 주요 종의 범위 경계를 벗어나 확장될수록, 낮은 적합성의 정확한 예측 위치가 포함되어 AUC-ROC가 과대평가됩니다(Luoto, Pöyry, Heikkinen, & Saarinen, 2005; Elith et al., 2006; Lobo et al., 2008; Barve et al., 2011; Acevedo, Jiménez-Valverde, Lobo, & Real, 2012).
Luoto, M., Pöyry, J., Heikkinen, R. K., & Saarinen, K. Uncertainty of bioclimate envelope models based on the geographical distribution of species. Global Ecology and Biogeography 2005, 14, 575–584.
Elith, J., Graham, C. H., Anderson, R. P., Dudik, M., Ferrier, S., Guisan, A., … Zimmermann, N. E. Novel methods improve prediction of species’ distributions from occurrence data. Ecography 2006, 29, 129–151.
Lobo, J. M., Jimenez-Valverde, A., & Real, R. AUC: A misleading measure of the performance of predictive distribution models. Global Ecology and Biogeography 2008, 17, 145–151.
Barve, N., Barve, V., Jiménez-Valverde, A., Lira-Noriega, A., Maher, S. P., Peterson, A. T., … Villalobos, F. The crucial role of the accessible area in ecological niche modeling and species distribution modeling. Ecological Modelling 2011, 222, 1810–1819.
Acevedo, P., Jiménez-Valverde, A., Lobo, J. M., & Real, R. Delimiting the geographical background in species distribution modelling. Journal of Biogeography 2012, 39, 1383–1390.
예를 들어, 불량 수준의 모델도 사막 관목이 열대우림에서 나타나지 않을 것임을 예측할 수 있으며, 대륙 또는 세계 규모에서의 모델 평가는 종의 실제 분포 조건과 매우 다른 환경 조건을 가진 많은 위치를 포함하곤 합니다. 이러한 문제는 종의 출현빈도와 긴밀하게 연관되어 있으며, 지리적 범위가 종의 분포 범위 경계를 벗어나면 종이 점차 희귀해지는 경향이 있습니다.
그림. ROC(Receiver Operating Characteristic) 및 PR(Precision-Recall) 곡선의 비교. (a) 각 종 출현빈도 수준의 첫 번째 시뮬레이션에 대한 리지 회귀 모델의 ROC 곡선. AUC-ROC는 왼쪽 상단에서 최대화됩니다. (b) 동일한 리지 회귀 모델과 데이터에 대한 PR 곡선. AUC-PR은 오른쪽 상단에서 최대화됩니다. PR 곡선은 ROC 곡선보다 더 다양한 형태를 가지고 있습니다.