일반 영어에서 정규화 란 무엇입니까?

간단히 말해서 정규화는 모델이 예측 (일반화)에 더 잘할 수 있도록 선호하는 모델 복잡성 수준을 조정하거나 선택하는 것입니다. 이렇게하지 않으면 모델이 너무 복잡하고 과적 합하거나 너무 단순하고 과소 적합되어 예측이 좋지 않을 수 있습니다.

최소 제곱이 복잡한 모델을 작은 학습 데이터 세트에 맞추는 경우 아마도 과적 합할 것입니다. 이것이 가장 일반적인 상황입니다. 모델의 최적 복잡성은 모델링하는 프로세스의 종류와 데이터의 품질에 따라 달라 지므로 사전에 올바른 복잡성이 없습니다.

정규화하려면 다음 두 가지가 필요합니다.

1. 예를 들어 교차 검증 또는 일련의 검증 데이터를 사용하여 모델이 예측에 얼마나 좋은지 테스트하는 방법 이에 대해 맞춤 오류 를 사용할 수 없습니다.)
2. 모델의 복잡성 또는 부드러움을 변경하거나 복잡성 / 부드러움이 다른 모델을 선택할 수있는 조정 매개 변수입니다.

기본적으로 복잡성 매개 변수를 조정 (또는 모델 변경)하고 최상의 모델 예측을 제공하는 값을 찾습니다.

최적화 된 정규화 오류는 전체 예측의 정확한 추정치가 아닙니다. 오류이므로 정규화 후 최종적으로 추가 검증 데이터 세트를 사용하거나 편향되지 않은 예측 오류를 얻기 위해 추가 통계 분석을 수행해야합니다.

(교차) 검증 테스트를 사용하는 대안은 Bayesian Priors 또는 복잡성이나 부드러움에 불이익을주는 다른 방법이 있지만, 이러한 방법에는 문제 및 모델 기능에 대한 더 많은 통계적 정교함과 지식이 필요합니다.

댓글

• +1 나에게서. 이 답변이 처음부터 시작되어 이해하기 쉬운 것이 마음에 듭니다 …
• 정규화가 과소 적합을 줄이기 위해 실제로 사용 된 적이 있습니까? 내 경험상, 정규화는 복잡성 / 민감도를 줄이기 위해 복잡 / 민감한 모델에 적용되지만 복잡성 / 민감도를 높이기 위해 단순 / 무감각 모델에는 적용되지 않습니다.
• 이 대답은 이제 꽤 오래되었지만 Toby가 언급 한 것은 정규화가 데이터 양을 고려할 때 적절한 복잡성의 모델을 맞추는 원칙적인 방법이라는 것입니다. 매개 변수가 너무 적거나 잘못된 모델을 선험적으로 선택하는 것과 너무 복잡하고 과적 합한 모델을 선택하는 것 모두에 대한 대안입니다.

경험적 위험 최소화를 통해 학습을 수행한다고 가정합니다.

더 정확하게는 :

• 음수가 아닌 손실 함수 $ L (\ text {실제 값}, \ text {예측값}) $이 있습니다. 잘못된 예측은
• 예측이 학습 데이터 (사용자가 보유한 유일한 데이터)에서만 계산되는 손실 평균 함수를 최소화하는 방식으로 모델을 맞추고 싶습니다.

그러면 학습 과정의 목표는 $ \ text {Model} = \ text {argmin} \ sum L (\ text {actual}, \ text {predicted} (\ text {Model})) $ (this 방법을 경험적 위험 최소화라고합니다.)

그러나 충분한 데이터가없고 모델에 엄청난 양의 변수가있는 경우 패턴을 설명 할뿐만 아니라 그러한 모델을 찾을 가능성이 매우 높습니다. 데이터의 랜덤 노이즈도 설명합니다.이 효과를 과적 합이라고하며 이는 모델의 일반화 능력을 저하시킵니다.

과적 합을 피하기 위해 정규화 항이 대상 함수에 도입됩니다. $ \ text {모델} = \ text {argmin} \ sum L (\ text {actua l}, \ text {predicted} (\ text {Model})) + \ lambda R (\ text {Model}) $

일반적으로이 용어 $ R (\ text {Model}) $은 복잡한 모델에 대한 특별 패널티. 예를 들어, 계수가 큰 모델 (L2 정규화, $ R $ = 계수의 제곱합) 또는 계수가 0이 아닌 경우 로트 (L1 정규화, $ R $ = 계수의 절대 값 합계)가 있습니다. 의사 결정 트리를 학습하는 경우 $ R $는 깊이가 될 수 있습니다.

또 다른 관점은 $ R $가 최상의 모델 형태에 대한 사전 지식을 소개한다는 것입니다 ( ” 큰 계수 “,”$ \ bar a $에 거의 직교합니다. “)

간단한 용어로 정리하면 정규화 얻을 것으로 기대하는 솔루션에 혜택을주는 것입니다. 언급했듯이, 예를 들어 단순성의 정의를 위해 “간단한”솔루션을 활용할 수 있습니다. 문제에 규칙이있는 경우 하나의 정의가 더 적은 규칙 일 수 있습니다. 그러나 이것은 문제에 따라 다릅니다.

하지만 올바른 질문을합니다. 예를 들어 서포트 벡터 머신에서이 “단순함”은 “최대 마진”방향으로 연결을 끊는 데서 비롯됩니다. 문제의 관점에서 명확하게 정의 할 수있는 것입니다. Wikipedia의 SVM 기사 에는 매우 좋은 기하학적 파생이 있습니다. 정규화 용어는 다음과 같습니다. , 적어도 SVM의 “비밀 소스”입니다.

정규화는 어떻게 수행합니까? 일반적으로 사용하는 방법과 함께 제공되며 SVM을 사용하는 경우 L2 정규화를 수행합니다. LASSO “L1 정규화를 수행하고 있습니다 (hairybeast가 말하는 내용 참조). 그러나”자신 만의 방법을 개발하는 경우 원하는 방법을 알아야합니다. ” 바람직하지 않은 솔루션의 솔루션이며이를 정량화하는 기능이 있습니다. 결국 비용 기간과 정규화 기간이 있고 둘의 합계를 최적화하려고합니다.

정규화 기술은 결정 경계 / 적합 모델을 더 매끄럽게 만드는 기계 학습 모델에 적용되는 기술입니다. 이러한 기술은 과적 합을 방지하는 데 도움이됩니다.

예 : L1, L2, 드롭 아웃, 신경망의 가중치 감소. SVM의 $ C $.

간단히 말해서 정규화는 머신 러닝을 학습 할 때 과적 합을 방지하는 기술입니다. 충분한 자유 매개 변수가있는 알고리즘이있는 경우 샘플을 매우 세부적으로 보간 할 수 있지만 샘플 외부의 예는 실제 추세 대신 샘플에서 노이즈 또는 불규칙한 불규칙성을 캡처했기 때문에이 세부 보간을 따르지 않을 수 있습니다.

모델에서 매개 변수의 절대 값을 제한하여 과적 합을 방지 할 수 있습니다. 모델 매개 변수의 크기에 따라 패널티를 부과하는 비용 함수. 크기가 L1 표준으로 측정되는 경우이를 “L1 정규화”라고하며 (일반적으로 희소 모델이 생성됨) L2 표준으로 측정되는 경우 “L2 정규화”라고합니다.