SVM
-
SVM의 개념 및 Python에서의 사용Programming & Machine Learning/Python X 머신러닝 2017. 8. 10. 03:26
SVM (Support Vector Machine)1. SVM의 원리SVM은 퍼셉트론을 확장한 개념으로, 데이터를 선형으로 분리하는 최적의 선형 결정 경계를 찾는 알고리즘이다. SVM은 선형 분류와 더불어 비선형 분류에서도 사용될 수 있다. SVM에서 비선형 분류를 하기 위해서 주어진 데이터를 고차원 특징 공간으로 사상하는 작업이 필요한데, 이를 효율적으로 하기 위해 커널 트릭을 사용하기도 한다. 만약 훈련 데이터가 비선형 데이터라면, 이를 비선형 매핑(Mapping)을 통하여 고차원으로 변환시킨 뒤, 새로운 차원에서의 최적의 결정 경계면을 찾는다. 이것이 커널 트릭을 사용한 것이다. SVM을 나타낸 것이 위의 그림이다. 위의 그림은 두 분류를 하나의 결정 경계로 나눈 그림이다. 위에서는 두 개의 분류 ..
-
R을 이용한 머신러닝 - 2 (비선형 회귀분석)Programming & Machine Learning/R X 머신러닝 2017. 7. 11. 00:24
2. 비선형 회귀2.1 SVM를 이용한 비선형 회귀SVM : 고차원의 입력에 대해, 변환함수를 통해 가중치를 찾게 됨이론을 통해 배우는 회귀분석은 대부분 선형적인 모형을 가정하고 있다. 하지만 실제의 데이터는 대부분 선형성을 만족하지 못한다. 따라서 실제적으로 데이터 분석에서 처리해야 하는 데이터는 비선형적인 모델이라고 할 수 있다. 선형 모형은 독립변수에 따라 종속변수가 일정한 변화, 즉 선형성을 보이지만 비선형 모형은 일정한 변화를 보이지 않는다. 수학적인 의미로는, df가 계속 변한다고 할 수 있다. 사인함수나 지수함수처럼 선형적인 모양을 하지 않는 독립변수를 포함하는 모형을 일반적으로 비선형 모형이라 한다. R에서의 SVM 회귀 분석 코드### 비선형 회귀 x = sample(0:2*pi, 100..