매일코딩

머신러닝 모델 - 수치형 데이터 예측 : 회귀모델 : 지도학습 : target 이 있음 - 범주형 데이터 예측 : 분류모델 : 지도학습 : target 이 있음 - 나이브베이즈 : 텍스트 데이터 분류 - SVM : 이미지, 음향 - 디시전트리(랜덤포레스트) : 그외의 경우 - 군집분석 : 비지도학습 : target 이 없음, 클러스터링 나이브 베이즈를 알려면 조건부 확률을 알아야 한다. 조건부 확률을 활용하여 베이즈 정리를 구할 수 있다. 나이브 베이즈 모델을 이해하기 위해서는 베이즈 정리를 알아야 한다. 베이즈 정리는 결과를 알고나서, 그 결과에 대한 어떠한 확률을 구하는 것이다. 나이브 베이즈 종류 앞에 나이브 라는 말은 각각 모든 사건들을 독립적으로 가정하여 그렇게 이름이 붙여졌다고 한다. 나이브 ..

LightGBM: 기존 GBM들 보다 훨씬 더 빠르게 학습이 된다. 아이디어는 별개 아닌데, 추후 모델에 많은 기여를 한 모델이다. 기존 GBM들은 level-wise 방식으로 tree를 만들었다. Level-wise라는건 DT가 학습할 때 같은 level에 있는 노드들을 모두 split한 뒤에 다음 level로 넘어가는 방식을 얘기한다. 깊이가 너무 커지면 overfitting될 가능성이 높기 때문에, Level을 제한하여 최대한 모델을 키우는 방식을 사용해왔다. Light GBM이 제안하는 메인 아이디어는 Level-wise 방식이나 Leaf-wise 방식 모두 optional을 만들게 된다면 비슷한 DT를 만들게 된다는 것에서 시작한다. Leaf-wise를 사용한다면, 훨씬 더 빠르게 optimal..

XGBoost: 하드웨어를 최적화 시킨 Gradient Boosting Mdel 실제 학습이 빠르게 학습되고, 대중적으로 많이 쓰인다. 추후 LGBM 모델에 많은 영향을 주었다. Boosting & Gradient Boosting Boosting model은 Bagging 방식이 만들어지는 원리가 전체 성능을 향상하는데 직접적인 연관이 없는 것을 보완한 모델 순차적 모델 첫번째로 만든 DT가 잘못 분류한 친구들을 그 다음 DT가 보완하는 방식으로 순차적으로 Tree를 생성 다음 DT는 이전의 DT가 잘못 분류한 데이터들에 가중치를 주는 것으로 DT가 뽑을데이터의 샘플링을 조절한다. 그리고 그 DT를 다 모아서 앙상블 한다. Gradient descent algorithm을 boosting model에 도..

Lasso, Ridge : Linear Regression 모델이 고차원 공간에 over fitting이 쉽게 되는 문제를 해결한 기법 Lasso weight의 L1 term을 Loss function에 더해준다 Loss가 증가한다. 추가된 항 (L1 term)도 gradient descent algorithm의 최적화 대상에 속한다. L1 term을 제약조건이라고 부르고 또는 Regularization term이라고 한다. (L1 규제) Ridge weight의 L2 term을 Loss function에 더해준다 Loss가 증가한다. 추가된 항 (L2 term)도 gradient descent algorithm의 최적화 대상에 속한다. L2 term을 제약조건이라고 부르고 또는 Regularizatio..

연속형 확률 변수 취할 수 있는 값이 연속인 확률 변수 각 값들이 어떤 범위 안에 속할 확률로서 확률값이 정의 된다. 거의 불가능하기 때문에 0 이라고 하는 것임 넓이로 표현 확률 밀도 함수 PDF 연속형 확률 변수의 확률 정의에 사용되는 함수 누적분포함수 CDF 확률변수 X가 x이하가 될 때의 확률 F(x) : 누적분포 함수

캘리포니아 집값 데이터를 가지고 실습을 진행해보자 X에는 feature들, y에는 target을 가져온다. 두 row 갯수가 같은지 꼭 확인해 봐야 한다. 데이터 전처리 1. 결측치 확인 2. dtype이 object인 column 있는지 확인 -> categorical 특징 확인 3. target distribution -> 히스토 그램으로 확인 5이상인 값들을 5로 설정했기 때문에 저렇게 분포가 나옴 Train-test Split 트테트테 해서 return 값을 꼭 외우자. random_state = 42 -> 42 온 우주를 이해하는 42, 시드값 고정, 재현성을 위해서 설정 Training (Fit) 선형회귀 모델과, Light GBM 모델을 만들어줍니다. 그리고 학습을 진행합니다. Evaluat..

선형회귀 이상적인 학습 Ptrain 높고, Ptest 높은 모델 과적합 Ptrain 높고, Ptest 낮은 모델 과적합을 막기 위해 학습에 규제를 추가 -> 적당한 loss를 올려줌(일반화 시키기 위해) 라소, 릿지 모델이 존재 선형회귀, 라소, 릿지 3개 모델은 현업에서 많이 쓰임 polynomical 회귀는 과적합될 확률이 높음 선형 모델의 성능이 안좋다면? feature Engineering을 진행 해봐야 한다. 통상적으로 LightGBM 회귀를 사용 많이 한다. 빠르고 성능이 상당히 좋음 가성비가 좋다 회귀 분석, 회귀 task 현업에서 회귀 문제에서 많이 쓰이는 모델이다. 결정 트리 -> 랜덤 포레스트 -> GBM -> XGBOOST -> LightGBM -> CatBoost 그러면 모든 사람들..

푸아송 분포 임의의 사건이 단위 시간당 발생하는 건수에 따른 확률 ㅂ누포 취할 수 있는 값: 0,1,2,3 ... 파라미터: lambda는 양의 실수 Poi(lambda) 하루 평균 2건의 교통사고가 발생하는 지역에서 하루 교통사고 발생 건수 Poi(2) 이 지역에서 하루 교통사고가 한 건도 일어나지 않을 확률 = 1/32 람다라는 값을 미리 알아야 쓸 수 있는 분포임 이산 확률 분포 정리

기하분포 베루누이 시행에서 처음 성공할 때 까지 반복한 시행 횟수에 따른 분포 취할 수 있는 값 : 1 ~ 자연수 성공확률 : p Ge(p)로 나타낸다. 앞면이 나올 때 까지 동전을 던지는 횟수 Ge(1/2) -> 1/32 (5번 던져서 처음으로 앞면이 나올 확률) 베르누이 값의 역수이다.

이항분포 성공확률이 p인 베르누이 시행을 n번 했을 때의 성공횟수를 나타내는 분포 취할 수 있는 값 : 0~n 파라미터: 성공확률 p 시행횟수:n Bin(n,p)로 나타낸다. 동전을 10번 던져 앞면이 3번 나올 확률 Bin(10,1/2) = 15/128 베르누이에서 n만 곱해주면 된다.