티스토리

Y.LAB

검색하기

블로그 홈

Y.LAB

yamalab.tistory.com/m

재테크, 투자, Quant Analysis, 데이터 사이언스

구독자: 26

방명록 방문하기

주요 글 목록

MNIST로 알아보는 비지도 학습 - [클러스터링과 차원 축소의 적용] 최근 클러스터링을 사용할 작업이 여기저기 많았다. 그래서 생각난김에 맨땅에 헤딩했던 관련 내용을 정리하고자 한다. 클러스터링 문제를 풀 때 마주치는 보통의 애로사항은 다음과 같다. 첫 번째, real-world 에서의 데이터 대부분은 극단적으로 skewed 하다는 것이다. 이는 모델이 군집을 잘 구분해내는 피처를 사용할 수 없다는 것을 의미한다. 이처럼 skewed한 분포의 데이터에서 군집을 발라내봤자, 기형적인 군집이 형성될 것이 뻔하기 때문이다. 만약 유클리드 거리로 데이터 포인트간의 거리를 계산하기라도 한다면, 사실상 군집 분석의 의미가 없어진다. 두 번째, 모델의 분류가 잘 되었는지를 평가할 방법이 불분명하다. 군집 분석을 하는 상황은 대부분 비지도 학습을 해야 하는 상황이다. 이 경우, 모델의 .. 공감수 11 댓글수 8 2019. 8. 6.
Python으로 Custom Sparse Matrix 생성하기 파이썬은 sparse-matrix를 만들기 위한 훌륭한 라이브러리들을 가지고 있다. one-hot encoding 역시 코드 1~2줄이면 간단하게 사용이 가능하다. 하지만 추천 시스템과 같이 대용량의 sparse-matrix를 처리하거나, Factorization Machine 같은 알고리즘을 사용하는 경우, scikit-learn이나 pandas가 제공하는 dummy encoder 만으로는 부족한 경우가 많다. 모델의 Input 타입이 idx:value 와 같은 text file로 구성되어 있는 경우에 해당한다. 추천 시스템의 경우는 대부분 extreme-sparse matrix를 생성하기 때문에, 학습의 batch시에 hashing으로 idx:value를 지정해 주는 것이 일반적이다. 이렇게 구조를 .. 공감수 0 댓글수 0 2018. 12. 8.
Google Colaboratory를 활용하여 Keras 개발환경 구축 오랜만에 딥러닝 프레임워크 관련 글을 작성하는 것 같다. 근래에는 분산처리, 파이썬 개발, 추천 시스템 공부에 치중하다 보니 딥러닝을 접할 시간이 부족했었다. 하지만 이제 추천 시스템에도 딥러닝 적용을 해야 하기도 하고, 역시나 개발은 딥러닝 개발이 가장 재미있으므로, 본격적으로 딥러닝 공부를 시작하지 않을까 싶다. 우연한 기회에 Google Colaboratory(이하 Colab)와 Keras를 함께 사용하는 스터디를 했었는데, 오늘은 이에 대한 개발환경 구축 포스팅을 하고자 한다. Colab이 발표된 지 꽤 많은 시간이 지났지만, 아직까지 딥러닝 프레임워크 사용자들에게 많이 각광받는 툴은 아닌 것 같다. Colab은 Jupyter Notebook으로 협업을 진행하게 될 때의 문제점, 협업 진행자들 소.. 공감수 3 댓글수 0 2018. 6. 8.
Python으로 logistic regression 학습 구현하기 파이썬으로 basic한 머신러닝 이론들을 구현하는 Implementation 프로젝트중 일부로(github 링크), 본 포스팅에서는 간단한 python 코드를 이용하여 logistic regression을 공부해 보았다. 1. 로지스틱 회귀의 이해와 Hypothesis 로지스틱 회귀모델은 y값이 범주형 변수인 경우(binary)에도 다중선형회귀모델을 적용시키기 위해 고안된 것이다. 만약 회귀식의 결과값이 0, 1로만 도출된다면, 회귀식의 경우 이에 근사하는 직선 혹은 모델을 만들기가 어려워진다. (아래 이미지 참고 - 출처 : ratsgo's blog) 그래서 생각해낸 것은 타겟변수를 확률로 만들자는 것이다. 이 아이디어를 통해 (0, 1)을 0 ≤ Pr⁡(Y=1│X) ≤ 1 로 나타내게 된다. 하지만 .. 공감수 8 댓글수 0 2018. 5. 27.
파이썬 언어에 대한 참고사항들 github 자료와 메모 자료들을 정리하던 도중, CS 관련 지식들을 정리해놓은 자료들을 발견했다.아주 기초적이고 쉬운 내용들이지만, 복습 겸 블로그에 다시 정리하고자 한다. 이 중 파이썬 언어와 관련된 참고사항들을 정리할 것이다. 1. 파이썬의 네이밍 원칙 어느 언어들이 그렇듯이, 파이썬 역시 네이밍 원칙 즉 code convention이 존재한다. 간략한 내용은 다음과 같다. - 하나의 알파벳으로 변수의 이름을 지어서는 안된다. - 모듈 : 모듈 이름은 짧아야 하고, 소문자여야만 한다. 문장이 길어지는 경우 가독성을 위한 언더스코어 사용은 허용된다. - 패키지 : 무조건 소문자여야 한다. - 클래스 이름 : CapWords 형식을 따른다. 첫글자는 대문자로 한다. - exception : 클래스와 동.. 공감수 0 댓글수 0 2018. 5. 23.
Python으로 regression 학습 구현하기 Machine Learning에서 가장 중요한 것 중 cost function과 theta update이 있다. 일례로, Deep learning으로 RMSE를 낮추는 prediction 모델링을 한다고 할 때 더 고급 알고리즘을 사용하거나, Batch normalization 기법을 적용하는 것 보다 learning rate나 threshold, batch size를 수정해보는 것이 훨씬 좋은 결과를 얻는 경우가 많다. 사실 해보지 않으면 잘 모른다. 해봐도 모르는 경우가 많다. 그래서 이 내용들을 제대로 이해하려면 한 번쯤 직접 구현해보는 것이 좋다고 생각했고, 파이썬으로 basic한 머신러닝 이론들을 구현하는 Implementation 프로젝트를 시작했다(github 링크). 본 포스팅에서는 간단한.. 공감수 1 댓글수 4 2018. 5. 6.
파이썬 기초 문법 - 5 (format, map, isinstance 함수) 1. format 함수 format 함수는 str 타입과 관련된 함수이다. Cython을 기준으로 한 문법이며, c언어로 문자열을 출력할 때 printf 에 %를 붙이는 것과 유사한 출력 포맷이다. 원래는 파이썬으로 출력문을 작성할때 c언어와 매우 유사한 구조였지만, format 함수로 인해 이런 방식으로 코딩을 많이 하는 편이다. ##### format 함수 inputpath = '/hello/world' # :0>2 는 2자리보다 커지지 않게 숫자 앞을 0으로 채우는것 inputFormat = '{0}/{1}/{2:0>2}/{3:0>2}/time-{4:0>2}.*' print(inputFormat.format(inputpath, 2018, 2, 4, 12.1231131)) print(inputForm.. 공감수 0 댓글수 0 2018. 4. 4.
BeautifulSoup4를 이용한 파이썬 크롤링 데이터 분석에 활용할만한 충분한 데이터를 가지고 있지 않은 경우, 우리가 할 수 있는 가장 만만한 방법은 웹 데이터를 이용하는 것이다. 많은 경우, ResufulAPI 서버에서 자원을 얻어서 활용하기도 하지만, 사실 그건 데이터를 이미 가지고 있는 것과 마찬가지다. 그래서 크롤링을 활용해서 실제 데이터 분석에 활용하는 경우가 점점 많아지고 있다. 1. 웹에 대한 이해 크롤링을 시작하려면 먼저 웹의 기본 원리에 대한 이해가 필요하다. 웹이란 기본적으로 인터넷의 하위 개념이다. 인터넷으로 불리는 공간에서의 통신 방법은 규약이 필요하다. 서로 이해할 수 있는 언어로 이루어져 있어야 하고, 물리적인 연결 및 전송도 필요하다. 그러한 통신 규약 중 하나가 HTTP라는 것이다. 우리가 '웹' 이라고 부르는 것은 일.. 공감수 2 댓글수 1 2018. 3. 26.
Python - 한글 형태소로 워드클라우드 시각화 워드클라우드는 자연어 분석과정에서 흔히 사용하는 기초적이며 간단한 시각화 방법이다. 패키지를 사용한다면 구현이 매우 간단함과 동시에, tf-idf나 word2vec처럼 사람이 직관적으로 관찰하기 힘든 알고리즘을 주로 사용하는 자연어 분석 영역에서 매우 유용한 시각화 툴이기 때문이다. python에서도 여러 워드클라우드 모듈을 제공하지만, KoNLP에서는 pytagcloud를 이용한 시각화 튜토리얼을 제안한다.http://konlpy.org/ko/v0.4.3/examples/wordcloud/ 위 링크에 나와있는 튜토리얼을 기반으로, input text data를 형태소 기반으로 처리하며,동시에 불용어까지 제거하여 tokenize 해주는 코드를 추가하여 사용해보았다. import random import .. 공감수 0 댓글수 0 2017. 8. 22.
SVM의 개념 및 Python에서의 사용 SVM (Support Vector Machine)1. SVM의 원리SVM은 퍼셉트론을 확장한 개념으로, 데이터를 선형으로 분리하는 최적의 선형 결정 경계를 찾는 알고리즘이다. SVM은 선형 분류와 더불어 비선형 분류에서도 사용될 수 있다. SVM에서 비선형 분류를 하기 위해서 주어진 데이터를 고차원 특징 공간으로 사상하는 작업이 필요한데, 이를 효율적으로 하기 위해 커널 트릭을 사용하기도 한다. 만약 훈련 데이터가 비선형 데이터라면, 이를 비선형 매핑(Mapping)을 통하여 고차원으로 변환시킨 뒤, 새로운 차원에서의 최적의 결정 경계면을 찾는다. 이것이 커널 트릭을 사용한 것이다. SVM을 나타낸 것이 위의 그림이다. 위의 그림은 두 분류를 하나의 결정 경계로 나눈 그림이다. 위에서는 두 개의 분류 .. 공감수 4 댓글수 2 2017. 8. 10.
인공뉴런(퍼셉트론, 에이다라인)과 그래디언트 디센트(Gradient Descent)의 개념 및 구현 머신러닝의 핵심 원리1. 인공 뉴런의 개념머신 러닝과 관련된 학문은 초기에 인공 뉴런을 표방하는 것으로 시작되었다. 뇌가 어떻게 일하는지를 이해하려는 노력의 산물이 바로 인공 뉴런이다. 뉴런은 뇌에서 서로 연결되어있는 신경 세포를 의미하는데, 이를 알고리즘으로 해부하면 다음과 같다. 하나하나의 신경세포는 바이너리 출력을 갖는 간단한 논리 게이트를 가지고 있다. 신경세포가 다음 신경세포로 신호를 보내는 임계치를 판단하는 것이 바로 활성함수의 개념이다. (정확히는 활성함수의 아웃풋은 비용함수로 이용되고, 임계함수가 최종 판단의 역할을 한다. 아래의 예제코드에서 활성함수는 new_input, 임계함수는 predict이다. 글을 정독한 뒤 다시 이 문단을 읽으면 이해가 된다) 이 활성함수의 최적의 가중계수를 자.. 공감수 2 댓글수 0 2017. 8. 3.
Mini Batch Processing 방식의 구현과 학습모델의 임베딩 아웃 오브 코어 기법 (mini batch processing 방식)배치 방식이 아닌 온라인 방식으로 모델을 학습한 뒤, 학습한 모델을 저장해보고 다시 읽어보는 예제를 진행하였다. in-memory 방식으로 대용량 데이터를 학습시키고 모델을 만들기에는 한계가 있다. 따라서 mini batch의 방식으로 데이터를 chunk로 나누어서 처리해야 한다. 감성분석에서 사용한 대용량 데이터를 다시 예제로 사용하였다. tf-idf를 추출하기 위해서는 TfidfTransformer 클래스를 사용했지만, mini batch 방식(=온라인)에서는 사용할 수가 없다. 하지만 비슷한 일을 해주는 HashingVectorizer가 있다. 이를 통해 전체 문서에서 tf-idf를 하는 것과 비슷한 작업을 해줄 수 있다. 참고로,.. 공감수 1 댓글수 0 2017. 8. 2.
감성분석을 위한 Python에서의 텍스트 데이터 처리기법 감성분석을 위한 텍스트 데이터 처리1. 문서의 변수화 작업, bag-of-words감성분석은 문서의 양극성을 분석하는 작업이다. 데이터에서 추출한 단어들을 설명 변수, 해당 데이터에 대한 양과 음의 레이블을 목적 변수로 하는 것이 일반적이다. 분류를 위한 설명 변수들을 정해줘야 하는데, 즉 텍스트를 수치형 피처 벡터로 표현할 수 있어야 한다. 가장 기본적인 방법이 bag-of-words 모델이라고 할 수 있다. bag-of-words 모델은 전체 문서 집합의 단어들의 단어집을 만든 후, 특정 문서에서 단어집에 포함된 단어가 얼마나 자주 사용되었는지 횟수를 포함하는 각 문서에 대한 피처 벡터를 만든다. 각 문서의 단어들은 단어집 내에서의 부분집합을 나타낼 뿐이기 때문에, 피처벡터는 대부분 0이 된다. 문서.. 공감수 2 댓글수 4 2017. 8. 2.
Python - sklearn, jupyter로 Decision Tree 학습하기 02DecisionTree_practice In [2]: R을 공부하며 Decision Tree를 정리했었는데, 파이썬에서 비슷한 내용을 정리해보고자 한다. 소스코드는 scikit-learn의 공식 튜토리얼 문서자료와 [Python Machine Learning]을 참고하였다. In [3]: 파이썬에서 sklearn 모듈을 사용해서 의사결정 트리를 학습하는 과정은 R에 비하면 약간 덜 직관적이고, 조금 더 객체지향스러운 프로그래밍의 느낌이다. DecisionTreeClassifier라는 일종의 모델 helper를 사용하여 학습이 진행된다. X,Y 데이터셋을 fit이라는 함수에 입력하는 간단한 절차를 거치면, 놀랍게도(?) 학습이 완료된다. In [4]: from sklearn import tree X =.. 공감수 0 댓글수 0 2017. 7. 31.
pandas를 활용한 데이터 전처리 pandas를 이용한 데이터 전처리1.1 pandas를 사용하지 않은 방법### 기본적인 json read import json path = '/Users/yoon/Downloads/pydata/pydata-book-master/' path = path + 'ch02/usagov_bitly_data2012-03-16-1331923249.txt' records = [json.loads(line) for line in open(path, encoding="utf-8")] records[0]['tz'] records[0] records['tz'] # -> error! 이런 문제점을 해결하기 위해 df 구조가 필요한 것. pandas를 사용하지 않았을 때의 json 파일을 읽는 방법이다. json 모듈을 이용하.. 공감수 1 댓글수 0 2017. 7. 29.
파이썬 기초 문법 - 4 ('_' 언더스코어의 의미) 4. 언더스코어의 의미타 언어에서 언더스코어 '_'은 단순히 스네이크 표기법 정도로만 사용이 되곤 한다. 파이썬에서 언더스코어는 조금 특별한 기능을 하는데, 이는 파이썬이 인터프리터 언어라는 속성에 기인한다. 4.1 파이썬 인터프리터에서의 사용위 그림은 IPython으로 파이썬 인터프리터를 실행한 것이다. 언더스코어는 다음에서 볼 수 있듯, 마지막 변수를 저장하는 역할을 한다. 4.2 특정 값을 skip할 때a, _, b = 1, 3, 2 # a=1, b=2 a, _, b = [1, 2, 3] # a=1, b=3 for _ in range(10): print("hello")4.3 숫자의 구분자로써 활용a = 1_000_00_0 # a=1000000 b = 0b_11_0_1 # b=134.4 네이밍의 용도.. 공감수 1 댓글수 0 2017. 7. 27.
파이썬 기초 문법 - 3 (클래스와 오브젝트) 클래스와 오브젝트################################################################# ################################################################# ### 클래스에서 self, cls, static의 역할 # class는 붕어빵 빵틀, object는 붕어빵이라고 비유가 가능. # self는 붕어빵 각각이 가지는 속성이고, cls는 붕어빵 빵틀이 가지는 속성임. # 클래스의 멤버변수를 선언할때 아래처럼 선언하면 빵틀 변수가 되는 것이고, # init 에서 self로 선언하면 붕어빵의 변수가 되는 것이다. class InstanceCounter: count = 0 count2 = 0 def __init__.. 공감수 1 댓글수 0 2017. 7. 27.
파이썬 기초 문법 - 2 (함수와 모듈) 1. 파이썬의 함수1.1 함수 사용 개념파이썬에서 함수는 정의(def keyword)로 표현.파이썬에서는 함수를 일급 객체(First Class Object)로 다룸.일급 객체란 프로그래밍 언어 설계에서 매개변수로 넘길 수 있고 함수가 반환할 수도 있으며 변수에 할당이 가능한 개체를 가리키는 용어파이썬에서는 함수를 매개변수로도 사용할 수 있고 함수의 결과로 반환하는 것도 가능1.2 함수 사용 예제### 다중 리턴과 타입 def abc(a,b): re1 = a+b re2 = a-b re3 = a*b return re1,re2,re3 def abc2(a,b): re1 = a+b re2 = a-b re3 = a*b return [re1,re2,re3] def abc3(a,b): re1 = a+b re2 = a.. 공감수 0 댓글수 0 2017. 7. 27.
파이썬 기초 문법 - 1 (수, 텍스트, 자료구조) 1. 파이썬 기본 문법파이썬에서 기초가 되는, 파이썬의 독특한 문법들을 대강 코드로 정리해봤다. 제어문이나 반복문은 파이썬에서만 사용되는 특징적인 부분을 나중에 정리해야겠다. 1.1 수 다루기### 2,16,10 진법 관련 # Ob xxxxx -> 2진법 # Oc xxxxx -> 16진법 # Ox xxxxx -> 10진법 # >>> bin(8) # '0b1000' # >>> hex(10) # '0xa' # >>> oct(10) # '0o12' ### math module import math # 여러 수를 표현 가능 math.pi math.e math.abs() # 절대값 round() # 반올림 math.trunc() # 버림1.2 텍스트 다루기a = "hello world!" b = "헬로 월드!" .. 공감수 0 댓글수 0 2017. 7. 25.
Install Python 3 + Anaconda(+tensorflow) + Jupyter on Mac OS 0. 시작하며 Mac OS에서 GPU 버젼을 사용하려면 NVIDIA CUDA를 사용해야 한다. 유감스럽게도 비교적 최근에 나온 Mac 제품들에는 NVIDIA 그래픽카드가 들어가 있지 않기 때문에 Mac OS 에서 GPU 버젼을 쓰려면 NVIDIA 그래픽카드가 들어있는 제품을 이용하거나 Linux 환경의 서버에서 개발을 진행해야 할 것이다. 1. Install Python3 on Mac OS Mac OS에서 GPU 버젼을 사용하려면 NVIDIA CUDA를 사용해야 한다. 유감스럽게도 비교적 최근에 나온 Mac 제품들에는 NVIDIA 그래픽카드가 들어가 있지 않기 때문에 Mac OS 에서 GPU 버젼을 쓰려면 NVIDIA 그래픽카드가 들어있는 제품을 이용하거나 Linux 환경의 서버에서 개발을 진행해야 할 .. 공감수 0 댓글수 0 2017. 6. 30.
Django를 이용한 웹사이트 제작부터 배포까지 -1 (로컬 가상환경 구축 및 Django 프로젝트 시작) 장고를 이용한 웹사이트 제작부터 배포까지 - 1 원래 개발용 서버로 AWS EC2 Console을 만족스럽게 사용하고 있었지만, 프리티어 만료가 되었기 때문에 서버를 옮기기로 하였다. 리눅스 환경 테스트나 기타 삽질은 회사 서버를 몰래 이용하면 되기도 하고, 게다가 포트폴리오 용도로 홈페이지를 구축할 생각이었기 때문에 때마침 가볍게 사용할 무료 서버가 필요했다. 포트폴리오중에 Django 웹 어플리케이션이나 Python 기반 프로젝트가 많은 관계로, 이를 모두 담아내기 위해 약간의 구동이 가능한 포트폴리오 사이트를 만들고자 하였고, 결국 Django를 이용하여 웹 어플리케이션을 만드는 방식으로 홈페이지를 구성하기로 하였다. 그래서 최종적으로 www.pythonanywhere.com 를 선택하였다. 이친구.. 공감수 0 댓글수 0 2017. 6. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.