| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
- stemming
- cross domain
- NMF
- TFX
- nlp
- Python
- VGGNet
- RNN
- tensorflow
- Support Vector Machine
- SOMs
- LSTM
- MLOps
- NER
- gaze estimation
- 군집화
- Gradient Descent
- AI 윤리
- 자기조직화지도
- Clustering
- Binary classification
- ResNet
- Attention
- 경사하강법
- Logistic Regression
- textmining
- Ann
- BERT
- Transfer Learning
- Generative model
- Today
- Total
목록stemming (2)
juooo1117
Text pre-processing (cranfieldDocs)
cranfieldDocs 파일(.txt)들을 이용해서 text pre-processing 하는 과정 이용한 전처리 방법들은 다음과 같다. Remove markups Convert to lowercase 특정 tag안의 내용만 가져오기 Remove punctuation, number Tokenization Practice 필요한 패키지를 import하고 'cranfieldDocs'를 불러온 뒤, 파일 안의 line들을 하나의 string안에 각각 길게 저장한다. from bs4 import BeautifulSoup import string from nltk.stem import PorterStemmer # read file doc = "" for line in open('/Users/juhyeon/pyth..
NLP(Natural Language Processing)
Natural Language Processing(NLP, 자연어처리)NLP is concerned with developing computational techniques to enable a computer to understand the meaning of natural language text. NLP may involve the following tasks; Lexical analysis(어휘분석) : 주어진 언어에서 의미를 갖는 기본 단위들을 찾아내고(ex. whitespace, 단어..) 그것들의 의미를 파악한다 품사 태깅(POS, Part-of-speech tagging)Syntactic analysis(구문분석) : 주어진 문장에서 단어들이 어떻게 서로 연결되는지 파악하고 문장에서의 구문..