juooo1117

Text Statistics 의미 있는 단어들을 찾기 위해 단어들의 통계적(statistical) 특성을 이용해 보자 언어적, 장르적, 시대적 차이 등에 상관없이 보편적으로 적용할 수 있는 단어의 통계적 특성이 있을까? CranfieldDocs word frequency 그래프 Zipf's Law (지프의 법칙) 단어의 빈도수는 단어의 순위에 따라서 급격히 감소한다. 즉, 순위(rank)가 낮아질 수록 급격히 감소하며, Ft = k / Rt (Ft: 단어 't'의 빈도수, k: constant; 문서집합마다 다른 값, Rt: 단어 't'의 순위) 식과 같이 감소한다. 가장 빈도수가 높은 단어가 t' 일 때 Rt' = 1 이다. → frequency rank = 1 인 단어! 가장 빈도수가 높은 단어는 전..