juooo1117

Model analysis using TFX Pipeline and TensorFlow Model Analysis - We will create and run a TFX pipeline which creates a simple classification model and analyzes its performance across multiple runs(여러번의 실행에서 성능을 분석함). - As you tweak(조정, 약간수정) your model or train it with a new dataset, you need to check whether your model has improved or become worse. - Just checking top-level metrics like accura..

Transform input data and train a model with a TFX pipeline. 이미 전처리 된 데이터 집합을 사용 이전 튜토리얼과는 달리, 지금은 처리되지 않은 raw-dataset을 사용한다. 1. Create a pipeline - We will add Transform component. - A Transform component requires input data from an ExampleGen component and a schema from a SchemaGen component, and produces a "transform graph(변환 그래프)". - The output will be used in a Trainer component. - Transform..

Data validation using TFX Pipeline and TensorFlow Data Validation 어떠한 데이터 사이언스, ML project 라도 가장 먼저 해야할 과제는 데이터를 이해하고 정제하는 것이기 때문에 아래 3가지 과정이 매우 중요하다. - Understanding the data types, distributions, and other information (e.g., mean value, or number of uniques) about each feature - Generating a preliminary schema that describes the data - Identifying anomalies and missing values in the data with ..

TFX(Tensorflow Extended) Tensorflow를 활용하여 데이터 가공부터 학습, 검증까지 일련의 과정을 파이프라인으로 제공하는 프레임워크로 즉, MLOps 파이프라인의 각 단계를 위한 프레임워크 및 라이브러리를 제공한다.기본적인 데이터 시각화, 전처리, 모델 분석, 모델 서빙뿐만 아니라 새로 유입되는 데이터에 대한 수명주기 관리, 프로덕션 환경에 소프트웨어 애플리케이션을 적용하기 위한 보안, 확장성, 테스트 가능성 등의 요구사항이 모두 적용된다. ML 파이프라인의 각 주요 단계 별로 Library가 구현되어있는데, TensorFlow Data Validation, TensorFlow Transform, TensorFlow Model Analysis 등으로 구성되어있다. - TensorF..

Data Pipeline 데이터 수집에서 워크플로우 관리까지 차례대로 전달해 나가는 데이터로 구성된 시스템 [데이터 파이프라인의 기본형] 데이터 웨어하우스: 대량의 데이터를 장기 보전하는 것에 최적화 되어있음 정리된 데이터를 한 번에 전송하는 것은 뛰어나지만, 소량의 데이터를 자주 쓰고 읽는 데는 부적합 ETL Process) Data source(RDB나 로그등을 저장하는 파일 서버) → raw data를 추출 및 가공 → 데이터 웨어하우스에 저장 데이터 레이크: 빅데이터가 되면서 ETL Process 자체가 너무 복잡해지고, 그대로 데이터 웨어하우스에 넣을 수 없는 데이터가 존재함 모든 데이터를 원래 형태로 축적해두고 나중에 필요에 따라 가공하는 구조 사용 → 데이터의 축적장소를 Data Lake 라..