juooo1117

Model analysis using TFX Pipeline and TensorFlow Model Analysis - We will create and run a TFX pipeline which creates a simple classification model and analyzes its performance across multiple runs(여러번의 실행에서 성능을 분석함). - As you tweak(조정, 약간수정) your model or train it with a new dataset, you need to check whether your model has improved or become worse. - Just checking top-level metrics like accura..

Transform input data and train a model with a TFX pipeline. 이미 전처리 된 데이터 집합을 사용 이전 튜토리얼과는 달리, 지금은 처리되지 않은 raw-dataset을 사용한다. 1. Create a pipeline - We will add Transform component. - A Transform component requires input data from an ExampleGen component and a schema from a SchemaGen component, and produces a "transform graph(변환 그래프)". - The output will be used in a Trainer component. - Transform..

Data validation using TFX Pipeline and TensorFlow Data Validation 어떠한 데이터 사이언스, ML project 라도 가장 먼저 해야할 과제는 데이터를 이해하고 정제하는 것이기 때문에 아래 3가지 과정이 매우 중요하다. - Understanding the data types, distributions, and other information (e.g., mean value, or number of uniques) about each feature - Generating a preliminary schema that describes the data - Identifying anomalies and missing values in the data with ..

TFX(Tensorflow Extended) Tensorflow를 활용하여 데이터 가공부터 학습, 검증까지 일련의 과정을 파이프라인으로 제공하는 프레임워크로 즉, MLOps 파이프라인의 각 단계를 위한 프레임워크 및 라이브러리를 제공한다.기본적인 데이터 시각화, 전처리, 모델 분석, 모델 서빙뿐만 아니라 새로 유입되는 데이터에 대한 수명주기 관리, 프로덕션 환경에 소프트웨어 애플리케이션을 적용하기 위한 보안, 확장성, 테스트 가능성 등의 요구사항이 모두 적용된다. ML 파이프라인의 각 주요 단계 별로 Library가 구현되어있는데, TensorFlow Data Validation, TensorFlow Transform, TensorFlow Model Analysis 등으로 구성되어있다. - TensorF..