ML PascalABC.NET

ML PascalABC.NET — библиотека анализа данных и машинного обучения для PascalABC.NET. Позволяет анализировать данные и строить ML-модели прямо в PascalABC.NET:

• загрузка и обработка табличных данных;
• подготовка данных и признаков;
• визуализация и анализ данных;
• обучение моделей и оценка их качества.

Не требует внешних зависимостей.

Возможности

Табличные данные

Загрузка CSV, выбор столбцов, фильтрация, группировка и объединение таблиц.

Подготовка признаков

Масштабирование, кодирование категорий и обработка пропусков.

ML-модели

LogisticRegression, KNN, DecisionTree, RandomForest, GradientBoosting, KMeans и DBSCAN.

Конвейеры

Объединение преобразований и моделей в единый ML-процесс.

Визуализация

Графики, диаграммы рассеяния и матрицы попарных графиков для анализа данных.

Наборы данных

Встроенные учебные датасеты для быстрых примеров и проверки моделей.

Примеры

Данные

// Загрузка, фильтрация и сортировка датасета
uses MLABC;

begin
  var df := DataFrame.FromCsvText('''
  name,age,score
  Алиса,20,85
  Боб,22,90
  Чарли,21,78
  ''');

  df.Filter(row -> row['age'] >= 21)
    .SortBy('score')
    .Print;
end.

Вывод

 name  age  score
Чарли   21     78
  Боб   22     90

Визуализация

// Матрица попарных графиков для датасета Iris
uses MLABC, PlotML;

begin
  var ds := Datasets.Iris;
  var df := ds.Data;

  var X := df.ToMatrix(ds.Features);
  var target := df.EncodeTarget(ds.Target);
  var y := target.Labels;

  Plot.PairPlot(X, y, ds.Features);
end.

Вывод

Подготовка

// Подготовка данных: заполнение пропусков
// и кодирование категориального столбца
uses MLABC;

begin
  var df := DataFrame.FromCsvText('''
  name,age,city
  Алиса,20,Москва
  Боб,NA,Казань
  Чарли,22,Москва
  ''');

  var imputer := new Imputer(['age']);
  df := imputer.FitTransform(df);

  var encoder := new OrdinalEncoder('city');
  df := encoder.FitTransform(df);

  df.Print;
end.

Вывод

 name    age  city
Алиса  20.00     0
  Боб  21.00     1
Чарли  22.00     0

Модель

// Разбиение на тренировочную и тестовую выборки,
// обучение модели и оценка точности предсказания
uses MLABC;

begin
  var ds := Datasets.Iris;
  var df := ds.Data;

  var X := df.ToMatrix(ds.Features);
  var target := df.EncodeTarget(ds.Target);
  var y := target.Labels;

  var (Xtrain, Xtest, ytrain, ytest) :=
    Validation.TrainTestSplit(X, y, testRatio := 0.2, seed := 2);

  var model := new LogisticRegression();
  model.Fit(Xtrain, ytrain);

  var pred := model.Predict(Xtest);
  var acc := Metrics.Accuracy(ytest, pred);

  Println('Accuracy:', acc:0:3);
end.

Вывод

Accuracy: 0.967

Конвейер

// Конвейер машинного обучения: кодирование категориального признака
// и шкалирование признаков разных масштабов
// Без StandardScaler точность хуже
uses MLABC;

begin
  var df := Datasets.MoscowHousing.Data;

  var (trainDf, testDf) := df.TrainTestSplit(0.2, seed := 1);

  var pipe := DataPipeline.BuildClassification(
    'rooms',
    ['price', 'area', 'renovation'],
    new OrdinalEncoder('renovation'),
    new StandardScaler,
    new KNNClassifier(5)
  );

  pipe.Fit(trainDf);

  var pred := pipe.Predict(testDf);
  var y := pipe.GetEncodedLabels(testDf);

  Println('Accuracy =', Metrics.Accuracy(y, pred):0:3);
end.

Вывод

Accuracy = 0.653
Без StandardScaler:
Accuracy = 0.470

С чего начать

УстановкаБыстрый старт