Outlier Detection

Outlier Detection#

1. Apa Itu Data Outlier?#

data outlier adalah nilai yang berbeda jauh dari mayoritas data lainnya dalam suatu set, dan keberadaannya dapat memberikan informasi yang berharga atau sebaliknya, menunjukkan adanya kesalahan atau anomali.

2. Penyebab Munculnya Data Outlier#

Memahami dan mengelola data outlier merupakan hal yang penting bagi data analyst, sebab dapat mempengaruhi hasil analisis dan model prediktif secara signifikan.

Kesalahan Pengukuran atau Entri Data

Kesalahan dalam proses pengukuran atau kesalahan saat memasukkan data dapat menghasilkan nilai yang sangat tinggi atau sangat rendah dibandingkan dengan nilai lainnya.

Misalnya, jika suhu yang seharusnya dicatat sebagai 25 derajat Celsius malah dicatat sebagai 250 derajat Celsius, maka nilai tersebut menjadi outlier.

Kesalahan ini bisa disebabkan oleh alat pengukur yang tidak kalibrasi dengan benar atau human error saat memasukkan data ke sistem.

Variasi Alami

Dalam beberapa kasus, variasi alami dari fenomena yang sedang diukur bisa menyebabkan kemunculan outliers.

Misalnya, dalam studi cuaca, kejadian cuaca ekstrem seperti badai besar atau suhu yang sangat rendah bisa menjadi outlier. Variasi alami ini adalah bagian dari data dan mencerminkan kejadian yang jarang terjadi namun mungkin penting untuk dianalisis lebih lanjut.

Kejadian Khusus atau Langka

Terkadang, data outlier muncul karena adanya kejadian yang langka atau unik yang tidak biasa terjadi dalam dataset.

Misalnya, peningkatan penjualan yang tiba-tiba karena adanya promosi besar-besaran atau diskon spesial bisa menyebabkan nilai penjualan pada bulan tersebut menjadi outlier.

Kejadian khusus ini bisa memberikan wawasan penting mengenai faktor-faktor yang mempengaruhi data.

Mengidentifikasi penyebab kemunculan outliers sangat penting dalam analisis data. Penanganan data outlier yang tepat adalah kunci untuk mendapatkan hasil analisis yang akurat dan andal.

3. Pentingnya Mendeteksi Data Outlier#

Meningkatkan Akurasi Analisis
Identifikasi Kesalahan Data
Pengambilan Keputusan yang Lebih Baik
Meningkatkan Kinerja Model Prediktif

4. Jenis Data Outlier#

Contextual Outliers (Conditional Anomalies)

Contextual outliers, atau conditional anomalies, adalah titik data yang dianggap outliers dalam konteks tertentu tetapi mungkin tidak tampak aneh secara keseluruhan. Jenis outliers ini tergantung pada informasi kontekstual tambahan seperti waktu atau lokasi.

Collective Outliers

Collective outliers adalah sekelompok titik data yang, secara individu, mungkin tidak tampak aneh, tetapi bersama-sama membentuk pola yang tidak biasa dibandingkan dengan keseluruhan dataset.

Global Outliers (Point Anomalies) Global outliers, juga dikenal sebagai point anomalies, adalah titik data yang sangat berbeda dari keseluruhan kumpulan data. Outliers jenis ini menonjol karena nilainya jauh lebih tinggi atau lebih rendah dibandingkan dengan mayoritas data lainnya.

Deteksi Outlier Menggunakan KNN#

Apa itu K-Nearest Neighbors (KNN)?#

K-Nearest Neighbors (KNN) merupakan sebuah cara untuk mengklasifikasikan dengan cara melihat sesuatu yang berada di dekatnya. KNN juga disebut dengan Algoritna oembelajar malas. Karena tidak memerlukan pembelajaran terlebih dahulu, dan langsung meyimpan data set dan pada saat klaifikasi melakukan set data. KNN bekerja dengan menggunakan kedekatan dan pemungutan suara mayoritas untuk membuat prediksi atau forecasting. Pada KNN terdapat istilah “k”. “k” merupakan angka yang memberi tahu algoritma beberapa banya titik terdekat (tetangga) yang digunakan untuk membuat keputusan. Contohnya: Misalkan menntukan nama buah dan membandingkannya dengan buah yang telah dikenal. kemudian menggunakan nilai “k” sebanyak 3 kemudian 2 dari 3 merupakan buah apel dan 1 dari 3 merupakan buah pisang. jadi algoritma ini mengatakan bahwa buah tersebut merupakan apel karena sebagian besar tetangganya apel.

Menentukan Nilai “k”#

Dalam KNN, pemilihan nilai “k” sangat penting untuk menentukan hipotesis hasil dari prediksi. Jika kumpulan data memiliki outlier atau noise yang signifikan, nilai “k” yang lebih tinggi dapat membantu memperhalus prediksi dan mengurangi data yang noise. Namun, pemilihan nilai yang tinggi dapat menyebabkan underfitting.

Pertama, kita harus menentukan nilai K terlebih dahulu. Penentuan nilai K ini tidak ada rumus pastinya. Namun satu tips yang dapat dipertimbangkan, yakni jika kelas berjumlah genap maka sebaiknya nilai K-nya ganjil, sebaliknya jika kelas berjumlah ganjil maka sebaiknya nilai K-nya genap. Dalam prakteknya di Python, Anda dapat menghitung menggunakan kode program untuk mencari nilai K terbaik dari berbagai opsi nilai (misalnya dari K=2 sampai K=10).

Hitung jarak antara data baru dan masing-masing data lainnya#

menghitung jarak menggunakan metode Euclidean distance

Jika ada lebih dari satu, kita dapat menjumlahkannya seperti di bawah ini.

Ambil tiga data dengan jarak terdekat#

Dari perhitungan Euclidean distance di atas, jika kita rangkum dari jarak terdekat

Pengumpulan Data#

Dataset IRIS adalah dataset yang berisi informasi tentang tiga spesies bunga iris (Setosa, Versicolor, Virginica) dengan fitur utama yaitu; panjang dan lebar dari sepal serta petal.

Lokasi Data#

Teruntuk lokasi dari data IRIS berada dalam aiven.io (platform cloud dan AI berbasis open source):

Data IRIS petal berada di database MySQL
Data IRIS sepal berada di database PostgreSQL

Metode Pengumpulan#

Langkah untuk mengumpulkan data dilakukan menggunakan Python sebagai berikut:

pymysql : Digunakan untuk menghubungkan dan mengambil data dari MySQL.
psycopg2 : Digunakan untuk menghubungkan dan mengambil data dari PostgreSQL.

####Proses Mengumpulkan Data #####a. Menghubungkan Data dari MySQL dan PostgreSQL

Install library yang diperlukan

!pip install pymysql
!pip install psycopg2-binary

Requirement already satisfied: pymysql in /usr/local/python/3.12.1/lib/python3.12/site-packages (1.1.1)

[notice] A new release of pip is available: 24.3.1 -> 25.0.1
[notice] To update, run: python3 -m pip install --upgrade pip

Requirement already satisfied: psycopg2-binary in /usr/local/python/3.12.1/lib/python3.12/site-packages (2.9.10)

[notice] A new release of pip is available: 24.3.1 -> 25.0.1
[notice] To update, run: python3 -m pip install --upgrade pip

Gunakan library berikut:

pandas : Digunakan untuk membaca, mengolah, dan menganalisis data dalam bentuk tabel (DataFrame).
from sqlalchemy import create_engine : Digunakan untuk membuat koneksi ke database menggunakan SQLAlchemy, yang merupakan ORM (Object Relational Mapper) untuk Python.
numpy : Digunakan untuk komputasi numerik, seperti operasi matriks, array, dan perhitungan statistik.
from sklearn.neighbors import NearestNeighbors : Diambil dari pustaka scikit-learn untuk melakukan analisis berbasis algoritma K-Nearest Neighbors (KNN), biasanya digunakan dalam pencarian tetangga terdekat atau rekomendasi.
scipy.spatial.distance import euclidean : Digunakan untuk menghitung jarak Euclidean antara dua titik dalam ruang multidimensi.
IPython.display mport display, HTML : Digunakan untuk menampilkan tabel dalam format HTML

import pandas as pd
from sqlalchemy import create_engine
import numpy as np
from sklearn.neighbors import NearestNeighbors
from scipy.spatial.distance import euclidean
from IPython.display import display, HTML

Import Database PostgreSQL dari Aiven#

connect denga isi host, port, name, user dan password dan ambil dari tabel iris_data

import psycopg2

# koneksi ke database mysql melalui aiven.io
DB_HOST = "pg-359aec68-tugas-pendata.g.aivencloud.com"
DB_PORT = "17416"
DB_NAME = "defaultdb"
DB_USER = "avnadmin"
DB_PASS = "AVNS_oal2yP3mG6JLIwX3BUK"

connect_1 = psycopg2.connect(
    host=DB_HOST,
    port=DB_PORT,
    dbname=DB_NAME,
    user=DB_USER,
    password=DB_PASS,
    sslmode="require"
)

data_posgre = connect_1.cursor()

# akses ke data di database

data_posgre.execute("SELECT * FROM iris_data ORDER BY id ASC LIMIT 10;")
data_db = data_posgre.fetchall()

print("10 Data dalam tabel data_irisposgresql:")
for data in data_db:
    print(data)

10 Data dalam tabel data_irisposgresql:
(1, 'Iris-setosa', 5.1, 3.5)
(2, 'Iris-setosa', 40.9, 30.0)
(3, 'Iris-setosa', 4.7, 3.2)
(4, 'Iris-setosa', 4.6, 3.1)
(5, 'Iris-setosa', 5.0, 3.6)
(6, 'Iris-setosa', 5.4, 3.9)
(7, 'Iris-setosa', 4.6, 3.4)
(8, 'Iris-setosa', 5.0, 3.4)
(9, 'Iris-setosa', 4.4, 2.9)
(10, 'Iris-setosa', 4.9, 3.1)

Import Database MySQL dari Aiven#