AI ETIS DALAM RITEL: PENDEKATAN CONVOLUTIONAL NEURAL NETWORK UNTUK PENILAIAN PSIKOLOGI KONSUMEN REAL-TIME

Izhar Syafawi; Mohammad Givi Efgivia;

AI Etis Dalam Ritel: Pendekatan Convolutional Neural Network Untuk

Penilaian Psikologi Konsumen Real-Time

Izhar Syafawi

Memahami psikologi konsumen melalui analisis ekspresi wajah secara real-time menghadirkan
peluang penting untuk meningkatkan strategi pemasaran ritel. Studi ini mengusulkan sistem berbasis
Kecerdasan Buatan (AI) yang memanfaatkan Convolutional Neural Networks(CNN) untuk
menganalisis emosi konsumen selama berbelanja. Model tersebut dilatih menggunakan kumpulan
data FER-2013 sebanyak 28.709 gambar dan juga menambahkan 200 gambar wajah yang di ambil
secara real-time, yang dilengkapi dengan gambar wajah secara real-time yang diambil dalam
lingkungan ritel yang disimulasikan. Teknik praproses, termasuk pengubahan ukuran, normalisasi,
dan penambahan, diterapkan untuk mengoptimalkan data masukan. Arsitektur CNN mencapai
akurasi validasi sebesar 87,4% dalam mengklasifikasikan enam emosi dasar (marah, jijik, takut,
bahagia, sedih, dan terkejut) dan 12,6% data lainnya gagal validasi. Pengujian secara real-time
menunjukkan kemampuan sistem untuk mendeteksi reaksi spontan dengan penundaan pemrosesan
rata-rata 1,2 detik per bingkai, yang memberikan wawasan yang dapat ditindaklanjuti tentang
perilaku konsumen. Namun, kinerja dipengaruhi oleh kondisi pencahayaan dan orientasi wajah,
yang menyoroti area yang perlu ditingkatkan. Temuan tersebut menunjukkan bahwa pendekatan
yang digerakkan oleh AI ini dapat mendukung pemasaran yang dipersonalisasi dan pengambilan
keputusan ritel sekaligus menggarisbawahi perlunya pengujian skalabilitas lebih lanjut dan

pertimbangan etika. Penelitian di masa mendatang harus mengeksplorasi pengenalan emosi multi-
modal dan penerapan edge-AI untuk penerapan yang lebih luas.

Kata kunci: Perilaku Konsumen, Analisis Belanja, Kecerdasan Buatan (AI).

Ethical AI in Retail: A Convolutional Neural Network Approach for Real-Time

Consumer Psychology Assessment

Izhar Syafawi

Understanding consumer psychology through real-time facial expression analysis presents a
significant opportunity for enhancing retail marketing strategies. This study proposes an Artificial
Intelligence (AI)-based system that leverages Convolutional Neural Networks (CNNs) to analyze
consumer emotions during shopping. The model was trained on the FER-2013 dataset consisting
of 28,709 labeled facial images, complemented by real-time facial data captured in a simulated
retail environment. Preprocessing techniques, including resizing, normalization, and augmentation,
were applied to optimize input data. The CNN architecture achieved an 87.4% validation accuracy
in classifying six basic emotions (anger, disgust, fear, happiness, sadness, and surprise), with 12.6%
of the data failing validation. Real-time testing demonstrated the system’s capability to detect
spontaneous reactions with an average processing delay of 1.2 seconds per frame, providing
actionable insights into consumer behavior. However, performance was influenced by lighting
conditions and facial orientation, highlighting areas for improvement. The findings suggest that this
AI-driven approach can support personalized marketing and retail decision-making while
underscoring the need for further scalability testing and ethical considerations. Future research
should explore multi-modal emotion recognition and edge-AI deployment for broader applicability.
Keywords: Consumer Behavior, Shoping Analysis, Artificial Intelligence (AI).