Power Loss Function in Neural Networks for Predicting Click-Through Rate

Ergun Biçici. Power Loss Function in Neural Networks for Predicting Click-Through Rate. In Proc. of the 17th ACM Conference on Recommender Systems (RecSys), Singapore, September 2023. URL: https://dl.acm.org/doi/10.1145/3604915.3610658, https://www.growkudos.com/publications/10.1145%252F3604915.3610658/reader

Loss functions guide machine learning models towards concentrating on the error most important to improve upon. We introduce power loss functions for neural networks and apply them on imbalanced click-through rate datasets. Power loss functions decrease the loss for confident predictions and increase the loss for error-prone predictions. They improve both AUC and F1 and produce better calibrated results. We obtain improvements in the results on four different classifiers and on two different datasets. We obtain significant improvements in AUC that reach 0.44% for DeepFM on the Avazu dataset.

Calibrating Neural Networks for CTR Prediction (Reklam Tıklama Oranını Tahmin Etmek için Sinir Ağlarının Kalibrasyonu)

Ergun Biçici and Hasan Saribaş. Calibrating Neural Networks for CTR Prediction (Reklam Tıklama Oranını Tahmin Etmek için Sinir Ağlarının Kalibrasyonu). In Proc. of the 31st Signal Processing and Communications Applications Conference (SIU), Istanbul, Turkey, July 2023. URL: https://ieeexplore.ieee.org/document/10223867

Calibration methods fix the prediction errors of a machine learning model after it is trained and enable more robust and more confident prediction. We implement isotonic regression, Platt's scaling, neural networks, spline regression, and temperature scaling as calibration techniques on the prediction of click-through rate (CTR), which is an unbalanced task. We compare the improvements on using 3 neural network based CTR prediction models, Masknet, DeepFM, and DCNv2, on the publicly available CTR dataset Avazu. Our results demonstrate that isotonic and spline regression methods improve the most and isotonic regression is the fastest method.

Kalibrasyon yöntemleri, bir makine öğrenimi modelinin eğitildikten sonraki tahmin hatalarını düzelterek daha gürbüz ve daha güvenli tahmin yapılmasını sağlar. Bu çalışmada, dengesiz etiketlere sahip bir görev olan reklam tıklama oranının (RTO) tahmininde, kalibrasyon teknikleri olarak izotonik regresyon, Platt'ın ölçeklendirmesi, sinir ağları, eğri regresyonu, ve sıcaklık ölçeklendirmesi uygulanmıştır. Bu kalibrasyon yöntemlerinin karşılaştırılması için halka açık veri seti olan Avazu üzerinde, MaskNet, DeepFM, ve DCNv2 olmak üzere sinir ağı tabanlı üç farklı RTO tahmin modeli kullanılmıştır. Yapılan deneyler, izotonik ve eğri regresyon yöntemlerinin en iyi şekilde performansı arttırdığını ayrıca izotonik regresyonun en hızlı yöntem olduğunu göstermektedir.