A-IPLA: A symmetric, non-monotonic activation function for convolutional neural network - Truong, Nguyen Van (Tạp Chí Khoa học Trường Đại học Quốc tế Hồng Bàng, 2022)
Trong bài viết này, một hàm kích hoạt đối xứng tâm, không bão hòa và không đơn điệu mới gọi là hàm kích hoạt tuyến tính nghịch đảo thích ứng (A-IPLA) được đề xuất để tránh vấn đề sai lệch ở đầu ra của các nơ-ron, cải thiện được hiệu quả nhận dạng và tốc độ hội tụ của mạng nơ-ron. Hàm này sử dụng phương pháp kích hoạt phân đoạn, đồng thời tùy theo sự thay đổi của điểm phân đoạn và hệ số góc, từng phân đoạn sử dụng các hành vi kích hoạt khác nhau bao gồm kích hoạt tuyến tính và kích hoạt nghịch đảo. Đầu tiên, hàm A-IPLA có ưu điểm về đối xứng tâm giúp tránh được giá trị trung bình đầu ra khác 0, do đó giải quyết được vấn đề dịch chuyển đầu ra. Thứ hai, hệ số góc của A-IPLA có thể tự động cập nhật thông qua quá trình huấn luyện giúp cải thiện tính linh hoạt của hàm kích hoạt. Các thử nghiệm sử dụng mô hình Lenet-5 được thực hiện trên các bộ dữ liệu chuẩn khác nhau (MNIST, CIFAR-10) cho thấy rằng hàm kích hoạt được đề xuất hoạt động tốt hơn các hàm kích hoạt hiện hành trong tất cả các thử nghiệm với mức cải thiện độ nhận dạng chính xác là 0.20% trên MNIST, 5.34% trên CIFAR-10. Đồng thời, trong điều kiện độ nhận dạng chính xác như nhau, tốc độ hội tụ của hàm được đề xuất nhanh hơn 3.55 lần trên MNIST và nhanh hơn 2.69 lần trên CIFAR-10.