SWishLU: Một phương pháp kích hoạt khác của hàm ReLU để nâng cao tính năng của mạng nơ-ron - Trường , Nguyễn Văn; Hưng , Trần Duy (Tạp Chí Khoa học Trường Đại học Quốc tế Hồng Bàng, 2021)
Trong bài viết này, dựa trên cơ sở nghiên cứu hàm số kích hoạt ReLU và các hàm số tương tự khác, chúng tôi đề xuất ra một hàm số kích hoạt mới mang tên SWishLU để tránh sự xuất hiện “nơ-ron chết” trong hàm số ReLU (Dying ReLU). SWishLU sử dụng hàm số Swish để kích hoạt phần âm của đầu vào, do đó hàm số này bao hàm tất cả các ưu điểm của hàm số kích hoạt ReLU và hàm số kích hoạt Swish. Hàm số này không những có thể tránh được sự xuất hiện của “nơ-ron chết” mà còn sử dụng hợp lý các thông tin của đầu vào âm để nâng cao hiệu quả nhận dạng của mạng nơ-ron. Kết quả thử nghiệm trên các tập dữ liệu MNIST, VNCD và CIFAR-10 cho ta thấy, độ nhận dạng chính xác của mạng nơ-ron tích chập Lenet-5 lần lượt đạt tới 99.18%, 82.82% và 63.81%, lần lượt cao hơn 0.09%, 2.08% và 0.74% so với hàm số ReLU.