Về ngoại hình, AK-104 dễ dàng nhận biết qua nòng súng ngắn với loa che lửa rộng, cũng như màu đen điển hình và vật liệu chế tạo bằng nhựa chịu lực đặc biệt, nó đã loại bỏ hoàn toàn các chi tiết bằng gỗ.

Cũng giống như khẩu AK-102 thuộc series AK-100, AK-104 có thiết kế nhỏ gọn, nòng súng được rút gọn bớt 101 mm so với phiên bản tiêu chuẩn và điều này tác động trực tiếp lên giá thành sản xuất.

AK-104 vẫn thiết kế chỗ giành cho súng phóng lựu 40 mm hoặc lưỡi lê nhằm tăng khả năng chiến đấu.

Súng có 3 chế độ khai hỏa: phát một, liên thanh hoặc bắn loạt 3 viên. Tốc độ bắn liên thanh đạt 600 phát/phút, 40 phát/phút ở chế độ phát một và 100 phát/phút ở chế độ 3 viên.

AK-104 dùng hộp tiếp đạn có sức chứa 30 viên, nó cũng tương thích với băng đạn của súng AK-47 và AKM cũng như súng máy hạng nhẹ RPK.

Súng được trang bị thước ngắm cơ khí và điểm ruồi, ngoài ra nó còn lắp được ống ngắm để nâng tầm bắn hiệu quả lên 500 m. Phía bên thân trái của súng có rãnh để gắn thiết bị ngắm quang học và đèn pin chiến thuật do Nga sản xuất.