这篇文章回顾了1989年LeCun等人发表的手写邮编识别论文,这是最早的端到端反向传播神经网络实际应用之一。作者使用PyTorch重现了该论文的实验,并探讨了33年来深度学习的进展。原始网络在当时需要3天训练,现在在MacBook Air上只需90秒。通过使用现代深度学习技术(如Adam优化器、数据增强、Dropout、ReLU激活函数等),作者将测试错误率降低了60%。文章对比了1989年与现在的深度学习发展:数据集规模从7291张16x16灰度图像扩展到现在的数亿高清图像;模型参数从9760个增加到数十亿;计算能力提升了数千倍。作者还展望了2055年的AI发展,预测模型和数据集可能会再增长