动手写深度学习框架
📄️ 零-从0实现MNIST手写数字识别
本学期,CMU 开设了一门新课:Deep Learning Systems: Algorithm and Implementaion。根据课程主页的介绍,通过这门课,我们能学到整个深度学习系统开发的技术:从高级的建模设计,到自动微分工具的实现,再到算法的底层实现,最终搭建起自己的深度学习框架。想想就令人兴奋!
📄️ 壹-实现计算图与自动求导
在前一篇文章中,我们搭建过一个简单的两层神经网络:
📄️ 贰-构建神经网络库
前面,我们已经实现了计算图自动求导机制。本文就开始真正搭建一个端到端的深度学习开发框架,实现一些必要的深度学习组件。本文对应了 CMU 10-714 dlsys 课程的 HW2
📄️ 深度学习模型的优化算法
本文讲解训练深度学习模型的优化方法,包括优化器与初始化参数的策略。