机器学习的由来，我觉得可以追溯到哲学家的原始三问：我是谁，我从哪里来，我要去哪里。这三个问题应该是来自哲学家的自我思辨。人类对于世界的探索，从未停止过，对外部世界的探索诞生了物理学，地理，天文等学科，对自身的探索诞生了心理，生理等学科。不过碍于科学技术的发展，人类关于自身的研究一直停留在思辨的阶段，在那个崇尚宗教和神秘力量的年代，也许很多人都想过创造人类来成为上帝，比如弗兰肯斯坦博士。
受益于战争与密码学，计算机技术得到了发展，人类的仿生学和自我观察又有了新的工具。人类能否创造出可以比肩人类自身的智能有一次被提上了日程。彼时的天才科学家图灵提出了最初的计算机原型-图灵机的概念，存储器，CPU，IO系统这些现代计算机上的元素在其上都可以找到对应的影子。同时也提出了人工智能的终极一问：图灵测验，如何判断计算机可以完全模拟人类。让人类和计算机共同回答人类提出的问题，如果人类无法判断哪台是计算机那个是人类，那么就证明计算机已经可以模拟人类。
随着人类对自身认识的发展，心理学和认知科学都有了长足的进步，科学家逐渐开始视图揭开人类智能的密码，了解越多，所能接触到未知领域也就越大。因此，科学家对计算机对人脑的模拟提出了弱化的概念，从最初的结构和功能模拟弱化为单纯的功能类比。虽然通过生理学和认知科学的发展了解到人类传递信息的基础单元神经元的状态与晶体管一直，只有两个状态，但是，人类多个神经元直接的交互方式却是并行进行，而计算机从创造之初就是串行进行（当然按照系统论的角度，串行的底层在更高层上可以实现并行的方式。）。这种差异，也导致直接在功能上想要类比计算机与人脑的计算量在当时是不可能的。另一方面，不追求在结构上进行类比，而仅仅期望计算机可以在某些方面可以实现与人类大脑相似的功能的弱人工智能取得了长足的进步，与之相对前者被称为强人工智能。此时比较令人兴奋的发现当属诺贝尔经济学奖获得者西蒙和纽维尔提出的通用问题求解器，他们用这个程序求解了汉诺塔问题。可以看到的是每一次机器学习的发展必然来自于认知科学的进步，西蒙和纽维尔的发现，得益于认知科学对人类心理过程的描述。汉诺塔问题是一个问题解决中的一个经典问题。在这个阶段，机器学习比较热门的问题是专家系统，即把人类的某些行业经验转化为可以描述的规则，让计算机来简化人类的工作。
反观最近大火的深度学习，其本质也是来源于认知科学一个突破性进展。所谓的深度学习是神经网络算法的进一步发展。在机器学习/数据挖掘中，存在着众多的算法，计算机科学和统计学是算法的主要来源，二者的区别在于计算机科学的算法更注重工程实现，而统计学算法则更注重网络基础。神经网络算法来自于对人类神经系统的模拟。人类的神经系统有感知器，传入神经，神经中枢，传出神经，效应器。人类的神经系统是以神经网络的形式对刺激进行反映，一个刺激会作用于多个神经元，多个神经元共同对刺激作出反映。神经网络算法基于同样的原理。不过受限于计算机的计算能力和可解释性，神经网络一直受到诟病。在这个时期，大放异彩的是支持向量机，随机森林这类浅学习算法。深度学习的灵感来自于认知科学的又一个重大发现。休伯尔和威塞尔，发现在视神经中不同的存在着负责不同功能视神经元，有些神经元负责识别最底层的，在其上的神经元负责从像素中抽象出边，在其上的神经元负责从边的组合中识别出物体的部分，最上层的神经元负责从物体的部分中抽象出物体，视觉神经分层处理的性质给了机器学习科学家启发，模拟人类的视觉神经处理机制，从原始的神经网络中抽取出更多的中间层，从而提高学习的效果。与此同时得益于摩尔定律，计算机的计算性能也得到了几何级数的提升。深度学习模拟（仿生）的源泉是视觉中的物体识别，因为，其在语音识别，图像识别和文本识别这类本身就存在层次化的认知任务中表现了超越其他浅层算法的表现。
综上可以看到，人工智能或机器学习本质上和初衷就是用机器来模拟人类，或者称为人类仿生学，而目前还处于非常初级的阶段。一起回顾一下人类的心理过程，注意、感觉、知觉、记忆、思维、想象、情感、意志。目前从功能类比角度，人工智能只是勉强走到了知觉阶段，目前在一些机器学习算法的前沿研究中，已经开始引入了短时记忆，注意这些机制来提高算法的效果，但目前也仅限于认知相关的研究，距离完全模拟人类还有很长的路要走，真正达到科幻电影中提到的机器人伦理学更是遥遥无期。也许强人工智能本身就是一个违命题，期望通过操作无机物来模拟有机物本身就不可行，我们自身也许是来自不同维度的上帝创造的产物，用低维去模拟高维的起点就存在偏差。
