$X_{hidden}=W_{input\_hidden} \cdot I$

$O_{hidden}=sigmoid(X_{hidden})$

$X_{output}=W_{hidden\_output} \cdot O_{hidden}$

$O_{output}=sigmoid(X_{output})$

$Error_{output}=Target-O_{output}$

$Error_{hidden}=W^{T} \cdot Error_{output}$

$$\frac{\partial E}{\partial W_{jk}}=\frac{\partial}{\partial W_{jk}} \sum_{n}(t_{n}-O_{n})^{2}$$

$$\frac{\partial E}{\partial W_{jk}}=\frac{\partial}{\partial W_{jk}}{\left(t_{k}-O_{k}\right)}^{2}$$

$$\frac{\partial E}{\partial W_{jk}}=\frac{\partial E}{\partial O_{k}}\cdot\frac{\partial O_{k}}{\partial W_{jk}}$$

$$\frac{\partial E}{\partial W_{jk}}=-2\left(t_{k}-O_{k}\right)\cdot\frac{\partial O_{k}}{\partial W_{jk}}$$

$$\frac{\partial E}{\partial W_{jk}}=-2\left(t_{k}-O_{k}\right)\cdot\frac{\partial }{\partial W_{jk}} sigmoid\left(\Sigma_{j}W_{jk}\cdot O_{j}\right)$$

$$\frac{\partial}{\partial X}sigmoid(X)=sigmoid(X)(1-sigmoid(X))$$

$$\frac{\partial E}{\partial W_{jk}}=-2(t_{k}-O_{k}) \cdot sigmoid(\sum_{j} W_{jk} \cdot O_{j})(1-sigmoid(\sum_{j} W_{jk} \cdot O_{j})) \cdot \frac{\partial}{\partial W_{jk}}(\sum_{j} W_{jk} \cdot O_{j})$$

 

$$\frac{\partial E}{\partial W_{jk}}=-2(t_{k}-O_{k}) \cdot sigmoid(\sum_{j} W_{jk} \cdot O_{j})(1-sigmoid(\sum_{j} W_{jk} \cdot O_{j})) \cdot O_{j}$$

 

$$new\ W_{jk}=old\ W_{jk}-\alpha\cdot\frac{\partial E}{\partial W_{jk}}$$

 

$\Delta W_{jk}=\alpha * E_{k} * sigmoid(O_{k}) *(1-sigmoid(O_{k})) \cdot O_{j}^{T} $

附：sigmoid神经网络核心代码

import numpy

class neuralNetwork :
    def __init__(self, inputnodes, hiddennodes, outputnodes,learningrate) :
        self.inodes = inputnodes
        self.hnodes = hiddennodes
        self.onodes = outputnodes
        self.wih = numpy.random.normal(0.0, pow(self.hnodes, 0.5),(self.hnodes, self.inodes))
        self.who = numpy.random.normal(0.0, pow(self.onodes, 0.5),(self.onodes, self.hnodes))
        self.lr = learningrate
        self.activation_function = lambda x:1/(1+numpy.exp(-x))
    
    def train(self, inputs_list, targets_list) :
        inputs = numpy.array(inputs_list, ndmin=2).T
        targets = numpy.array(targets_list, ndmin=2).T
        hidden_inputs = numpy.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        final_inputs = numpy.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs) 
        output_errors = targets-final_outputs
        hidden_errors = numpy.dot(self.who.T, output_errors)
        self.who += self.lr * numpy.dot((output_errors *  final_outputs * (1.0-final_outputs)),numpy.transpose(hidden_outputs))
        self.wih += self.lr * numpy.dot((hidden_errors *  hidden_outputs * (1.0-hidden_outputs)), numpy.transpose(inputs))

    def query(self, inputs_list) :
        inputs = numpy.array(inputs_list, ndmin=2).T
        hidden_inputs = numpy.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        final_inputs = numpy.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)
        return final_outputs

 

# 神经网络 # 机器学习 # 人工智能
Logo
腾讯云开发者社区

腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。

更多推荐

Elasticsearch复杂数据类型终极指南：从入门到精通

Elasticsearch作为功能强大的搜索引擎，支持多种复杂数据类型，让开发者能够灵活处理各种结构化和非结构化数据。本文将带你全面了解Elasticsearch中的复杂数据类型，从基础概念到实际应用，助你轻松掌握数据建模的核心技巧。## 内部对象：构建层级化数据结构在Elasticsearch中，对象类型（Object）是最基础的复杂数据类型之一，用于表示具有嵌套关系的数据。例如，我们可

avatar 腾讯云开发者社区

终极指南：Flink SQL连接器版本管理从混乱到有序的升级之路

Apache Flink作为流处理领域的佼佼者，其SQL连接器的版本管理一直是开发者面临的核心挑战。本文将系统讲解Flink SQL连接器版本管理的最佳实践，帮助你轻松应对版本兼容性问题，实现从混乱到有序的升级之旅。## 连接器版本管理的常见痛点 😫在Flink应用开发中，连接器版本管理常常让开发者头疼不已。不同版本的连接器可能导致各种兼容性问题，例如API变更、功能差异甚至运行时错误。

avatar 腾讯云开发者社区

如何快速搭建Neon无服务器PostgreSQL：面向初学者的完整指南

Neon是一款革命性的无服务器PostgreSQL解决方案，它通过分离存储和计算层，实现了自动扩缩容、类代码式数据库分支以及零级扩展能力。本指南将帮助你从零开始搭建Neon开发环境，体验这款创新数据库的强大功能。## 准备工作：环境要求与依赖项在开始搭建Neon环境前，请确保你的系统满足以下要求：- Linux操作系统（推荐Ubuntu 20.04+或Debian 11+）- Git

avatar 腾讯云开发者社区