我正在尝试用C++实现反向模式自动微分。
我想到的思路是，每个由一个或两个变量进行操作得出的变量，都将在一个向量中保存梯度。
以下是代码：
应该构建的计算图如下所示：
然后是“y”连接被取消。非常感谢您的帮助。
我想到的思路是，每个由一个或两个变量进行操作得出的变量，都将在一个向量中保存梯度。
以下是代码：
class Var {
private:
double value;
char character;
std::vector<std::pair<double, const Var*> > children;
public:
Var(const double& _value=0, const char& _character='_') : value(_value), character(_character) {};
void set_character(const char& character){ this->character = character; }
// computes the derivative of the current object with respect to 'var'
double gradient(Var* var) const{
if(this==var){
return 1.0;
}
double sum=0.0;
for(auto& pair : children){
// std::cout << "(" << this->character << " -> " << pair.second->character << ", " << this << " -> " << pair.second << ", weight=" << pair.first << ")" << std::endl;
sum += pair.first*pair.second->gradient(var);
}
return sum;
}
friend Var operator+(const Var& l, const Var& r){
Var result(l.value+r.value);
result.children.push_back(std::make_pair(1.0, &l));
result.children.push_back(std::make_pair(1.0, &r));
return result;
}
friend Var operator*(const Var& l, const Var& r){
Var result(l.value*r.value);
result.children.push_back(std::make_pair(r.value, &l));
result.children.push_back(std::make_pair(l.value, &r));
return result;
}
friend std::ostream& operator<<(std::ostream& os, const Var& var){
os << var.value;
return os;
}
};
我尝试以如下方式运行代码：
int main(int argc, char const *argv[]) {
Var x(5,'x'), y(6,'y'), z(7,'z');
Var k = z + x*y;
k.set_character('k');
std::cout << "k = " << k << std::endl;
std::cout << "∂k/∂x = " << k.gradient(&x) << std::endl;
std::cout << "∂k/∂y = " << k.gradient(&y) << std::endl;
std::cout << "∂k/∂z = " << k.gradient(&z) << std::endl;
return 0;
}
应该构建的计算图如下所示：
x(5) y(6) z(7)
\ / /
∂w/∂x=y \ / ∂w/∂y=x /
\ / /
w=x*y /
\ / ∂k/∂z=1
\ /
∂k/∂w=1 \ /
\_________/
|
k=w+z
接下来，如果我想计算∂k/∂x，那么我就必须乘以沿着边缘的梯度，��对每个边缘的结果求和。这通过double gradient(Var* var) const递归地完成。因此，我有∂k/∂x = ∂k/∂w * ∂w/∂x + ∂k/∂z * ∂z/∂x。
问题
如果我有像x*y这样的中间计算，会出现问题。当取消注释std::cout时，输出如下：
k = 37
(k -> z, 0x7ffeb3345740 -> 0x7ffeb3345710, weight=1)
(k -> _, 0x7ffeb3345740 -> 0x7ffeb3345770, weight=1)
(_ -> x, 0x7ffeb3345770 -> 0x7ffeb33456b0, weight=0)
(_ -> y, 0x7ffeb3345770 -> 0x7ffeb33456e0, weight=5)
∂k/∂x = 0
(k -> z, 0x7ffeb3345740 -> 0x7ffeb3345710, weight=1)
(k -> _, 0x7ffeb3345740 -> 0x7ffeb3345770, weight=1)
(_ -> x, 0x7ffeb3345770 -> 0x7ffeb33456b0, weight=0)
(_ -> y, 0x7ffeb3345770 -> 0x7ffeb33456e0, weight=5)
∂k/∂y = 5
(k -> z, 0x7ffeb3345740 -> 0x7ffeb3345710, weight=1)
(k -> _, 0x7ffeb3345740 -> 0x7ffeb3345770, weight=1)
(_ -> x, 0x7ffeb3345770 -> 0x7ffeb33456b0, weight=0)
(_ -> y, 0x7ffeb3345770 -> 0x7ffeb33456e0, weight=5)
∂k/∂z = 1
它打印出哪个变量连接到哪一个，然后是它们的地址以及连接的权重（应该是梯度）。
问题在于 x 和保存 x*y 结果的中间变量之间的 weight=0（我在图中将其表示为 w）。
我不知道为什么这个权重为零而不是连接到 y 的另一个权重。
我注意到的另一件事是，如果你交换 operator* 中的行：
result.children.push_back(std::make_pair(1.0, &r));
result.children.push_back(std::make_pair(1.0, &l));
然后是“y”连接被取消。非常感谢您的帮助。
x*y已经被销毁了，但是后来我想知道为什么它的地址仍然指向某个东西？因为我实际上可以获取它的children并循环遍历它... 如果对象在计算后真的被销毁了，那么在尝试访问该对象后我应该会遇到 segfault 错误，对吗？ - Omar Aflak