multi-sigmoid activation function 用于multi-label classification problem，label不是只有一个答案，也就说label y可能有多个1。比如一个x-ray胸透结果，可能诊断出有肺部感染和脓肿，但是没有胸膜增厚，没有心脏肿大或者疝气那么y = (y1=1, y2=1, y3＝0, y4 = 0, y5 = 0)，使用multi-sigmoid激活函数产生的概率是 prob = (0.9, 0.8, 0.2, 0.1, 0.15). 注意，这里所有的概率和并不是1，每个维度是相对彼此独立的。

softmax activation function 用于multi-class classification problem，label只能有一个答案，label y只有一个1。比如我们要判断一个图片到底是0-9里面的哪个数字，y class有10个，但是只可能有一个数字。假设这个数字是3， y = (y1 = 0, y2 = 0, y3 = 1, y4 = 0, ..., y9 = 0), 使用softmax激活函数产生概率是prob = (0.01, 0.01, 0.9, 0.01, 0.01, 0.01, 0.02, 0.01, 0.01, 0.01). 注意，这里的概率和必须相加为1，这是限制条件。

总结来说，如果你的output class是互斥的，就用softmax, 反之用sigmoid。