接著，簡單介紹下神經網絡的基礎。生物的大腦是由許多神經細胞組成，同樣，模擬大腦的人工神經網絡ANN是由許多叫做人工神經細胞（Artificial neuron，也稱人工神經原，或人工神經元）的細小結構模塊組成。人工神經細胞就像真實神經細胞的一個簡化版，如圖所示，左邊幾個藍色圓中所標字母w代表浮點數，稱為權重（weight，或權值，權數）。進入人工神經細胞的每一個input(輸入)都與一個權重w相聯系，正是這些權重將決定神經網絡的整體活躍性。你現在暫時可以設想所有這些權重都被設置到了-１和１之間的一個隨機小數。因為權重可正可負，故能對與它關聯的輸入施加不同的影響，如果權重為正，就會有激發（excitory）作用，權重為負，則會有抑制（inhibitory）作用。當輸入信號進入神經細胞時，它們的值將與它們對應的權重相乘，作為圖中大圓的輸入。大圓的‘核’是一個函數，叫激勵函數(activation function)，它把所有這些新的、經過權重調整后的輸入全部加起來，形成單個的激勵值(activation value)。激勵值也是一浮點數，且同樣可正可負。然后，再根據激勵值來產生函數的輸出也即神經細胞的輸出：如果激勵值超過某個閥值（作為例子我們假設閥值為1.0），就會產生一個值為1的信號輸出；如果激勵值小于閥值1.0，則輸出一個0。這是人工神經細胞激勵函數的一種最簡單的類型。