邏輯回歸是機器學習中很簡答的一個栗子,這篇文章就是要介紹如何使用tensorflow實現一個簡單的邏輯回歸算法。
邏輯回歸可以看作只有一層網絡的前向神經網絡,并且參數連接的權重只是一個值,而非矩陣。公式為:y_predict=logistic(X*W+b),其中X為輸入,W為輸入與隱含層之間的權重,b為隱含層神經元的偏置,而logistic為激活函數,一般為sigmoid或者tanh, y_predict為最終預測結果。
邏輯回歸是一種分類器模型,需要木便函數不斷的優化參數,這里目標函數為y_predict與真實標簽Y之間的L2距離,使用隨機梯度下降算法來更新權重和偏置。 廢話不多說,貼代碼:
# -*- coding:utf-8 -*-#功能: 使用tensorflow實現一個簡單的邏輯回歸import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt #創建占位符X=tf.placeholder(tf.float32)Y=tf.placeholder(tf.float32) #創建變量#tf.random_normal([1])返回一個符合正太分布的隨機數w=tf.Variable(tf.random_normal([1],name='weight'))b=tf.Variable(tf.random_normal([1],name='bias')) y_predict=tf.sigmoid(tf.add(tf.mul(X,w),b))num_samples=400cost=tf.reduce_sum(tf.pow(y_predict-Y,2.0))/num_samples #學習率lr=0.01optimizer=tf.train.AdamOptimizer().minimize(cost) #創建session 并初始化所有變量num_epoch=500cost_accum=[]cost_prev=0#np.linspace()創建agiel等差數組,元素個素為num_samplesxs=np.linspace(-5,5,num_samples)ys=np.sin(xs)+np.random.normal(0,0.01,num_samples) with tf.Session() as sess: #初始化所有變量 sess.run(tf.initialize_all_variables()) #開始訓練 for epoch in range(num_epoch): for x,y in zip(xs,ys): sess.run(optimizer,feed_dict={X:x,Y:y}) train_cost=sess.run(cost,feed_dict={X:x,Y:y}) cost_accum.append(train_cost) print "train_cost is:",str(train_cost) #當誤差小于10-6時 終止訓練 if np.abs(cost_prev-train_cost)<1e-6: break #保存最終的誤差 cost_prev=train_cost#畫圖 畫出每一輪訓練所有樣本之后的誤差plt.plot(range(len(cost_accum)),cost_accum,'r')plt.title('Logic Regression Cost Curve')plt.xlabel('epoch')plt.ylabel('cost')plt.show()
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持武林站長站。
新聞熱點
疑難解答