很多人都對Java在批量數(shù)據(jù)的處理方面是否是其合適的場所持有懷疑的念頭，由此延伸，那么就會認為ORM可能也不是非凡適合數(shù)據(jù)的批量處理。其實，我想假如我們應用得當?shù)脑?，完全可以消除ORM批量處理性能問題這方面的顧慮。下面以Hibernate為例來做為說明，假如我們真的不得不在 Java中使用Hibernate來對數(shù)據(jù)進行批量處理的話。 向數(shù)據(jù)庫插入100 000條數(shù)據(jù)，用Hibernate可能像這樣：
| Session session = sessionFactory.openSession(); Transaction tx = session.beginTransaction(); for ( int i=0; i<100000; i++ ) { Customer customer = new Customer(.....); session.save(customer); } tx.commit(); session.close(); |
大概在運行到第50 000條的時候，就會出現(xiàn)內(nèi)存溢出而失敗。這是Hibernate把最近插入的Customer都以session-level cache在內(nèi)存做緩存，我們不要忘記Hiberante并沒有限制first-level cache 的緩存大小。
◆持久對象實例被治理在事務結束時，此時Hibernate與數(shù)據(jù)庫同步任何已經(jīng)發(fā)生變 化的被治理的的對象。
◆Session實現(xiàn)了異步write-behind，它答應Hibernate顯式地寫操作的批處理。 這里，我給出Hibernate如何實現(xiàn)批量插入的方法：
首先，我們設置一個合理的JDBC批處理大小，hibernate.jdbc.batch_size 20。 然后在一定間隔對Session進行flush()和clear()。
| Session session = sessionFactory.openSession(); Transaction tx = session.beginTransaction(); for ( int i=0; i<100000; i++ ) { Customer customer = new Customer(.....); session.save(customer); if ( i % 20 == 0 ) { //flush 插入數(shù)據(jù)和釋放內(nèi)存: session.flush(); session.clear(); } } tx.commit(); session.close(); |
新聞熱點
疑難解答
圖片精選
