Java是1991年6月由Sun公司的（加拿大人）James Gosling等人為小型消費品電子（如電視遙控器等）項目Green開發的一種簡單程序設計語言。開始叫Oak（橡樹，因為在James Gosling的辦公室外有一棵橡樹），由于與Sun的另一產品商標同名，1994年改為Java（爪哇——位于印度尼西亞西南部的一個大島，盛產咖啡豆；因為研究小組在討論新名稱時，面前都放有冒著熱氣咖啡杯，這也是Java語言的標識）。雖然在小型消費品電子產品上失敗，但是Java卻特別適合網絡程序的開發。1994年秋，他們用Java開發出支持Applet、交互功能強大的動態瀏覽器WebRunner，獲得了極大成功。1995年5月WebRunner改名為HotJava，并與Java語言一起，由Sun公司正式推向市場。

Java具有面向對象、跨平臺、安全穩定、多線程等特點，特別適合于網絡編程。Java源自C++，它從C++中繼承了大多數語言成分，但是它也對C++進行了大量簡化（Sun的創始人之一/首席科學家/Java的主要作者之一Bill Joy稱Java為C++--）。例如，它拋棄了C++中復雜和容易引起問題的頭文件、編譯指令、預處理器、指針、結構、隱式類型轉換、操作符重載、多重繼承和goto語句等。增加了字節碼、虛擬機、垃圾（內存）回收（garbage collection）、接口、GUI支持、多線程、異常處理、網絡編程、各種類庫等內容。
Java語言的跨平臺和安全性，都依賴于它的JVM（Java Virtual Machine，爪哇虛擬機）。Java是一種編譯型解釋語言（對比：Fortran/Pascal/C/C++為編譯語言，早期的Basic為解釋語言），它先將Java源代碼編譯成專用的字節碼（bytecode），再利用各個計算機平臺上安裝的JVM來解釋并運行這些字節碼。

Java通過取消指針和添加虛擬機，在增強了安全性的同時，也具備了跨平臺的能力。但這些卻是以犧牲編程的靈活性和程序的運行效率為代價換來的。所以，Java并不太適合于，對運行效率要求很高的本地（客戶端）的（系統）編程。

開始時，Java雖然從C++繼承了大量面向過程和面向對象的特征，但是并沒有繼承模板。只是到了JDK 1.5（Java SE 5.0，2004年9月30日推出）才加入對編譯時靜態綁定的泛型編程的支持。所以，Java現在與C++一樣，也可以算是一種同時具有面向過程、面向對象和泛型編程的特征的混合型程序設計語言。