Chúng ta biến đến Sun Microsystems nh một nhà sản xuất phần cứng với các trạm làm việc UNIX. Trên thực tế, hãng Sun cũng phát triển phần mềm, đặc biệt nổi tiếng là hệ điều hành Solaris và hệ thống tập tin mạng (Network File System - NFS). Năm 1990, Sun Microsystems bắt đầu thực hiện dự án có tên gọi Green nhằm phát triển phần mềm trong các thiết bị điện tử dân dụng. James Gosling, chuyên gia lập trình phần mềm mạng đợc giao trách nhiệm thực hiện dự án.
Ban đầu, Gosling sử dụng C++ để viết phần mềm điều khiển, hiển thị số cho thiết bị nh VCR (Video Cassette Recorder), PDA (Personal Digital Assistant). Nhng ngay sau đó, Gosling phát hiện ra rằng C++ không phải là ngôn ngữ thích hợp cho công việc này. Ngôn ngữ C++ đủ mềm dẻo để điều khiển hệ thống, nhng nó lại dễ gây ra những lỗi dẫn đến treo hệ thống. Một cách chi tiết hơn, C++ xâm nhập trực tiếp đến tài nguyên hệ thống, yêu cầu ngời lập trình phải tự mình quản lý các tài nguyên này.. Điều này tạo thành một rào cản không cho C++ trở thành một công cụ viết các phần mềm có độ tin cậy cao, tính tơng thích lớn, đặc biệt trong việc điều khiển các thiết bị điện tử dân dụng.
Gosling giải quyết vấn đề này bằng cách tạo ra một ngôn ngữ lập trình mới có tên là Oak. Ngôn ngữ này có cú pháp giống nh C++, nhng bỏ qua các tính năng “nguy hiểm” của C++ nh truy cập trực tiếp tài nguyên hệ thống, các phép toán với con trỏ, nạp chồng tác tử.. Oak đợc thiết lập với mục đích tạo tính tơng thích cao (chạy trên nhiều loại chip khác nhau), giúp các nhà sản xuất thiết bị có thể thay đổi kiểu phần cứng mà không phải viết lại phần mềm trớc đó.
Khi ngôn ngữ Oak trởng thành, World Wide Web cũng đang bớc vào thời kỳ phát triển mạnh mẽ, và đội ngũ phát triển phần mềm của Sun thấy rằng đây cũng là ngôn ngữ đặc biệt thích hợp cho Internet. Vào năm 1994, họ đã đa ra WebRunner, một trình duyệt Web viết bằng Oak (sau này trình duyệt này đợc đổi tên thành HotJava và hiện nay vẫn đang đợc tiếp tục phát triển).
Cuối cùng, vào năm 1995, Oak đợc đổi tên thành Java (do mục đích thơng mại) và đa ra trình diễn tại SunWorld 95. Từ đó đến nay, Java nhanh chóng phát triển: Thậm trí trớc khi trình dịch Java đầu tiên đợc đa ra vào tháng Một năm 1996, Java đã đợc coi là một chuẩn công nghiệp cho Internet.
Trong 6 tháng đầu năm 1996, nhiều nhà sản xuất phần mềm cũng nh phần cứng đứng đầu thế giới đã mua bản quyền công nghệ Java từ Sun, bao gồm Adobe, Asymetrix, Borland, IBM, Macromedia, Metrowerks, Microsoft, Novel, Oracle, Spyglass và Symantec... Các hãng này sẽ kết hợp Java vào các sản phẩm của họ nh: các phần mềm, hệ điều hành, công cụ phát triển..