Tài liệu Học Khoa Học Máy Tính nên đọc sách gì? docx

Học Khoa Học Máy Tính nên đọc sách gì? Bạn trantempo hỏi danh sách sách nên đọc KHMT Bạn Nguyên đưa danh sách sơ Tôi cập nhật từ từ vào danh sách vài tuần tới để có danh sách hoàn tất (Cần nhà duyệt lại tủ sách) Các bạn bình luận thêm vào sách mà bạn ưa thích Phân tích thiết kế thuật toán (cập nhật ngày tháng 10, 2007) Phân tích thiết kế thuật tốn nâng cao (cập nhật ngày tháng 10, 2007) Combinatorics (bao gồm lý thuyết đồ thị toán rời rạc) (cập nhật ngày tháng 10, 2007) Xử lý ngôn ngữ tự nhiên (danh sách anh Bạch Hưng Nguyên) (cập nhật ngày tháng 10, 2007) Machine learning statistics (danh sách anh Nguyễn Xuân Long) (cập nhật ngày tháng 10, 2007) Phân tích thiết kế thuật tốn (cơ bản): có textbooks dùng phổ biến, tơi thích Kleinberg Tardos Tuy nhiên, từ quan điểm cá nhân tơi chưa thấy hài lịng với lý khác nhau, ba tốt Thomas H Cormen, Charles E Leiserson, Ronald Rivest, and Clifford Stein, Introduction to Algorithms (2e), 1180pp, ISBN: 0262032937, MIT Press, September 2001 Jon Kleinberg, Éva Tardos, Algorithm Design, 864 pages, Addison Wesley, ISBN-10: 0321295358, ISBN-13: 978-0321295354, March 16, 2005 S Dasgupta, C.H Papadimitriou, and U.V Vazirani, Algorithms, McGraw Hill, 2007 Hồi trước có Aho-Hopcroft-Ullman Bây lỗi thời, dùng Alfred V Aho John E Hopcroft Jeffrey Ullman, Data Structures and Algorithms, 427pp ISBN: 0201000237, Addison Wesley, January 1983 Tiếc Robert Tarjan không viết sách giáo khoa, không sách data structure ông hẳn phải hay Hiện khơng thể dạy thuật tốn mà khơng dạy NP-Completeness phương pháp xác suất Do đó, sau cần thiết: Michael R Garey and David S Johnson, Computers and Intractability: A Guide to the Theory of NP-Completeness, 338pp ISBN: 0716710455, W H Freeman Company, November 1990 2 Michael Mitzenmacher and Eli Upfal, Probability and Computing: Randomized Algorithms and Probabilistic Analysis, Cambridge University Press (January 31, 2005) Tôi xếp tập Knuth vào dạng “cao cấp hơn”, trường hợp bạn thắc mắc Về lecture notes (dạng presentation) tơi thấy notes … tốt (từ từ đến cuối học kỳ có tồn notes.) Phân tích thiết kế thuật tốn (cao cấp hơn) Khi nói đến phân tích thiết kế thuật tốn cao cấp, ta thường phải xem xét đề tài cụ thể để giới thiệu Các sách cao cấp thường viết đề tài đó: approximation algorithms, randomized algorithms, linear programming, convex programming, approximate counting, combinatorial optimization, network flows, algorithmic game theory, vân vân Tôi gộp chung chúng lại giới thiệu vài tiêu biểu Donald Knuth, The Art of Computer Programming Volumes 1, 2, 3, Addison Wesley Vijay Vazirani, Approximation Algorithms, Springer-Verlag, 397 pages hardcover, ISBN: 3-540-65367-8, published 2001 Rajeev Motwani and Prabhakar Raghavan, Randomized Algorithms, 492 pages, Cambridge University Press (August 25, 1995), ISBN: 0521474655 Vašek Chvátal, Linear Programming, W H Freeman, 1983; 478pp ISBN: 0716715872, W H Freeman Company, January 1983 Dorit Hochbaum (Editor), Approximation Algorithms for NP-Hard Problems, 624 pages ; Brooks/Cole Pub Co; ISBN: 0534949681; 1st edition (July 26, 1996) Alexander Schrijver, Theory of Linear and Integer Programming, 484pp ISBN: 0471982326, Wiley, John & Sons, Incorporated, June 1998 Christos H Papadimitriou and Kenneth Steiglitz, Combinatorial Optimization: Algorithms and Complexity, Dover Publications; Unabridged edition (January 29, 1998) Mark Jerrum, Counting, Sampling and Integrating: Algorithms and Complexity (Lectures in Mathematics ETH Zürich), Birkhäuser Basel; edition (April 28, 2003) Ravindra K Ahuja, Thomas L Magnanti, and James B Orlin, Network Flows: Theory, Algorithms, and Applications, Hardcover, 1st ed., 846pp., ISBN: 013617549X, Prentice Hall, February 1993 Noam Nisan, Tim Roughgarden, Eva Tardos, and Vijay V Vazirani (editors), Algorithmic Game Theory, Cambridge University Press, 2007 9 Mark de Berg, M van Krefeld, M Overmars, and O Schwarzkopf, Computational Geometry: Algorithms and Applications, Second Edition, Springer; 2nd rev ed edition (February 18, 2000) Đây tơi hồn tồn chưa đụng tới nhiều đề tài quan trọng khác: algorithmic number theory, algorithmic coding theory, computational biology, v.v Chú ý: Ngồi ra, khơng thể nghiên cứu thuật tốn đại mà khơng có hiểu biết sâu sắc lý thuyết độ phức tạp (computational complexity theory), lý thuyết đồ thị toán rời rạc, lý thuyết xác suất lý thuyết thơng tin, tốn tối ưu tốn ứng dụng, chí hình học giải tích (cần cho computational geometry), hay lý thuyết số (cần cho thuật tốn cryptography) Tơi giới thiệu vài đề tài vài ngày tới Combinatorics (bao gồm lý thuyết đồ thị toán rời rạc) Combinatorics rộng, liên quan mật thiết đến nhiều nhánh khác tốn học khoa học máy tính Dưới tơi liệt kê sanh sách sách đọc thấy hữu dụng nghiên cứu phát triển tư toán học cho KHMT Nghĩa không kể thứ hữu dụng mà Additive Combinatorics bác Terry Tao bác Vũ Hà Văn 3.1 Tốn rời rạc phổ thơng Hiển nhiên sinh viên học KHMT phải biết toán rời rạc Tuy nhiên, tơi khó chịu với loại toán rời rạc thường dạy bậc đại học nói chung, hai lý do: (1) lớp tốn rời rạc kiểu không chuẩn bị đủ kiến thức cho sinh viên học thêm lên, (2) cho sinh viên tranh bèm nhèm toán rời rạc, dễ làm sinh viên hiểu không tầm mức tốn rời rạc Dĩ nhiên tơi hiểu chương trình đại học có giới hạn, cịn bể kiến thức vơ cùng, “khó chịu” tơi khơng có sở, Chỉ nhân càm ràm để “xả stress” Có bốn sách “phải đọc” toán rời rạc cho sinh viên học KHMT (và sinh viên toán): J H van Lint and R M Wilson, A Course in Combinatorics, Cambridge University Press; 2nd edition (December 15, 2001) Rất tuyệt vời! Mỗi chương đề tài riêng biệt, từ đồ thị đến generating functions, từ design theory đến coding theory, từ q-series đến extremal set theory, v.v có Đa số tập không tầm thường Nếu bạn muốn biết combinatorics thật gì, mà khơng có thời gian đọc nhiều q, bắt buộc! Ronald L Graham, Donald E Knuth, Oren Patashnik, Concrete Mathematics: A Foundation for Computer Science, Addison-Wesley Professional Viết computer scientists cho computer scientists Tất thứ sinh viên KHMT cần biết asymptotic analysis Kiểu Knuth Nghĩa cụ thể chi tiết phương pháp Dĩ nhiên, phạm vi hẹp, đề tài đối tượng cụ thể Laszlo Lovasz, Combinatorial Problems and Exercises, American Mathematical Society; edition (June 26, 2007) Vừa 2nd edition Cách để học toán rời rạc làm thật nhiều tập Bạn hồn tồn trở thành chuyên gia hạng ruồi graph theory extremal set theory cách ngồi giải tập sách Nếu bạn lấy lớp combinatorics đó, nhiều khả thầy bạn lấy vài tập làm tập nhà kiểm tra Martin Aigner, Günter M Ziegler, and K.H Hofmann, Proofs from THE BOOK, Springer; 3rd ed edition (November 13, 2003) Tôi đến 3rd edition, tơi có 1st edition Nói ra, khơng phải viết tốn rời rạc Nhưng tư tưởng lại tương đồng với tư tưởng toán rời rạc mà cảm nhận Khi thấy chứng minh đẹp mơ, Erdos hay nói “chứng minh phải nằm sách thượng đế, sách chứa chứng minh đẹp nhất” Đó tư tưởng sách Nó chứa sưu tập chứng minh đẹp mơ Dân yêu toán, lại không mơ? 3.2 Lý thuyết đồ thị (bao gồm algebraic graph theory) Khơng có nhánh KHMT mà lại không cần kiến thức lý thuyết đồ thị Sách mở đầu lý thuyết đồ thị có nhiều Tơi thường giới thiệu West cho sinh viên thấy vừa phải phù hợp với dân máy tính Quyển tập Lovasz có vài chương lý thuyết đồ thị hay Tôi quan tâm đến algebraic graph theory cơng cụ để phân tích expander graphs (dùng nhiều complexity theory, algorithm design, randomized algorithms, coding theory, networking, v.v.) Douglas West, Introduction to Graph Theory, Prentice Hall; edition (December 1, 2007) Tôi thấy phạm vi đề tài thích hợp cho dân học KHMT, lại rõ ràng dễ hiểu Sau đọc xong giới thiệu ngành này, phải đọc theo đề tài, algebraic graph theory, extremal graph theory, graph coloring, matching theory, v.v Tommy R Jensen and Bjarne Toft, Graph Coloring Problems, Wiley-Interscience; 1st edition (December 1994) Đây tham khảo kinh điển tốn tơ màu đồ thị, dùng cực nhiều KHMT L Lovász and M.D Plummer, Matching Theory, Annals of Discrete Mathematics, 29, North-Holland Mathematics Studies, 121 Tôi tin dân làm graph theory combinatorial optimization … bí mật đọc Một đề tài đẹp khó tìm thấy sách khác Pfaffian Permanent Đặc biệt matching bipartite graphs tất thứ tơi biết học từ ra, dùng kiến thức học báo! Norman Biggs, Algebraic Graph Theory, Cambridge University Press Quyển sách be bé giới thiệu algebraic graph theory tốt Đủ để dùng làm nhiều thứ, bao gồm hiểu thứ liên quan đến expanders Dragos M Cvetkovic, Michael Doob, Horst Sachs, Spectra of Graphs: Theory and Applications, Academic Press; 3rd Revised edition (August 1, 1997) Đây sách tham khảo algebraic graph theory Fan Chung, Spectral Graph Theory, American Mathematical Society (May 1997) Sách viết tốt rõ ràng Cái dở bà Fan Chung lại chọn Lapacian eigenvalues thay eigenvalues đồ thị applications thường dùng Chuyển qua chuyển lại kết thời gian 3.2 Phương pháp xác suất (bao gồm random graphs) Phương pháp xác suất công cụ theoretical computer science, với ứng dụng khắp nơi Trong complexity theory & algorithms ta dùng phương pháp xác suất phân tích thiết kế PCP, randomized (approximation) algorithms, derandomization, pseudo-random number generation, v.v Trong mạng máy tính ta có randomized routing, randomized MAC protocols, blocking analysis of switches and routers, v.v Trong sở liệu gần phát triển mạnh probabilistic databases, v.v Tôi giới thiệu sách xác suất thống kê đề mục riêng Phần nói riêng phương pháp xác suất theo nghĩa Erdos Noga Alon and Joel H Spencer, The Probabilistic Method, WileyInterscience; Sub edition (August 24, 2000) Kinh điển! Không có phải bàn Béla Bollobás, Random Graphs, Cambridge University Press Lại kinh điển nữa! Quyển Mitzenmacher Upfal giới thiệu phần giải thuật 3.4 Enumerative combinatorics Richard Stanley, Enumerative Combinantorics Vol & 2, Cambridge University Press Kinh điển! Chứa hầu hết tất thứ mà dân khoa học máy tính cần biết enumerative combinatorics Dennis Stanton and Dennis White, Constructive combinatorics, Springer; edition (May 15, 1986) Quyển có lẽ người biết tơi thấy hay cho dân học máy tính Nó viết enumerative combinatorics từ góc nhìn thuật tốn bijective proofs Tơi lấy lớp hai vị Dennis Bác Stanton người thầy có ảnh hưởng lớn đến triết lý giáo dục David M Bressoud, Proofs and Confirmations: The Story of the Alternating-Sign Matrix Conjecture, Cambridge University Press (August 13, 1999) Quyển phải nói tuyệt vời Quyển sách nói conjecture tiếng gọi Alternating Sign Martrix Conjecture duyệt lại tồn q trình người ta “tấn cơng” conjecture Tôi bỏ tháng vật lộn với Kết thúc cơng trình Zeilberger Kuperberg Nó tuyệt vời chỗ, ngồi việc dùng làm sách giáo khoa cho vài lớp enumerative combinatorics tốt, vẽ rõ ràng q trình phát triển phương pháp tư nhánh toán học dựa câu chuyện cụ thể, đề tài nghiên cứu cụ thể Terry Tao có viết hàm chứa ý tưởng tương tự tính liên thơng phát triển tốn Đến mở sách đọc tơi tìm thấy mới, toán chưa giải Enumerative combinatorics “tình yêu thời niên thiếu” tơi, quyển tốt giải thích tơi cịn … day dứt (Trong có nói thuật tốn tính định thức tác giả truyện Alice lạc vào xứ thần tiên!) George E Andrews, The Theory of Partitions, Cambridge University Press (July 28, 1998) George Andrews người tìm sổ tay tích Ramanujan Quyển sách ơng nằm giải tích, lý thuyết số, enumerative combinatorics Có lẽ định lý hay sách cơng thức tính tổng số integer partitions số nguyên Đọc sách ta thấy generating functions mạnh nào, dùng vấn đề hóc búa lý thuyết số Ngồi ra, sách tốt hyper-geometric series q-series Tuyệt cú mèo! Có lần tơi nghe George Andrews trình bày hội nghị, ông mang theo cuộn giấy to ồnh in chương trình ơng viết từ hồi đầu thập niên 70 để tìm conjectures enumerative combinatorics Ông kéo cuộn giấy từ đầu đến cuối phòng, chưa hết nửa 3.5 Algebraic combinatorics Tư tưởng nhánh gần, theo nghĩa định, với phương pháp đại số dùng coding theory complexity theory đại Nó lại liên quan mật thiết đến giải tích hàm vng góc Tơi làm M.S Thesis Tốn nhánh Mặc dù khơng làm nữa, nhắc lại cịn thấy “nhiệt huyết” bừng bừng Ngồi ra, nhánh anh em cột chèo với algebraic graph theory, cần thiết complexity theory lẫn số tốn mạng máy tính! Đó chưa kể liên minh sống với representation theory lại dùng KHMT (như loạt nhân ma trận viết dở) Chris Godsil, Algebraic Combinatorics, Chapman & Hall/CRC (April 1, 1993) Chihara, An Introduction to Orthogonal Polynomials, Routledge; edition (January 1, 1978) Quyển kinh điển đa thức vng góc George E Andrews, Richard Askey, Ranjan Roy, Special Functions, Cambridge University Press; New Ed edition (February 15, 2001) Tất thứ bạn cần biết hàm đặc biệt! William Fulton, Young Tableaux: With Applications to Representation Theory and Geometry, Cambridge University Press (December 28, 1996) I G Macdonald, Symmetric Functions and Hall Polynomials, Oxford University Press, USA; edition (June 30, 1999) Quyển Fulton kinh điển symmetric functions 3.6 Extremal set theory, extremal set systems, design theory Những thứ dùng làm KHMT? Một vài ví dụ nhỏ: chúng liên quan mật thiết với lý thuyết thử nhóm (group testing) dùng DNA library screening (biocomputing), thiết kế MAC protocols thử lỗi mạng quang (networking), thiết kế thuật tốn nói chung Design theory lại liên quan chặt chẽ với coding theory (sẽ giới thiệu sách sau) dùng communications complexity theory Konrad Engel, Sperner Theory, Cambridge University Press Phát triển lý thuyết định lý đơn giản hùng mạnh topology: định lý Sperner Bela Bollobas, Combinatorics, Cambridge University Press Nhỏ hiệu quả! A E Brouwer, A M Cohen, A Neumaier, Distance Regular Graphs, Springer (August 1989) Nhiều toán thiết kế cấu trúc extremal mơ hình hóa distance regular graphs: loại đồ thị giàu có cấu trúc đại số, nhờ tốn trở nên tổng quát (dùng công cụ đại số), dễ dàng Ding-Zhu Du and Frank K Hwang, Combinatorial Group Testing and Its Applications, World Scientific Publishing Company; 2nd edition (May 2000) Quyển tham khảo (và nhất) cho lý thuyết thử nhóm Nó dạng monograph khơng phải textbook, dùng làm tham khảo Xử lý ngôn ngữ tự nhiên (danh sách anh Bạch Hưng Nguyên) Sách bản: [1] Manning & Schutze, Foundation of Statistical NLP - (có online có access vào MIT library) [2] Jurasky & Martin, Speech&Language Procesing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 2nd edition Tham khảo thêm: [3] James Allen, Natural Language Understanding [4] Fred Jelinek, Statistical Method for Speech Recognition [5] Xudong Huang et al, Spoken Language Processing Lộ trình tự đọc & học học kì theo thứ tự sau ——– Chương 1+2+3+4 - [1]: Introduction / Mathematical Foundations/ Linguistic Essential / Corpus-based Work Chương - [2]: Phonetics ——– Chương - [1]: Statistical Inference: n-gram Models over Sparse Data Chương - [2]: N-grams ——– Chương - [5]: Hidden Markov Models Chương - [4]: Hidden Markov Models Chương - [2]: Word Classes and Part-of-Speech Tagging Chương - [2]: Hidden Markov and Maximum Entropy Models ——– Chương - [3]: Grammar and Parsing Chương 12 - [2]: Formal Grammars of English Chương 11 - [1]: Probabilistic Context Free Grammar Chương 12 - [1]: Probabilistic Parsing Chương 13 - [2]: Parsing with Context-Free Grammars Chương 14 - [2]: Statistical Parsing ——– Chương - [2]: Words and Transducers ——– Chương 22 - [2]: Information Extraction ——– Chương 25 - [2]: Machine Translation ——– Chương 15 - [1]: Topics in Information Retrieval ——– Chương 16 - [1]: Text Categorization ——– Lộ trình giới thiệu chuyên sâu phương pháp thống kê NLP, mơ hình ngram , mơ hình Markov ẩn, & kĩ thuật phân tích câu (parsing) Sau giới thiệu sơ qua số topics mà NLP đóng vai trị quan trọng Trích chọn Thơng Tin (Information Extraction), Dịch tự động (Machine Translation), Khai Thác Thông Tin (Information Retrieval), & Phân Loại Văn Bản (Text Categorization) Về sau xong lộ trình đủ để bắt tay vào chuyên sâu vấn đề NLP Rất nhiều topics NLP không đề cập lộ trình ví dụ như: Các máy Hữu hạn trạng thái (Finite-state Machines), Các kĩ thuật học máy (Machine Learning techniques), Nhận dạng tiếng nói (Speech Recognition), Tổng hợp tiếng nói (Speech Synthesis), Hệ thống Hỏi-Đáp (Q&A systems) Machine learning statistics Chuyển qua machine learning statistics… What? Statistics chuyên ngành riêng biệt phải học? Có lần người bạn tơi hỏi David Blackwell, cậu ta chập chững vào PhD program Rằng, có hay ho tơi nên theo đuổi statistics? Blackwell trả lời, nên học machine learning nonparametric statistics Tôi gộp ML Stats tơi coi hai ngành một, truyền thống định hướng có khác biệt định Có nhiều sách hay ngành, giới thiệu số mà quen thuộc Như số sách hay mà chưa list, xin bạn đọc bổ sung qua comments Những đánh dấu (*) dùng làm sách nhập mơn tốt Ngồi ra, (+) sách tơi ưa thích 5.1 Sách giới thiệu với hương vị machine learning T Michell, Machine Learning, Tom Mitchell, McGraw Hill, 1997 Quyển sách đầu tay cho dân ML, lạc hậu nội dung R Duda, P Hart and D Stork Pattern Classification Wiley, 2000 K Fukunaga Statistical pattern recognition AP, 1990 (*) J Friedman, T Hastie and R Tibshirani The elements of statistical learning Springer, 2001 5.2 Sách tập trung vào dạng mô hình học thống kê A Các mơ hình tương đối khái quát (*) C Bishop, Neural networks for pattern recognition Clarendon Press, 1995 S Haykin, Neural networks: A comprehensive foundation Prentice Hall, 2nd Edition, 1998 (*) B Scholkopf and A Smola, Learning with kernels MIT Press, 2002 J Shawe-Taylor and N Cristianini, Kernel methods for pattern analysis Cambridge Univ Press, 2004 J Shawe-Taylor and N Cristianini, Support vector machines and other kernel-based learning methods Cambridge Univ Press, 2000 (+) S Mallat, A wavelet tour of signal processing, Academic Press, 2nd Edition, 1999 (*) M Jordan, An introducition to probabilistic graphical models Quyển sách chưa xuất nhiều trường sử dụng làm tài liệu cho graduate course Nếu bạn VN định dạy lớp graphical models, email tác giả để xin phép sử dụng cho lớp B Các mơ hình chun sâu và/hoặc hẹp hơn: T Anderson, An Introduction to Multivariate Statistical Analysis (Wiley Series in Probability and Statistics), 3rd Edition, 2003 Kinh điển hữu ích (parametric) multivariate data, đặc biệt gaussian (tốt cho việc tham khảo kết quả) (+) L Devroye, L Gyorfi and G Lugosi, A Probabilistic Theory of Pattern Recognition Tập trung nhiều vào lý thuyết classification 1 (+) L Gyorfi, M Kohler, A Kryzak and H Walk, A Distribution-Free Theory of Nonparametric Regression, 2002 Anthony and P Bartlett Neural Network Learning: Theoretical Foundations, 1999 V Vapnik, Statistical learning theory, 1998 Tác giả người có đóng góp móng cho phát triển lý thuyết thuật toán machine learning M Kearns and U Varizani, An Introduction to Computational Learning Theory, MIT Press, 1994 Quyển sách serious dân machine learning machine learning theory C Các mơ hình cho spatial data: (+) G Wahba, Spline models for observational data, SIAM, 1990 Giới thiệu cách sử dụng RKHS regression S Banerjee, B Carlin and A Gelfand, Hierarchical Modeling and Analysis for Spatial Data (Các mơ hình hierrchical Bayesian models) M Stein, Interpolation of spatial data Springer-Verlag, 1999 Lý thuyết N Cressie, Statistics for spatial data, Wiley and Sons, 1993 D Các mơ hình sequential decision-making (such as reinforcement learning, online learning, etc…): (*) A Barto & R Sutton, Reinforcement learning: An introduction, MIT Press, 1998 Giới thiệu RL cách nhẹ nhàng D Bersekas & J Tsitsiklis, Neurodynamic programming, Athena Scientific, 1996 Xây dựng lý thuyết RL cách chặt chẽ D Bertsekas, Dynamic programming and Stochastic control, Athena Scientific, 1995 Cesa-Bianchi and Lugosi, Prediction, Learning, and Games, Cambridge Univ Press, 2006 1 (*) A Wald, Sequential analysis, 1947 Quyển sách khởi đầu cho branch (Bellman tổng quát lên thành dynamic programming and control) Shiryaev, Optimal stopping rules, 1978 Điển hình sách kiểu Nga, lý thuyết Đi sâu vào Bayesian formulations v/đ liên quan đến stopping rules, sequential analysis (sequential hypothesis testing, sequential change-point problems) trường hợp đặc biệt D Siegmund, Sequential analysis, 1985 Đi sâu vào frequentist formulations A Sen, Sequential nonparametrics Khá sâu E Các dạng mơ hình/topics khác Ngồi ra, số dạng mơ hình cụ thể có nhiều sách tham khảo, mơ hình time series, mơ hình finance (stochastic calculus), mơ hình linear/generalized linear/mixed linear kiểu, mơ hình state-space Một số topics thú vị, active learning/ experiment design, concentration of measures,….Tuy nhiên scope xa sâu so với danh sách 5.3 Phương pháp thống kê tổng quát Phần lớn dân làm machine learning/statistics vào dạng mơ hình cụ thể, loại thích hợp cho ứng dụng Các mơ hình giải câu hỏi “how” cần học mơ hình (hay khái niệm) Để biết “why” cần đọc số sách general statistical methodogy Thực ra, số sách mang tính lý thuyết machine learning, Vapnik, Devroye-Gyorfi-Lugosi, Anthony-Bartlett xếp vào đây, focus chúng hẹp so với tác phẩm nhà thông kế Trường phái frequentist: (*) P Bickel and K Doksum, Mathematical statistics: basic ideas and selected topics, Prentice Hall, 2nd Edition, 2000 (*) R Keener, Statistical theory: A Medley of Core Topics Hình xuất Viết rât rõ ràng, không sâu giới thiệu nhiều topics (+) E Lehmann & J Romano, Testing statistical hypotheses, Springer, 3rd Edition, 2005 (+) E Lehmann & G Casella, Theory of Point Estimation, Springer, 2nd Edition, 1998 Hai sách Lehmann (và đồng tác giả editions sau) coi bible classical (frequentist) statistics Trường phái Bayesian: (+) J Berger, Statistical decision theory and Bayesian analysis, SpringerVerlag, 2nd Edition, 1985 Được coi bible Bayesian statistics Tác giả có nhìn cân frequentist bayesian methodologies (*) C Roberts, The Bayesian choice, Springer, 2nd Edition, 2007 Có lẽ bible tương lai, đại sách Berger (+) J Bernardo and A Smith, Bayesian theory, Wiley, 1994 Đi sâu vào nhiều vấn đề foundational statistical inference 5.4 Bayesian computation (Markov chain Monte Carlo) J Liu, Monte Carlo Strategies in Scientific Computing, Springer, 2001 A Gelman, J Carlin, H Stern and D Rubin, Bayesian data analysis, Chapman and Hall, 2nd Edition, 2003 5.5 Sách information and communication theory Thực tất sách information theory xếp vào mục “asymptotic theory” Tất nhiên xuất phát điểm hồn tồn khác: từ vấn đề communication data compression (*) T Cover & J Thomas, Elements in information theory, Wiley, 2nd Edition, 2006 Viết rõ ràng R Gallager, Information theory and reliable communication Kinh điển! D McKay, Information theory, inference and learning algorithms, 2003 Free on-line! 5.6 Asymptotic theory Mọi lý thuyết sâu sắc xác suất thống kê phải asymptotics! Tại sao? asymptotics cách (?) nói cách chắn tính chất tượng khơng chắn (uncertain phenomena) (*) van der Vaart, Asymptotic statistics, Cambridge Univ Press (*) D Pollard, Convergence of stochastic processes Free on-line! (*) P Billingsley, Convergence of probability measures, Wiley, 1968 Kinh điển (+) A van der Vaart & J Wellner, Weak convergence and empirical processes, 1998 5 (+) S van de Geer, Empirical processes in M-estimation, Cambridge Univ Press, 2000 L Le Cam, Asymptotic Methods in Statistical Decision Theory, 1986 Le Cam nhà thống kê lý thuyết sâu sắc kỷ vừa rồi, khó nhằn I Johnstone Theory of function estimation Free on-line P Bickel, C Klassen, Y Ritov & J Wellner, Efficient and adaptive estimation for semiparametric models, Springer 1993 Nhiều báo Annals of Statistics hóa giải khía cạnh vấn đề tổng quát sách Tuy nhiên tác giả khiêm tốn nói họ phát triển ý tưởng Le Cam mà  ... liên quan mật thiết đến nhiều nhánh khác toán học khoa học máy tính Dưới tơi liệt kê sanh sách sách đọc thấy hữu dụng nghiên cứu phát triển tư toán học cho KHMT Nghĩa không kể thứ hữu dụng mà tơi... nhiều sách hay ngành, giới thiệu số mà quen thuộc Như số sách hay mà chưa list, xin bạn đọc bổ sung qua comments Những đánh dấu (*) dùng làm sách nhập mơn tốt Ngồi ra, (+) sách tơi ưa thích 5.1 Sách. .. combinatorial optimization … bí mật đọc Một đề tài đẹp khó tìm thấy sách khác Pfaffian Permanent Đặc biệt matching bipartite graphs tất thứ biết học từ ra, dùng kiến thức học báo! Norman Biggs, Algebraic