Han2k86043
New member
Chuyện là việc hồi phục sau sự cố "màn hình xanh" do Crowdstrike gây ra giờ đang làm team IT toàn thế giới khóc thét Tốn cả nhân lực lẫn thời gian vì sự bất cẩn của công ty này đó các bạn ơi.
Crowdstrike lỡ tay quá trớn
Theo Reuters dẫn lời các chuyên gia bảo mật, rất có thể Crowdstrike đã... quên test kỹ bản cập nhật phần mềm trước khi tung ra vào ngày 19/7. Ối dồi ôi!
Phiên bản mới nhất của phần mềm Falcon vốn được thiết kế để bảo vệ hệ thống khách hàng khỏi bọn tin tặc bằng cách cập nhật các mối đe dọa mới nhất. Nhưng plot twist là các lỗi trong bản cập nhật lại chính là thủ phạm gây ra sự cố "màn hình xanh" toàn cầu luôn 
Steve Cobb - Giám đốc an ninh tại Security Scorecard (công ty cũng dính chưởng lần này) chia sẻ: "Có vẻ như khi kiểm tra hoặc thử nghiệm bản cập nhật, họ đã bỏ qua các tệp có thể dẫn đến sự cố hoặc họ không biết về sự tồn tại của nó". Ờ thì...
Patrick Wardle - một researcher bảo mật chuyên về các mối đe dọa hệ điều hành - cho biết anh đã tìm ra đoạn mã "tội đồ" gây ra màn hình xanh chết chóc.
Ông Wardle giải thích vấn đề nằm "trong một tệp chứa thông tin cấu hình hoặc chữ ký". Những chữ ký này là mã phát hiện các loại mã độc hoặc malware cụ thể.
"Việc các sản phẩm bảo mật được cập nhật chữ ký là chuyện bình thường lắm, chẳng hạn mỗi ngày một lần, vì công ty liên tục theo dõi phần mềm độc hại mới và muốn đảm bảo khách hàng được bảo vệ khỏi các mối đe dọa mới nhất", Patrick Wardle nói.
"Tần suất cập nhật cao có lẽ là lý do tại sao Crowdstrike đã không kiểm tra kỹ", anh bình luận.
Vẫn chưa rõ mã lỗi đó lọt vào bản cập nhật như thế nào và tại sao không ai phát hiện trước khi release cho khách hàng cả
"Lý tưởng nhất là bản cập nhật này nên được triển khai cho một nhóm nhỏ trước. Đó là cách tiếp cận an toàn hơn để tránh một mớ hỗn loạn lớn như thế này", John Hammond - nhà nghiên cứu bảo mật chính tại Huntress Labs nhận xét.
Các công ty bảo mật khác cũng từng gặp drama tương tự. Năm 2010, bản cập nhật lỗi của McAfee đã làm hàng trăm nghìn máy tính đứng hình. Nhưng mà tác động toàn cầu lần này phản ánh sự "bá đạo" của Crowdstrike trên thị trường an ninh mạng quá. Hơn nửa số công ty trong Fortune 500 và nhiều cơ quan chính phủ Mỹ (kể cả Cơ quan An ninh mạng) đều xài phần mềm của họ đó
Recovery mode: Prepare to suffer
Crowdstrike - công ty gây ra sự cố ngừng hoạt động máy tính lịch sử trên toàn thế giới - cho biết bản cập nhật lỗi đã được khôi phục rồi. Nhưng hàng nghìn doanh nghiệp bị ảnh hưởng vẫn sẽ phải "gánh" di chứng rất lâu.
Theo Microsoft, sự cố hôm 19/7 ảnh hưởng tới 8,5 triệu PC doanh nghiệp toàn cầu Việc khôi phục giờ càng khó khăn vì nhiều máy chủ chứa thông tin cần thiết lại bị mắc kẹt trong vòng lặp sự cố - khởi động lại vô tận.
Chưa kể một số máy bị ảnh hưởng nằm ở vị trí xa xôi, được thiết kế chạy mà không cần con người can thiệp. RIP
Chuyên gia bảo mật Troy Hunt post trên X: "Tôi không nghĩ còn quá sớm để gọi đây là vụ sập IT lớn nhất trong lịch sử".
Phần mềm Crowdstrike hoạt động ở cấp độ kernel (nhân) của hệ điều hành - sâu hơn nhiều so với app thông thường như browser hay game. Kernel kiểm soát mọi hoạt động của máy tính nhưng cũng siêu nhạy cảm.
Chạy ở cấp kernel giúp Crowdstrike phát hiện tấn công mạng tốt hơn, nhưng cũng khiến lỗi hiện tại làm tê liệt máy tính Windows (màn hình xanh "chết chóc") trước khi user kịp làm gì để fix
Crowdstrike cho biết việc khắc phục không phải bất khả thi, nhưng cực kỳ tốn công: Mỗi thiết bị bị ảnh hưởng phải được admin truy cập và reboot thủ công vào Safe Mode. Sau đó xóa tệp Crowdstrike lỗi bằng tay.
Đối với doanh nghiệp có hàng trăm hoặc hàng nghìn laptop, PC và máy chủ chạy Crowdstrike, một người có thể phải lặp lại quá trình này vô số lần. Tất cả bằng tay. TAY.
Kevin Beaumont - nhà nghiên cứu bảo mật và cựu analyst của Microsoft - post trên X: "Bạn không thể tự động hóa việc đó. Vì vậy điều này sẽ gây tổn hại vô cùng lớn cho khách hàng của Crowdstrike".
Hôm 19/7, trang trạng thái Microsoft Azure báo cáo một số user Windows Virtual Machine đã fix thành công bằng cách... reboot liên tục, có trường hợp lên tới 15 lần liên tiếp
Microsoft cho biết thêm, các tổ chức bị ảnh hưởng có thể cố khôi phục máy về trạng thái trước đó bằng cách restore backup, mặc dù thừa nhận không phải lúc nào cũng làm được vậy.
Eric O'Neill - chuyên gia an ninh mạng và cựu đặc vụ phản gián FBI - cho biết: "Các công ty chưa đầu tư vào giải pháp backup nhanh chóng sẽ bị mắc kẹt trong tình thế tiến thoái lưỡng nan".
Chưa kể một số tổ chức coi trọng bảo mật còn mã hóa ổ cứng máy tính, khiến việc truy cập tệp cần xóa càng khó hơn
Với những tổ chức đó, "bạn cần giải mã ổ đĩa theo cách thủ công bằng Khóa khôi phục BitLocker, có lẽ - đối với hầu hết các công ty - được lưu trữ kỹ thuật số trên một trong các máy chủ hiện đang... khởi động đi khởi động lại", Ira Bailey - nhà nghiên cứu bảo mật cho biết trên BlueSky.
Chuyên gia an ninh mạng SwiftOnSecurity cho biết mọi máy bị ảnh hưởng được mã hóa BitLocker sẽ cần phải được mở khóa bằng khóa khôi phục trước khi các tổ chức có thể bắt đầu quá trình xóa tệp Crowdstrike lỗi.
Kenn White - nhà nghiên cứu bảo mật độc lập chuyên về an ninh mạng - nói với CNN rằng việc phục hồi sẽ vô cùng tốn kém đối với các công ty Fortune 500 có đội ngũ IT đông đảo, và còn khó khăn hơn với các công ty nhỏ.
White nói: "Nếu bạn không có nhân viên tại chỗ có thể thực sự tiếp cận máy tính bằng tay, thì việc này sẽ mất rất nhiều ngày để phần lớn các công ty ở Mỹ phục hồi. Mất rất nhiều công sức cho một việc thủ công như vậy"
"Đó là quy trình khá phức tạp với người không rành kỹ thuật, và thậm chí nhiều chuyên gia IT lành nghề cũng sẽ gặp khó khăn khi thực hiện ở quy mô lớn với số lượng máy bị ảnh hưởng", nhà nghiên cứu đánh giá.
O'Neill - cựu đặc vụ FBI - cho biết có thể phải mất hàng triệu giờ làm việc của các chuyên gia IT tại mỗi công ty để sửa chữa tất cả máy tính bị ảnh hưởng
Ông nói, khi nhiều nhân viên IT đang WFH, họ không thể tới từng bàn làm việc để fix từng máy. Thay vào đó, họ phải liên lạc với từng nhân viên và hướng dẫn quy trình từ xa. Kết quả là quá trình này càng mất thời gian và nhân lực hơn nữa.
Một số máy bị ảnh hưởng hiếm khi được bảo trì hoặc nằm ở vùng sâu vùng xa. Một số khác thậm chí không có màn hình hoặc bàn phím vì không thường xuyên cần con người tương tác trực tiếp.
Một chuyên gia cho biết, ví dụ cực đoan nhất là các cảm biến hoặc thiết bị giám sát thời tiết trong hộp tín hiệu đường sắt. Các kỹ thuật viên có thể phải đến trực tiếp hàng trăm nghìn máy để thực hiện quá trình recovery bằng tay
Người này nói thêm, việc khôi phục sẽ tiêu tốn của thế giới "hàng nghìn giờ và hàng triệu, có thể là hàng tỷ đô la"
Tóm lại: anh em IT toàn cầu đang trong thời kỳ "gian khổ" chưa từng có. Hãy gửi lời cảm ơn và động viên đến họ nhé!
Nguồn: soha.vn
Crowdstrike lỡ tay quá trớn
Theo Reuters dẫn lời các chuyên gia bảo mật, rất có thể Crowdstrike đã... quên test kỹ bản cập nhật phần mềm trước khi tung ra vào ngày 19/7. Ối dồi ôi!
Phiên bản mới nhất của phần mềm Falcon vốn được thiết kế để bảo vệ hệ thống khách hàng khỏi bọn tin tặc bằng cách cập nhật các mối đe dọa mới nhất. Nhưng plot twist là các lỗi trong bản cập nhật lại chính là thủ phạm gây ra sự cố "màn hình xanh" toàn cầu luôn
Steve Cobb - Giám đốc an ninh tại Security Scorecard (công ty cũng dính chưởng lần này) chia sẻ: "Có vẻ như khi kiểm tra hoặc thử nghiệm bản cập nhật, họ đã bỏ qua các tệp có thể dẫn đến sự cố hoặc họ không biết về sự tồn tại của nó". Ờ thì...
Patrick Wardle - một researcher bảo mật chuyên về các mối đe dọa hệ điều hành - cho biết anh đã tìm ra đoạn mã "tội đồ" gây ra màn hình xanh chết chóc.
Ông Wardle giải thích vấn đề nằm "trong một tệp chứa thông tin cấu hình hoặc chữ ký". Những chữ ký này là mã phát hiện các loại mã độc hoặc malware cụ thể.
"Việc các sản phẩm bảo mật được cập nhật chữ ký là chuyện bình thường lắm, chẳng hạn mỗi ngày một lần, vì công ty liên tục theo dõi phần mềm độc hại mới và muốn đảm bảo khách hàng được bảo vệ khỏi các mối đe dọa mới nhất", Patrick Wardle nói.
"Tần suất cập nhật cao có lẽ là lý do tại sao Crowdstrike đã không kiểm tra kỹ", anh bình luận.
Vẫn chưa rõ mã lỗi đó lọt vào bản cập nhật như thế nào và tại sao không ai phát hiện trước khi release cho khách hàng cả
"Lý tưởng nhất là bản cập nhật này nên được triển khai cho một nhóm nhỏ trước. Đó là cách tiếp cận an toàn hơn để tránh một mớ hỗn loạn lớn như thế này", John Hammond - nhà nghiên cứu bảo mật chính tại Huntress Labs nhận xét.
Các công ty bảo mật khác cũng từng gặp drama tương tự. Năm 2010, bản cập nhật lỗi của McAfee đã làm hàng trăm nghìn máy tính đứng hình. Nhưng mà tác động toàn cầu lần này phản ánh sự "bá đạo" của Crowdstrike trên thị trường an ninh mạng quá. Hơn nửa số công ty trong Fortune 500 và nhiều cơ quan chính phủ Mỹ (kể cả Cơ quan An ninh mạng) đều xài phần mềm của họ đó
Recovery mode: Prepare to suffer
Crowdstrike - công ty gây ra sự cố ngừng hoạt động máy tính lịch sử trên toàn thế giới - cho biết bản cập nhật lỗi đã được khôi phục rồi. Nhưng hàng nghìn doanh nghiệp bị ảnh hưởng vẫn sẽ phải "gánh" di chứng rất lâu.
Theo Microsoft, sự cố hôm 19/7 ảnh hưởng tới 8,5 triệu PC doanh nghiệp toàn cầu Việc khôi phục giờ càng khó khăn vì nhiều máy chủ chứa thông tin cần thiết lại bị mắc kẹt trong vòng lặp sự cố - khởi động lại vô tận.
Chưa kể một số máy bị ảnh hưởng nằm ở vị trí xa xôi, được thiết kế chạy mà không cần con người can thiệp. RIP
Chuyên gia bảo mật Troy Hunt post trên X: "Tôi không nghĩ còn quá sớm để gọi đây là vụ sập IT lớn nhất trong lịch sử".
Phần mềm Crowdstrike hoạt động ở cấp độ kernel (nhân) của hệ điều hành - sâu hơn nhiều so với app thông thường như browser hay game. Kernel kiểm soát mọi hoạt động của máy tính nhưng cũng siêu nhạy cảm.
Chạy ở cấp kernel giúp Crowdstrike phát hiện tấn công mạng tốt hơn, nhưng cũng khiến lỗi hiện tại làm tê liệt máy tính Windows (màn hình xanh "chết chóc") trước khi user kịp làm gì để fix
Crowdstrike cho biết việc khắc phục không phải bất khả thi, nhưng cực kỳ tốn công: Mỗi thiết bị bị ảnh hưởng phải được admin truy cập và reboot thủ công vào Safe Mode. Sau đó xóa tệp Crowdstrike lỗi bằng tay.
Đối với doanh nghiệp có hàng trăm hoặc hàng nghìn laptop, PC và máy chủ chạy Crowdstrike, một người có thể phải lặp lại quá trình này vô số lần. Tất cả bằng tay. TAY.
Kevin Beaumont - nhà nghiên cứu bảo mật và cựu analyst của Microsoft - post trên X: "Bạn không thể tự động hóa việc đó. Vì vậy điều này sẽ gây tổn hại vô cùng lớn cho khách hàng của Crowdstrike".
Hôm 19/7, trang trạng thái Microsoft Azure báo cáo một số user Windows Virtual Machine đã fix thành công bằng cách... reboot liên tục, có trường hợp lên tới 15 lần liên tiếp
Microsoft cho biết thêm, các tổ chức bị ảnh hưởng có thể cố khôi phục máy về trạng thái trước đó bằng cách restore backup, mặc dù thừa nhận không phải lúc nào cũng làm được vậy.
Eric O'Neill - chuyên gia an ninh mạng và cựu đặc vụ phản gián FBI - cho biết: "Các công ty chưa đầu tư vào giải pháp backup nhanh chóng sẽ bị mắc kẹt trong tình thế tiến thoái lưỡng nan".
Chưa kể một số tổ chức coi trọng bảo mật còn mã hóa ổ cứng máy tính, khiến việc truy cập tệp cần xóa càng khó hơn
Với những tổ chức đó, "bạn cần giải mã ổ đĩa theo cách thủ công bằng Khóa khôi phục BitLocker, có lẽ - đối với hầu hết các công ty - được lưu trữ kỹ thuật số trên một trong các máy chủ hiện đang... khởi động đi khởi động lại", Ira Bailey - nhà nghiên cứu bảo mật cho biết trên BlueSky.
Chuyên gia an ninh mạng SwiftOnSecurity cho biết mọi máy bị ảnh hưởng được mã hóa BitLocker sẽ cần phải được mở khóa bằng khóa khôi phục trước khi các tổ chức có thể bắt đầu quá trình xóa tệp Crowdstrike lỗi.
Kenn White - nhà nghiên cứu bảo mật độc lập chuyên về an ninh mạng - nói với CNN rằng việc phục hồi sẽ vô cùng tốn kém đối với các công ty Fortune 500 có đội ngũ IT đông đảo, và còn khó khăn hơn với các công ty nhỏ.
White nói: "Nếu bạn không có nhân viên tại chỗ có thể thực sự tiếp cận máy tính bằng tay, thì việc này sẽ mất rất nhiều ngày để phần lớn các công ty ở Mỹ phục hồi. Mất rất nhiều công sức cho một việc thủ công như vậy"
"Đó là quy trình khá phức tạp với người không rành kỹ thuật, và thậm chí nhiều chuyên gia IT lành nghề cũng sẽ gặp khó khăn khi thực hiện ở quy mô lớn với số lượng máy bị ảnh hưởng", nhà nghiên cứu đánh giá.
O'Neill - cựu đặc vụ FBI - cho biết có thể phải mất hàng triệu giờ làm việc của các chuyên gia IT tại mỗi công ty để sửa chữa tất cả máy tính bị ảnh hưởng
Ông nói, khi nhiều nhân viên IT đang WFH, họ không thể tới từng bàn làm việc để fix từng máy. Thay vào đó, họ phải liên lạc với từng nhân viên và hướng dẫn quy trình từ xa. Kết quả là quá trình này càng mất thời gian và nhân lực hơn nữa.
Một số máy bị ảnh hưởng hiếm khi được bảo trì hoặc nằm ở vùng sâu vùng xa. Một số khác thậm chí không có màn hình hoặc bàn phím vì không thường xuyên cần con người tương tác trực tiếp.
Một chuyên gia cho biết, ví dụ cực đoan nhất là các cảm biến hoặc thiết bị giám sát thời tiết trong hộp tín hiệu đường sắt. Các kỹ thuật viên có thể phải đến trực tiếp hàng trăm nghìn máy để thực hiện quá trình recovery bằng tay
Người này nói thêm, việc khôi phục sẽ tiêu tốn của thế giới "hàng nghìn giờ và hàng triệu, có thể là hàng tỷ đô la"
Tóm lại: anh em IT toàn cầu đang trong thời kỳ "gian khổ" chưa từng có. Hãy gửi lời cảm ơn và động viên đến họ nhé!
Nguồn: soha.vn