:
Tháng 8 năm 2015, Big data chính thức không còn là một công nghệ mới nổi. Nó đã và đang đạt đến đỉnh cao về mặt giá trị. Vậy Big data là gì? Big data được ứng dụng như thế nào? Hãy cùng Vpsttt.com tìm hiểu qua bài viết dưới đây!
I.Big Data là gì?
Big data (dữ liệu lớn) là các tập dữ liệu có khối lượng lớn (cấu trúc và phi cấu trúc), đa dạng, thay đổi nhanh và phức tạp mà các ứng dụng xử lý dữ liệu truyền thống không xử lý được trong một khoảng thời gian nhất định.
Để thật sự hiểu rõ về Dữ liệu lớn – Big data, hãy cùng quay ngược về quá khứ để biết về lịch sử của nó. Theo định nghĩa của Gartner (được đưa ra vào khoảng năm 2001) và đến nay vẫn còn được sử dụng rộng rãi: Big data là dữ liệu đa dạng, với dung lượng lớn và tốc độ ngày càng cao.
3 đặc trưng của Big data là gì
Đặc trưng của Big data được thể hiện bởi “Ba chữ V” Variety – Volume – Velocity.
- Variety: Tức là sự đa dạng, Big data là những dữ liệu không giới hạn sự đa dạng. Nó bao gồm tất cả các loại dữ liệu trên đời như: hình ảnh, text, video, âm thanh,… bất kể dữ liệu đó là có cấu trúc, bán cấu trúc, hay không có cấu trúc
- Volume: Tức là Khối lượng – Dung lượng, Big data phải là một tập dữ liệu đủ lớn, nhưng cũng như đề cập ở trên – chưa có một cột mốc nào đánh dấu cho cái sự lớn cả.
- Velocity: Tức là độ gia tăng của dữ liệu, dữ liệu của big data được tăng lên theo thời gian, và sự tăng lên này là cực kỳ lớn. Và cũng như tiêu chí về Volume, không có một tiêu chuẩn nào để đánh giá sự gia tăng thế nào là lớn.
Bạn có thể tìm thấy ở đâu đó một vài cái V khác nữa như Veracity (độ chính xác) và Value (giá trị). Nhưng Vietnix cho rằng độ chính xác và giá trị của dữ liệu thì còn phải phụ thuộc vào yêu cầu của bài toán cần giải nữa, nó không nên là tiêu chí đánh giá dữ liệu có phải là big data hay không. Tuy nhiên tất cả mọi người đều đồng ý tối thiểu big data nên có cả 3V trên.
Lịch sử hình thành của Big Data
Mặc dù khái niệm Big Data còn tương đối mới, nguồn gốc của tập dữ liệu lớn đã bắt nguồn từ thập niên 1960 và 70. Khi đó, thế giới dữ liệu chỉ mới bắt đầu, sự ra đời của trung tâm dữ liệu và cơ sở dữ liệu quan hệ cũng bắt nguồn từ thời điểm đó.
Khoảng năm 2005, mọi người bắt đầu nhận ra lượng dữ liệu khổng lồ mà người dùng tạo ra qua Facebook, YouTube hay các dịch vụ trực tuyến khác. Hadoop (2005) là một framework open-source đã được tạo ra để lưu trữ, phân tích các tập dữ liệu lớn. Ngoài ra, NoSQL cũng bắt đầu trở nên phổ biến từ khoảng thời gian này.
Sự phát triển của các framework open-source như Hadoop, Spark rất cần thiết cho sự phát triển của Big Data. Bởi vì chúng đơn giản hóa việc sử dụng dữ liệu và việc lưu trữ cũng rẻ hơn. Trong những năm kể từ đó, khối lượng Big Data đã tăng vọt.
Khoa học công nghệ phát triển đã đánh dấu sự ra đời của Internet vạn vật (Internet of Things – IoT). Từ đó, ngày càng nhiều đối tượng, thiết bị được kết nối với internet hơn. Chúng thu thập dữ liệu về cách sử dụng của khách hàng và hiệu suất sản phẩm. Cùng với đó, sự xuất hiện của học máy (machine learning) cũng tạo ra nhiều dữ liệu hơn.
II. Big data giúp gì cho doanh nghiệp
Big data mang lại nhiều lợi ích cho doanh nghiệp:
1. Thấu hiểu và nắm bắt đúng khách hàng mục tiêu
Với lượng dữ liệu khổng lồ mà big data thu được qua các hoạt động trên internet như truy cập website, dùng mạnh xã hội,… Những nơi mà người sử dụng internet hay truy cập các công ty có thể phân tích để hiểu biết sâu sắc về quan điểm, sở thích và yêu cầu của người tiêu dùng. Bằng cách này, họ có thể xác định chính xác khách hàng mục tiêu phù hợp với sản phẩm hay dịch vụ của mình.
2. Cải thiện và tối ưu hóa kết quả cá nhân
Các thiết bị thông minh như điện thoại thông minh hay đồng hồ thông minh giúp thu thập thông tin cá nhân một cách dễ dàng. Những dữ liệu này cho phép các doanh nghiệp nhận diện rõ các xu hướng hành vi mới nhất của khách hàng, giúp quản lý điều chỉnh chiến lược và kế hoạch cho tương lai.
3. Bảo vệ an ninh, giảm thiểu nguy cơ
Big data giúp cho doanh nghiệp khám phá, phát hiện và ngăn chặn các nguy cơ, rủi ro liên quan đến các gian lận, vi phạm hệ thống, đánh cắp dữ liệu. Chẳng hạn như các ngân hàng và công ty làm thẻ tín dụng dùng Big data để chống lại gian lận trong các giao dịch.
4. Điều chỉnh giá cả tối ưu
Định giá cho sản phẩm và dịch vụ luôn là một trong những thách thức lớn với doanh nghiệp, vì cần phải hiểu rõ được mong muốn của khách hàng cũng như giá của đối thủ cạnh tranh. Với Big Data làm cho quá trình này trở nên thuận tiện và nhanh chóng hơn, giúp doanh nghiệp xác định mức giá chính xác và hiệu quả.
5. Theo dõi sát sao các giao dịch tài chính
Với sự bùng nổ của thương mại điện tử khắp nơi trên thế giới, kể cả ở Việt Nam, số lượng giao dịch tài chính trực tuyến trên các website và ứng dụng mua sắm ngày càng tăng, phản ánh xu hướng mua sắm của người tiêu dùng. Các công ty sử dụng thuật toán Big Data để đề xuất và tạo ra các quyết định giao dịch cho khách hàng, từ đó nâng cao tỷ lệ thành công trong việc đặt hàng.
III. Những khó khăn khi làm việc cùng với Big Data
Khi làm việc với Big Data bạn sẽ đối mặt với 3 khó khăn:
1. Khối lượng dữ liệu khổng lồ
- Thách thức lớn khi phải xử lý và lưu trữ lượng dữ liệu khổng lồ.
- Cần phải có cơ sở hạ tầng và công nghệ phù hợp để đáp ứng nhu cầu.
- Để đầu tư cho công nghệ sẽ tốn nhiều chi phí.
2. Kỹ năng chuyên môn
- Đội ngũ nhân viên phải đảm bảo yêu cầu về kỹ năng chuyên môn về Big Data, bao gồm (kỹ năng phân tích dữ liệu, kỹ năng lập trình, kiến thức về thống kê và học máy).
- Có thể gặp một số khó khăn khi tuyển dụng và đào tạo nhân viên.
3. Bảo mật dữ liệu
- Điều quan trọng cần phải quan tâm nhất là bảo mật dữ liệu của khách hàng.
- Phải có các biện pháp kỹ thuật và chính sách để bảo vệ dữ liệu của khách hàng khỏi các rủi ro bảo mật (lỗ hổng bảo mật, truy cập trái phép, sử dụng dữ liệu trái phép).
IV.Phân loại dữ liệu Big Data
Thông thường Big Data được chia thành 3 kiểu dữ liệu được dựa trên đặc điểm tổ chức dữ liệu: “Dữ liệu có cấu trúc”, “Dữ liệu phi cấu trúc” và “Dữ liệu bán cấu trúc”
Dữ liệu có cấu trúc
Dữ liệu có cấu trúc là loại dữ liệu mà chúng ta có thể quản lý và tìm kiếm một cách cực dễ dàng. Đây là loại dữ liệu được sắp xếp trong một định dạng cố định, nên việc tìm kiếm và truy xuất, lưu trữ và xử lý dữ liệu trở nên thuận tiện hơn. Vì được được phân loại dễ dàng, nên người làm việc có thể áp dụng các phương pháp đơn giản để phân tích và tìm kiếm thông tin.
Dữ liệu phi cấu trúc
Dữ liệu phi cấu trúc là loại dữ liệu ngược lại với dữ liệu có cấu trúc, một loại dữ liệu không theo một trật tự hay cấu trúc xác định nào. Đây là loại dữ liệu luôn thường xuyên thay đổi và khó để được tổ chức một cách có hệ thống. Loại dữ liệu này thường sẽ là các thứ như bình luận, tweet, lượt share trên mạng xã hội hoặc video trên nền tảng youtube. Dữ liệu này là một thách thức lớn trong việc xử lý và hiểu được loại dữ liệu này.
Dữ liệu bán cấu trúc
Dữ liệu bán cấu trúc là dữ liệu được pha trộn từ hai dữ liệu có cấu trúc và phi cấu trúc. Ví dụ điển hình ở đây là Email, bởi vì dữ liệu này kết hợp nội dung không có cấu trúc với các thuộc tính được tổ chức như người gửi, người nhận, chủ đề và ngày gửi. Ngoài ra các thông tin như vị trí địa lý và thời gian cũng được tích hợp, tạo ra một loại dữ liệu đặc biệt vừa có phần cấu trúc và không có cấu trúc.
V.Big Data có mặt ở đâu?
Big data hiện nay đã xuất hiện ở rất nhiều nơi, bạn có thể bắt gặp bất kỳ đâu. Dưới đây là một số ví dụ
- Mạng xã hội: Cụ thể như Facebook, tất cả những gì người dùng đăng lên như các dòng trạng thái, hình ảnh, video, lượt like, lượt share, lượt comment,… đều được ghi lại. Đương nhiên nó đủ điều kiện để trở thành big data.
- Hộp đen: Chính là cái “hộp đen” đặt trong máy bay ghi lại tất cả số liệu về chuyến bay, ghi âm tất cả cuộc hội thoại của phi hành đoàn.
- Công cụ tìm kiếm: Cụ thể là Google, các kết quả hiện ra sau khi bận nhấn nút “tìm kiếm” đều được trích xuất từ các cơ sở dữ liệu khổng lồ của Google, kết quả trả về cũng nhiều thể loại như danh sách các trang web, video, hình ảnh.
- Camera quan sát: Các camera quan sát ở thành phố, ghi lại hoạt động của đường phố suốt ngày đêm.
VI.Giá trị của Big Data là gì?
Trong những năm gần đây, đặc trưng của Big Data đã xuất hiện thêm hai chữ V: Value (giá trị) và Veracity (tính xác thực của dữ liệu).
Bản thân dữ liệu có giá trị tiềm ẩn trong nó. Nhưng nó sẽ không hữu dụng cho đến khi được phát hiện. Một số điều nữa quan trọng không kém: Dữ liệu của bạn đáng tin đến đâu? Và bạn có thể dựa vào nó ở mức độ nào?
Hiện nay, giá trị của nhiều công ty hàng đầu không chỉ đến từ sản phẩm của họ mà còn từ việc sử dụng và phân tích dữ liệu. Sự tiến bộ công nghệ đã làm giảm chi phí lưu trữ và xử lý dữ liệu, giúp việc quản lý lượng dữ liệu lớn trở nên dễ dàng và tiết kiệm chi phí hơn. Với khả năng tiếp cận dữ liệu rộng rãi và chi phí thấp, các doanh nghiệp giờ đây có thể đưa ra quyết định chính xác hơn, nhanh chóng hơn.
Tìm kiếm giá trị trong Big Data không chỉ gồm việc phân tích nó. Thực tế, nó là cả một quá trình khám phá không ngừng. Nó yêu cầu các phân tích sâu sắc, các người dùng doanh nghiệp, giám đốc điều hành, những người nhận ra được các mẫu, đưa ra những quyết định sáng suốt, dự đoán được các hành vi.
VII.Ý nghĩa của Big Data và Big Data Analytics là gì?
Big Data Analytics là quá trình thu thập, xử lý và phân tích dữ liệu khổng lồ của Big Data, từ đó xuất các thông tin hữu ích có giá trị cho doanh nghiệp hay tổ chức.
Big Data có ý nghĩa thiết yếu trong cuộc sống và công việc:
1. Trong kinh doanh:
- Hỗ trợ doanh nghiệp có cái nhìn sâu sắc về khách hàng, thị trường và đối thủ cạnh tranh, từ đó đưa ra các chiến lược kinh doanh thông minh hơn.
- Cải thiện hiệu suất cùng với hiệu quả của các hoạt động trong ngày, đồng thời phát triển các kế hoạch dài hạn chắc chắn.
- Xây dựng lợi thế cạnh tranh, mở rộng thị phần và đột phá doanh thu.
2. Trong khoa học:
- Khám phá nhiều cái mới trong nhiều lĩnh vực y học đến khám phá vũ trụ, tiến bộ trong việc nghiên cứu và phát triển.
- Hỗ trợ việc tìm ra giải pháp cho những thách thức trong khoa học, đẩy nhanh tốc độ đổi mới và sáng tạo
3. Trong chính phủ:
- Cải thiện chất lượng, hiệu suất và hiệu quả của các dịch vụ công, từ đó đưa ra các chính sách hợp lý và kịp thời
- Tăng khả năng giám sát, phòng ngừa và xử lý với các vấn đề an ninh tới tội phạm khủng bố.
4. Trong xã hội:
- Góp phần nâng cao chất lượng của cuộc sống, qua việc cải thiện các dịch vụ công cộng như giao thông, giáo dục và ý tế.
- Thúc đẩy sự phát triển của các cộng đồng thông minh, bền vững và tích cực hơn.
VIII.Những trường hợp sử dụng Big Data
Big Data giúp giải quyết hàng loạt các hoạt động kinh doanh, từ trải nghiệm khách hàng đến phân tích kinh doanh. Sau đây là một vài trường hợp để mọi người tìm đến Big Data:
Phát triển sản phẩm
Các công ty, doanh nghiệp sử dụng Big Data để dự đoán nhu cầu của khách hàng. Họ xây dựng các mô hình dự đoán cho các sản phẩm và dịch vụ mới bằng cách phân loại các thuộc tính chính của sản phẩm hoặc dịch vụ trong quá khứ lẫn hiện tại. Đồng thời mô hình hóa mối quan hệ giữa các thuộc tính đó. Từ đó góp phần vào thành công thương mại của dịch vụ. Hoặc có thể sử dụng dữ liệu và phân tích từ các nhóm tập trung, phương tiện truyền thông xã hội, thị trường thử nghiệm. Từ đó lên kế hoạch, sản xuất và ra mắt các sản phẩm mới với thị trường.
Dự đoán bảo trì
Các yếu tố có thể dự đoán được những lỗi cơ học có thể bị vùi sâu trong vô số dữ liệu khác nhau. Các tổ chức có thể phân tích những dấu hiệu về các vấn đề tiềm ẩn. Từ đó thực hiện việc bảo trì hiệu quả. Đồng thời đạt hiệu quả cao hơn về chi phí, tối đa hóa thời gian hoạt động của các thiết bị.
Trải nghiệm khách hàng
Như người ta vẫn nói, thương trường là chiến trường. Giờ đây, một cái nhìn rõ hơn về trải nghiệm khách hàng trở nên khả thi hơn bao giờ hết. Big Data cho phép bạn thu thập dữ liệu từ mạng xã hội, lượt truy cập, nhật ký cuộc gọi,… Từ đó cải thiện trải nghiệm tương tác và tối đa hóa giá trị được cung cấp cho người dùng.
Bảo mật
Việc đánh cắp thông tin được thực hiện không chỉ bởi những cá nhân, mà còn cả những đội ngũ chuyên nghiệp. Big Data giúp bạn xác định các mẫu trong dữ liệu, chỉ ra gian lận, tổng hợp thông tin. Từ đó thực hiện các báo cáo nhanh chóng hơn.
Máy học (Machine learning)
Máy học là một trong những lĩnh vực “nóng” trong những năm gần đây. Và dữ liệu cụ thể là Big Data – là một trong những lý do cho việc này. Ngày nay, chúng ta có thể dạy máy móc thay vì lập trình cho chúng nhờ vào Big Data.
Hiệu quả hoạt động
Đây là lĩnh vực mà Big Data có tầm ảnh hưởng lớn nhất. Với Big Data, bạn có thể phân tích, đánh giá hoạt động sản xuất, phản hồi khách hàng. Cùng với các yếu tố khác, giúp giảm thiểu sự trì trệ, đồng thời dự đoán nhu cầu trong tương lai. Big Data cũng có thể cải thiện các quyết định được đưa ra, sao cho phù hợp với nhu cầu của thị trường hiện tại.
Thúc đẩy sự đổi mới
Big Data có thể giúp bạn đổi mới bằng cách nghiên cứu sự phụ thuộc lẫn nhau giữa người với người, giữa các tổ chức, thực thể, quy trình. Sau đó xác định các cách mới để sử dụng những thông tin ấy. Các thông tin chi tiết về dữ liệu dùng để cải thiện quyết định về tài chính, kế hoạch. Xem xét xu hướng và nhu cầu khách hàng về các sản phẩm, dịch vụ mới,… Rõ ràng, có vô vàn lý do khiến Big Data là một nhân tố không thể thiếu ngày nay.
IX.Ứng dụng Big data là gì?
Big data và Analytic đang được ứng dụng gần như trong mọi lĩnh vực kinh doanh và được kết hợp sử dụng với nhiều lĩnh vực kinh tế khác. Điều này đã góp phần tăng hiệu quả và năng suất của doanh nghiệp lên rất nhiều.
1. Thương mại điện tử (E-commerce)
Hiện nay, ngành thương mại điện tử đang hot và phát triển cực mạnh. Khi tham gia vào thị trường này cạnh tranh cao và cần rất nhiều vào việc áp dụng và cải tiến công nghệ. Big data có thể tạo ra lợi thế cạnh tranh bằng cách cung cấp các thông tin chuyên sâu và các bảng báo cáo chi tiết về việc phân tích thị trường, đối thủ cạnh tranh.
Một số ứng dụng của big data trong ngành thương mại điện tử có thể kể đến ở đây là:
- Có thể thu thập thông tin và các yêu cầu của khách hàng trước khi thực hiện giao dịch.
- Đánh giá hành vi của khách hàng và đề xuất các sản phẩm và dịch vụ liên quan, giúp tăng khả năng bán hàng và tạo doanh thu tốt hơn.
- Nhà quản lý bán hàng có thể xem được các sản phẩm được khách hàng xem nhiều, từ đó có thể tối ưu trải nghiệm và đưa ra các chương trình phù hợp.
- Có thể xác định được các yêu cầu từ khách hàng đang mong muốn và tập trung vào những sản phẩm, dịch vụ phục vụ các nhu cầu đó.
- Phân tích hành vi theo xu hướng để tạo ra các sản phẩm hướng đến các khách hàng đó….
2. Digital Marketing
Digital Marketing hiện nay được xem là chìa khóa thành công cho bất kỳ doanh nghiệp nào trong thời đại công nghệ 4.0. Cùng với đó là sự tiếp sức của Big data cho Digital Marketing phát triển mạnh mẽ và nó trở thành mộ phần không thể thiếu trong các doanh nghiệp.
Ứng dụng Big data trong Digital Marketing:
- Giúp phân tích thị trường, đối thủ cạnh tranh và đánh giá mục tiêu kinh doanh,… Điều này, giúp cho doanh nghiệp của bạn có thể xác định rõ ràng hơn về cơ hội của doanh nghiệp và đưa ra các kế hoạch phù hợp để phát triển.
- Đo lường được người dùng trên các phương tiện truyền thông mạng xã hội và phân tích, nhắm mục tiêu khách hàng thông qua nhân khẩu học, giới tính, độ tuổi,…
- Tạo báo cáo chi tiết với các số liệu trực quan sau mỗi chiến dịch quảng cáo.
- Thực hiện các chiến lượng nội dung để xếp hạng các trang web doanh nghiệp ở vị trí cao trên kết quả tìm kiếm của Google hay được gọi là SEO (Tối ưu công cụ tìm kiếm).
3. Ngành bán lẻ
Big data có thể mang lại những cơ hội lớn cho lĩnh vực bán lẻ, nó giúp xác định hành trình trải nghiệm, xu hướng mua sắm và sự hài lòng của khách hàng bằng cách thu thập dữ liệu đa dạng. Những ứng dụng trong lĩnh vực bán lẻ:
- Giúp xây dựng mô hình chi – tiêu của từng khách hàng.
- Hỗ trợ xác định vị trí bố trí sản phẩm trên kệ hàng tùy thuộc vào thói quen mua hàng của khách hàng.
- Kết hợp phân tích dữ liệu cùng lúc các dữ liệu về thời điểm, dữ liệu giao dịch, dữ liệu truyền thông,…
4. Ngành y tế
- Big Data có thể đánh giá các triệu chứng và xác định nhiều bệnh ở giai đoạn đầu.
- Cho phép người quản lý ca dự đoán các bác sĩ cần thiết vào những thời điểm cụ thể
- Có thể lưu giữ các hồ sơ nhạy cảm được bảo mật và lưu trữ lượng dữ liệu khổng lồ một cách hiệu quả.
- Theo dõi tình trạng bệnh nhân bằng để theo dõi hồ sơ sức khỏe điện tử.
- Sử dụng các thiết bị kỹ thuật số có thể đeo, hệ thống Big Data có thể theo dõi bệnh nhân và gửi báo cáo cho các bác sĩ liên quan.
- Các ứng dụng Big Data cũng có thể báo trước khu vực có nguy cơ bùng phát dịch như: sốt xuất huyết hoặc sốt rét.
5. Ngành ngân hàng
- Sử dụng các kỹ thuật phân cụm giúp đưa ra quyết định quan trọng. Hệ thống phân tích có thể xác định các địa điểm chi nhánh nơi tập trung nhiều nhu cầu của khách hàng tiềm năng, để đề xuất lập chi nhánh mới.
- Khoa học dữ liệu hỗ trợ xử lý, lưu trữ và phân tích lượng dữ liệu khổng lồ từ các hoạt động hàng ngày và giúp đảm bảo an ninh cho ngân hàng.
- Khoa học dữ liệu hiện đang là nền tảng của hệ thống ngân hàng kĩ thuật số.
- Kết hợp nhiều quy tắc được áp dụng trong các lĩnh vực ngân hàng để dự đoán lượng tiền mặt cần thiết sẵn sàng cung ứng ở một chi nhánh tại thời điểm cụ thể hàng năm.
- Machine learning và AI đang được nhiều ngân hàng sử dụng để phát hiện các hoạt động gian lận và báo cáo cho các chuyên viên liên quan.
6. Ngăn chặn nội dung đen
Hiện tại trên các trình duyệt web như (Chrome, Safari, Microsoft edge, Firefox,…) Đều cung cấp các Extension có nhiều addon phục vụ cho việc Content filtering. Các addon sẽ sử dụng Big data để dự đoán nội dung bạn sắp truy cập có phù hợp hay không.
Một ví dụ khác không hẳn là ngăn chặn nội dung đen nhưng giúp bạn giảm bớt sự phiền toái đó là chức năng Adblock. Chức năng sẽ giúp bạn chặn hết những banner, pop up và video quảng cáo cho một lần và suốt quá trình duyệt web của bạn sau này. Data càng nhiều thì dữ liệu đưa về server blacklist càng nhiều, điều này khiến việc block các quảng cáo ngày càng chính xác.
X.Vấn đề của big data
Các vấn đề của big data có thể chia ra làm 2 nhóm như sau:
- Lưu trữ big data: Với một lượng dữ liệu khổng lồ thì bạn cần phải tìm cách làm sao để có thể lưu trữ được hết.
- Xử lý big data: Các thao tác cần xử lý như tìm kiếm một thông tin nào đó, phân tích một chỉ số nào đó, dự đoán một chỉ số nào đó,…
