MS Excel 은 1,048,576개의 행을 표시할 수 있습니다. 일반적인 사용에서는 정말 많은 숫자처럼 보일 수 있지만 충분하지 않은 시나리오가 많이 있습니다.
로그 파일을 보든 큰 데이터 세트를 보든 수백만 개의 행 이 있는 CSV 파일이나 방대한 텍스트 파일을 쉽게 접할 수 있습니다. (CSV)Excel 은 이렇게 큰 파일을 지원할 수 없으므로 정확히 어떻게 열 수 있습니까? 알아 보자.
일반 텍스트 편집기(Normal Text Editors) 가 정말 큰 파일을 열(Open Really Large Files) 수 없는 이유는 무엇 입니까?
컴퓨터에는 기가바이트의 저장 공간이 있는데 왜 텍스트 편집기는 큰 파일을 열 수 없습니까?
여기에는 두 가지 요인이 작용합니다. 일부 응용 프로그램에는 표시할 수 있는 데이터의 양에 대한 하드코딩된 제한이 있습니다. PC에 얼마나 많은 메모리가 있는지는 중요하지 않습니다. 단지 사용하지 않을 뿐입니다.
두 번째 문제는 RAM 입니다. 많은 텍스트 편집기에는 행 수에 대한 엄격한 제한이 없지만 메모리 제한으로 인해 큰 파일을 표시할 수 없습니다. 그들은 전체 파일을 시스템 RAM 에 로드하므로 이 메모리가 충분히 크지 않으면 프로세스가 실패합니다.
방법 #1: 무료 편집기 사용
매우 큰 텍스트 파일을 보는 가장 좋은 방법은 텍스트 편집기를 사용하는 것입니다. 단순한 텍스트 편집기가 아니라 코드 작성을 위한 도구입니다. 이러한 앱은 일반적으로 문제 없이 대용량 파일을 처리할 수 있으며 무료입니다.
대용량 텍스트 파일 뷰어(Large Text File Viewer) 는 아마도 이러한 응용 프로그램 중 가장 단순할 것입니다. 사용하기 정말 쉽고 빠르게 작동하며 리소스 사용량이 매우 적습니다. 유일한 단점은? 파일을 편집할 수 없습니다. 그러나 큰 CSV 파일만 보려면 이 작업에 가장 적합한 도구입니다.
큰 텍스트 파일도 편집하려면 Emacs 를 사용해 보십시오 . 원래 Unix 시스템용으로 제작되었으며 (Unix)Windows 에서도 완벽하게 작동 하며 대용량 파일을 처리할 수 있습니다. 마찬가지로 Neovim 과 Sublime Text 는 기가바이트 크기의 CSV 텍스트 파일 을 여는 데 사용할 수 있는 두 가지 경량 IDE 입니다.(IDEs)
당신이 찾고 있는 것이 대용량 로그 파일을 통해 데이터를 검색하는 것이라면 klogg(klogg) 는 당신을 위한 도구일 뿐입니다. 인기 있는 glogg(glogg) 의 업데이트 포크인 이 애플리케이션을 사용하면 방대한 텍스트 파일을 통해 복잡한 검색 작업을 쉽게 수행할 수 있습니다. 컴퓨터 생성 로그 파일에는 종종 수백만 개의 행이 있을 수 있으므로 klogg는 이러한 파일 크기에서 문제 없이 작동하도록 설계되었습니다.
방법(Method) #2: 여러 부분으로 분할(Into Multiple Parts)
큰 CSV(CSV) 파일 을 열려고 할 때의 전체적인 문제는 파일이 너무 크다는 것입니다. 그러나 이것을 여러 개의 작은 파일로 분할한다면 어떻게 될까요?
이것은 일반적으로 새 텍스트 편집기의 인터페이스를 배울 필요가 없기 때문에 널리 사용되는 솔루션입니다. 대신 온라인에서 사용 가능한 많은 CSV 스플리터 중 하나를(one of the many CSV splitters available online) 사용 하여 큰 파일을 열기 쉬운 여러 파일로 나눌 수 있습니다. 그러면 이러한 각 파일에 정상적으로 액세스할 수 있습니다.
그러나 이것이 최선의 방법은 아닙니다. 큰 파일을 분할하면 종종 이상한 오타나 잘못 구성된 파일이 발생할 수 있습니다. 또한 각 청크를 별도로 열면 전체 데이터를 한 번에 필터링할 수 없습니다.
방법 #3: 데이터베이스로 가져오기
수 기가바이트로 확장되는 텍스트 및 .csv 파일은 일반적으로 대용량 데이터 세트입니다. 그렇다면 데이터베이스로 가져오기만 하면 되지 않습니까?
SQL 은 오늘날 가장 많이 사용되는 데이터베이스 마크업 언어입니다. 많은 버전의 SQL(many versions of SQL) 이 사용되지만 가장 쉬운 것은 아마도 MySQL 일 것입니다 . 그리고 운 좋게도 CSV 파일을 MySQL 테이블로 변환할(convert a CSV file into a MySQL table) 수 있습니다.
이것은 큰 CSV 파일을 처리하는 가장 쉬운 방법이 아니므로 정기적으로 큰 데이터 세트를 처리하려는 경우에만 이 방법을 권장합니다. MySQL 이 너무 어렵다면 언제든지 .csv 파일을 대신 MS Access로 가져올 수 있습니다(MS Access) .
방법(Method) #4: Python 라이브러리 로 분석
수백만 행의 데이터가 있는 .csv 파일로 작업할 때 수동으로 많은 의미를 이해할 수 없을 것입니다. 추세를 이해하기 위해 데이터를 필터링하고 특정 쿼리를 실행하려고 할 수 있습니다.
그렇다면 왜 그렇게 하는 Python 코드(write Python code) 를 작성하지 않습니까?
다시 한 번, 이것은 가장 사용자 친화적인 방법이 아닙니다. Python은 배우기 가장 어려운 프로그래밍 언어는 아니지만(Python isn’t the hardest programming language to learn) 코딩 이므로 가장 좋은 접근 방식이 아닐 수 있습니다. 그래도 매일 정말 큰 CSV 파일을 구문 분석 (CSV)해야 하는 경우 일부 Python 코드로 작업을 자동화(automate the task with some Python code) 할 수 있습니다 .
방법 #5: 고급 도구 사용
첫 번째 방법에서 본 텍스트 편집기는 CSV(CSV) 처리 를 위한 전용 도구가 아닙니다 . 대용량 .csv 파일 작업에도 사용할 수 있는 범용 도구였습니다.
그러나 특수 응용 프로그램은 어떻습니까? 이 문제를 해결하기 위해 만들어진 앱이 없나요?
실제로 있습니다. 예를 들어 CSV Explorer 는 모든 크기의 (CSV Explorer)CSV 파일을 보고 편집할 수 있는 앱을 만들기 위해 마지막 두 가지 방법( SQL 데이터베이스 및 Python 코드) 에서 설명한 바로 그 프로세스를 기반으로 합니다 . CSV 탐색기(CSV Explorer) 에서 그래프 생성 또는 데이터 필터링과 같은 스프레드시트 도구에서 기대하는 모든 작업을 수행할 수 있습니다 .
또 다른 옵션은 UltraEdit 입니다. 이전 도구와 달리 이것은 .csv 파일뿐만 아니라 모든 유형의 텍스트 파일을 의미합니다. 이전에 논의한 많은 무료 편집기와 유사한 인터페이스를 사용하여 몇 기가바이트에 이르는 텍스트 및 CSV 파일 을 쉽게 처리할 수 있습니다 .
이러한 도구의 유일한 단점은 프리미엄 응용 프로그램이므로 사용하려면 유료 라이선스를 받아야 한다는 것입니다. 기능을 확인하기 위해 또는 한 번만 사용하는 경우 언제든지 무료 평가판을 사용해 볼 수 있습니다.
큰 텍스트(Large Text) 및 CSV 파일(CSV Files) 을 여는 가장 좋은 방법은 무엇입니까 ?
이 빅 데이터 시대에는 (Big Data)메모장(Notepad) 이나 MS Excel 과 같은 기본 제공 도구로는 보기조차 힘든 기가바이트에 달하는 텍스트 파일을 만나는 것이 드문 일이 아닙니다 . 이러한 대용량 CSV(CSV) 파일 을 열 수 있으려면 타사 응용 프로그램을 다운로드하여 사용해야 합니다.
원하는 모든 파일을 보는 것이라면 Large Text File Viewer 가 최고의 선택입니다. 실제로 편집하려면 Emacs(Emacs) 와 같은 기능이 풍부한 텍스트 편집기 를 사용하거나 CSV Explorer 와 같은 고급 도구를 사용할 수 있습니다.
CSV 파일을 분할하거나 데이터베이스로 가져오는 것과 같은 기술 에는 너무 많은 단계가 필요합니다. 대용량 텍스트 파일을 많이 사용하는 경우 전용 프리미엄 도구의 유료 라이선스를 받는 것이 좋습니다.
How to Open Really Large Text and CSV Files
MS Excel can display 1,048,576 rows. Whіle that maу seem like a reallу largе number in normal usage, there are plenty of scenarios where thаt isn’t quitе enough.
Whether you’re looking at log files or large data sets, it’s easy to come across CSV files with millions of rows or enormous text files. Since Excel cannot support files this large, how exactly do you open them? Let’s find out.
Why Can Normal Text Editors Not Open Really Large Files?
A computer has gigabytes of storage, so why can’t text editors open large files?
There are two factors at play here. Some applications have a hardcoded limit on how much data they can display. It doesn’t matter how much memory your PC has, they just won’t use it.
The second issue is RAM. Many text editors do not have a hard limit on the number of rows, but cannot display large files due to memory limitations. They load the entire file into the system RAM, so if this memory isn’t large enough, the process fails.
Method #1: Using Free Editors
The best way to view extremely large text files is to use… a text editor. Not just any text editor, but the tools meant for writing code. Such apps can usually handle large files without a hitch and are free.
Large Text File Viewer is probably the simplest of these applications. It’s really easy to use, works fast and has a very low resource footprint. The only downside? It cannot edit the files. But if you only want to view large CSV files, this is hands down the best tool for the job.
For editing large text files as well, you should try Emacs. Originally created for Unix systems, it works perfectly well on Windows as well, and can handle large files. Similarly, Neovim and Sublime Text are two lightweight IDEs that can be used to open gigabyte-sized CSV text files.
If all you’re looking for is to search for data through large log files, then klogg is just the tool for you. An updating fork of the popular glogg, this application allows you to perform complex search operations through enormous text files with ease. Since computer-generated log files can often have millions of rows, klogg is designed to work with such file sizes without an issue.
Method #2: Split Into Multiple Parts
The whole problem with trying to open large CSV files is that they are too large. But what if you were to split these into multiple smaller files?
This is a popular solution, as it generally doesn’t involve having to learn the interface of a new text editor. Instead, you can use one of the many CSV splitters available online to break up the large file into a number of easy-to-open files. Each of these files can then be accessed normally.
However, this isn’t the best way to go about this. Splitting a large file can often lead to weird typos or improperly configured files. Moreover, opening each chunk separately prevents you from filtering through the whole data at once.
Method #3: Import Into a Database
Text and .csv files extending to multiple gigabytes are generally large datasets. So why not just import them into a database?
SQL is the most common database markup language used these days. There are many versions of SQL in use, but the easiest is probably MySQL. And as luck would have it, it is possible to convert a CSV file into a MySQL table.
This is by no means the easiest method of dealing with large CSV files, so we only recommend this if you want to deal with large datasets on a regular basis. If MySQL sounds too tough, you can always import your .csv files to MS Access instead.
Method #4: Analyze With Python Libraries
When you’re working with a .csv file with millions of rows of data, you’re obviously not going to be able to make much sense of it manually. You probably want to filter the data and run specific queries to understand trends.
So why not write Python code to do just that?
Once again, this is not the most user-friendly method. While Python isn’t the hardest programming language to learn, it is coding, so it might not be the best approach for you. Still, if you find yourself having to parse through really large CSV files on a daily basis, you might want to automate the task with some Python code.
Method #5: With Premium Tools
The text editors we saw in the first method weren’t dedicated tools meant for CSV processing. They were general-purpose tools that could be used to work with large .csv files as well.
But what about specialized applications? Are there no apps out there that are created to solve this problem?
There are, actually. CSV Explorer, for example, builds on the very process we described in the last two methods (SQL database and Python code) to create an app capable of viewing and editing CSV files of any size. You can do everything you expect from a spreadsheet tool like create graphs or filter the data in CSV Explorer.
Another option is UltraEdit. Unlike the previous tool, this is meant not just for .csv files but for any type of text file. It can easily handle text and CSV files ranging to a few gigabytes, with an interface similar to many of the free editors we discussed earlier.
The only drawback with these tools is that they are premium applications, requiring you to get a paid license to be able to use them. You can always try out their free trial versions to check out their features, or if you only have a one-time use.
What Is the Best Way To Open Large Text and CSV Files?
In this age of Big Data, it’s not uncommon to run into text files running into gigabytes, which can be hard to even view with built-in tools like Notepad or MS Excel. To be able to open such large CSV files, you need to download and use a third-party application.
If all you want is to view such files, then Large Text File Viewer is the best choice for you. For actually editing them, you can try a feature-rich text editor like Emacs, or go for a premium tool like CSV Explorer.
Techniques like splitting the CSV file or importing it into a database involve just too many steps. You’re better off getting a paid license of a dedicated premium tool if you find yourself working with huge text files a lot.
