Question Comment diviser un gros fichier sous Windows?


Existe-t-il un outil permettant de diviser un fichier texte volumineux (9 Go) en fichiers plus petits afin que je puisse l’ouvrir et y accéder?

Quelque chose utilisable en ligne de commande fourni avec Windows (XP)?

Ou quelle est la meilleure façon de la diviser? Puis-je utiliser 7z pour créer des volumes distincts, puis décompresser l'un d'eux séparément? Sera-t-il lisible ou a-t-il besoin de toutes les autres parties pour décompresser à nouveau dans le gros fichier?

Mettre à jour

J'ai mis au point un script python rapide de 48 lignes qui divise le fichier volumineux en fichiers de 0,5 Go, faciles à ouvrir même en vim. J'ai juste besoin de parcourir les données vers la dernière partie du journal (oui, c'est un fichier journal). Chaque enregistrement est divisé sur plusieurs lignes, donc grep ne le ferait pas.


73
2018-01-11 01:01


origine


Je vous vois édité pour mentionner grep. Avez-vous cygwin ou unxutils installé? Vous auriez pu utiliser grep -n avec head et tail pour voir des morceaux du fichier. Exemple, grep -n "something" file.txt résultats 95625: something. Vous voulez voir cette ligne et 9 lignes en dessous pour un total de 10 lignes: head -n 95635 file.txt | tail -n 10. - John T
Je remarque que vous avez résolu votre problème, si vous êtes toujours là, pourriez-vous poster la solution pour que d'autres puissent en bénéficier? - Journeyman Geek♦
Cela a été discuté en détail à Débordement de pile[1] [1]: stackoverflow.com/questions/159521/... - Rishi Dua


Réponses:


Il y a un séparateur de fichiers gratuit appelé Windows HJSplit

Disponible ici. Le site Web affirme qu'il peut diviser des fichiers de tout type et de toute taille, mais 9 Go est un gros fichier.


41
2018-01-11 01:23



Selon l'éditeur, il prend en charge la division des fichiers "plus de 100 gigaoctets" - yosh m
J'ai pu utiliser ce programme pour diviser un gros fichier en morceaux plus petits, mais seulement par taille (Ko ou Mo). Il ne respecte pas les lignes, il n'est donc pas très utile pour fractionner les fichiers journaux. C'est aussi très lent. - nullability
HJSplit fonctionne si moche ... Il ne fonctionne pas avec les fichiers 5 Gb +. La plus grande partie du fichier ne fait que perdre. Chunck pousse contre nofuses après 999, et autre chose échoue si utiliser de plus grandes peases - user2602807
Sur les systèmes 64 bits, il ne fonctionne qu'avec une interface graphique sous Windows. Si vous voulez automatiser les choses, ce n'est pas une solution - 576i


le GNU Core Utils paquet (disponible ici pour Windows) comprend l'utilitaire Split. Ça marche bien pour moi :-)

La documentation --help est la suivante:

Usage: split [OPTION] [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit

SIZE may have a multiplier suffix: b for 512, k for 1K, m for 1 Meg.

Par exemple, pour diviser le fichier input.txt en blocs de 100 Mo, en ne séparant que les extrémités des lignes,

split input.txt -C 100m

vous donnera des fichiers de sortie nommés xaa, xab, xac, etc.


21
2018-03-19 22:22



Par exemple, le téléchargement de git msys inclut également l'utilitaire. - eis
Cmder est incroyable pour cela - Umber Ferrule


Un autre est GSplit - selon leur site, il peut diviser des fichiers très volumineux (plus de 4 Go <- car ils ont dépassé la limite de 4 Go, je suppose qu'ils peuvent également faire 9 Go).

Mais une autre chose - vous dites que vous voulez la diviser en parties plus petites pour pouvoir l’ouvrir et la regarder. Cela ressemble à un très gros fichier journal.

En tout cas, pour ouvrir de gros fichiers texte, puis-je vous recommander EmEditor - ils prétendent pouvoir ouvrir des fichiers très volumineux (jusqu'à 250 Go), et je les ai utilisés par le passé pour des fichiers allant jusqu'à 2 Go. Mais dans tous les cas, je pense que cela peut être une meilleure solution que la division.


14
2018-01-11 01:30



J'ai juste essayé GSplit. Cela fonctionne, bien que via une interface déroutante, mais il n'offre aucun moyen de ne diviser que sur un saut de ligne - pour fractionner des fichiers de données ASCII, par conséquent, ce n'est pas très utile car le partage sera à mi-chemin d'une ligne. - Flyto
@Flyto est possible de diviser par ligne si vous choisissez "Split After Occurrence Number" sous le Pieces > Type and Size menu. Vous choisissez ensuite le nombre de lignes et le délimiteur de ligne en hexadécimal. Par défaut, il a le format Windows CR + LF (0x0D0x0A). - nullability
@nullability merci - je n'y aurais pas pensé. Mais, j'ai trouvé une solution beaucoup plus simple grâce à l'utilitaire GNU "split" - voir ma nouvelle réponse :-) - Flyto


Check-out Visionneuse de gros fichiers texte, c'est génial pour des choses comme ça. La plupart des archiveurs et des séparateurs sépareront le fichier en morceaux qui ne peuvent pas être utilisés pour lire chaque élément de données indépendamment et correctement, vous devez tous les extraire pour récupérer le fichier.

alt text

Le visualiseur de fichiers texte volumineux est gratuit et portable.


8
2018-01-11 01:36



Le lien semble être cassé, cela fonctionne dès maintenant: softpedia.com/get/Office-tools/Other-Office-Tools/... - huseyint
Le lien original (ou édité?) Fonctionne maintenant; Je prendrais ce lien sur softpedia un jour! Aussi, juste essayé LTFViewer, et c'est génial, a ouvert un fichier de 818 Mo que même Notepad ++ s'est plaint de l'ouverture. Pas grand chose en termes de modification des fonctionnalités, mais une fois que j'ai vu les journaux dans LTFViewer, echo. > myfile.txt résolu le problème de fichier journal de 818 Mo: D - Doktor J
LTFViewer est vraiment génial (je l'utilise pour), mais il y a une limite. J'ai essayé d'ouvrir un fichier SQL de 3 Go avec lui, mais il se fige. Mayby je n'ai pas eu assez de patience ou quelque chose ... - Mathlight
LTFViewer a très bien fonctionné pour moi. Je l'ai utilisé sur un fichier (relativement) plus petit, seulement 750 Mo, mais il l'a ouvert en moins de 5 secondes. - Mike_OBrien
Vous pouvez le télécharger depuis les archives internet: web.archive.org/web/20151019115332/http://swiftgear.com - quip


Vous pouvez utiliser 7zip lui-même pour diviser les fichiers. (Vous pouvez enregistrer au format .zip ou .7z.) Lorsque vous créez l'archive, il existe une option appelée "Split volume, bytes". Il suffit de sélectionner la taille souhaitée pour les morceaux.

Et oui, vous pouvez les décompresser individuellement si vous le souhaitez.

Split files in 7zip


3
2017-10-21 03:07





On peut utiliser 7-zip  créer des segments de fichier texte d'une certaine taille (par exemple, des segments de 100 Mo sur un fichier journal de 1,5 Go).

Les options clés sont - Utilisez "Store" par opposition à "Compress" - Utiliser "Split to volumes"

Vous devriez pouvoir voir du texte dans les fichiers .001 (.nnn).

enter image description here


2
2017-10-30 14:22





Il existe un outil en ligne qui divise les fichiers texte si quelqu'un cherche à fractionner des fichiers rapidement. http://www.textfilesplitter.com.

Fonctionne très bien pour moi. Et divise les fichiers en fonction des lignes, ce que je cherchais. Il indique également qu'il s'agit de tous les clients HTML5, ce qui permet de l'utiliser en toute sécurité. Je ne suis pas sûr de sa taille mais je pense que cela dépend du bélier de votre machine.


1
2017-10-02 23:10



Voulez-vous vraiment télécharger un fichier de 9 Go pour qu’il soit partagé dans votre navigateur? Vraiment?? - spaghettidba
@spaghettidba: il dit que ça marche côté client en utilisant HTML5 Si tel est le cas, il n'est pas nécessaire de le télécharger. J'avoue que j'ai eu la même réaction que vous quand j'ai lu la réponse pour la première fois. - mwolfe02