亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Perl > 正文

perl去除重復內容的腳本代碼(重復行+數組重復字段)

2020-06-04 20:31:35
字體:
來源:轉載
供稿:網友

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結果:
1 3 
1 5 
2 1 
4 1
那么,請借助以下的perl腳本來實現。

代碼一:

代碼如下:
#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:////perl////data.txt/n"; 
chomp($filename=<STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(<IN>) 

   chomp; 
   @information=split//s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(<IN>) 
   { 
       @information=split//s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f://A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a<=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2/n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個文件data有10G大,但是有好多行都是重復的,需要將該文件中重復的行合并為一行,那么我們需要用什么辦法來實現
cat data |sort|uniq > new_data #該方法可以實現,但是你需要花上好幾個小時。結果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單,創建一個hash,每行的內容為鍵,值由每行出現的次數來填充,腳本如下;

代碼如下:
#!/usr/bin/perl
# Author :CaoJiangfeng

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
欧美黑人巨大精品一区二区| 亚洲天堂2020| 超碰91人人草人人干| 91九色单男在线观看| 国产91网红主播在线观看| 国产精品电影网站| 亚洲欧洲日产国产网站| 久久99热精品| 岛国av一区二区三区| 亚洲最大中文字幕| 亚洲欧美第一页| 综合136福利视频在线| 欧美性xxxxx极品娇小| 欧美极品欧美精品欧美视频| 亚洲欧美日韩高清| 国产精品羞羞答答| 日韩精品亚洲精品| 国产亚洲欧洲在线| 国产精品日本精品| 国产精品va在线播放我和闺蜜| 97国产成人精品视频| 久久精品91久久香蕉加勒比| 欧美夫妻性生活xx| 色偷偷综合社区| 中文字幕亚洲情99在线| 蜜臀久久99精品久久久久久宅男| 中日韩午夜理伦电影免费| 这里只有精品视频在线| 欧美电影在线观看| 日韩精品免费在线视频| 国产一区二区久久精品| 国产精品日韩久久久久| 国内精品久久影院| 亚洲精品一区久久久久久| 国产精品视频资源| 欧美成人精品一区| 夜夜躁日日躁狠狠久久88av| 国产一区欧美二区三区| 国产精品看片资源| 国产精品丝袜视频| 亚洲a在线播放| 国语自产精品视频在线看抢先版图片| 欧美日韩另类视频| 国产精品成人免费视频| 夜夜躁日日躁狠狠久久88av| 国产亚洲在线播放| 97婷婷大伊香蕉精品视频| 久久精品2019中文字幕| 亚洲新中文字幕| 一本色道久久综合亚洲精品小说| 欧美极品在线视频| 欧美高清视频免费观看| 成人免费在线视频网站| 国产精品日日摸夜夜添夜夜av| 国产精品2018| 国产精品成人va在线观看| 亚洲国产精品久久久久秋霞不卡| 国产午夜精品理论片a级探花| 亚洲美女久久久| 国内免费精品永久在线视频| 亚洲人成电影网站色| 色狠狠av一区二区三区香蕉蜜桃| 日本精品一区二区三区在线播放视频| 92看片淫黄大片看国产片| 久久伊人精品一区二区三区| 疯狂做受xxxx高潮欧美日本| 日韩在线观看免费全集电视剧网站| 亚洲第一天堂无码专区| 日韩在线欧美在线| 最近2019年好看中文字幕视频| 久久久久国产精品免费| 高清亚洲成在人网站天堂| 国产精品丝袜一区二区三区| 亚洲国产日韩欧美综合久久| 中文字幕欧美日韩在线| 亚洲美女黄色片| 亚洲成人三级在线| 精品视频久久久久久| 亚洲国产欧美自拍| 2020欧美日韩在线视频| 久久的精品视频| 欧美精品一区在线播放| 亚洲第一福利网| 一本色道久久综合狠狠躁篇怎么玩| 久久中文字幕在线| 国内偷自视频区视频综合| 亚洲精品短视频| 亚洲精品综合精品自拍| 成人福利在线视频| 色婷婷亚洲mv天堂mv在影片| 成人免费网站在线观看| 亚洲www在线观看| 亚洲男人天堂久| 亚洲丝袜一区在线| 欧美大尺度在线观看| 国产99久久精品一区二区永久免费| 日韩av免费一区| 国产精品h片在线播放| 亚洲美女中文字幕| 亚洲精品日韩激情在线电影| 久久久久久久91| 日韩毛片在线观看| 青草青草久热精品视频在线观看| 日韩av影视综合网| 91美女片黄在线观| 亚洲成人1234| 国产精品国产三级国产aⅴ9色| 国产成人涩涩涩视频在线观看| 欧美大片在线看| 亚洲国产精品福利| 久久精品99无色码中文字幕| 98精品国产自产在线观看| 欧美肥老太性生活视频| 日韩欧美国产高清91| 亚洲精品在线看| 91欧美精品午夜性色福利在线| 欧美在线一级视频| 久久99久久久久久久噜噜| 成人精品久久av网站| 亚洲天堂第二页| 国产精品美女www爽爽爽视频| 在线视频免费一区二区| 中文字幕欧美精品日韩中文字幕| 日韩av在线一区二区| 亚洲自拍偷拍区| 日韩大胆人体377p| 狠狠躁夜夜躁人人爽天天天天97| 国产福利精品在线| 亚洲欧美成人一区二区在线电影| 久久久久久国产精品美女| 91美女片黄在线观| 亚洲国产成人精品电影| 欧美日韩免费区域视频在线观看| 6080yy精品一区二区三区| 久久全球大尺度高清视频| 欧美国产精品人人做人人爱| 91高清免费在线观看| 亚洲国产又黄又爽女人高潮的| 亚洲人成啪啪网站| 欧美精品做受xxx性少妇| 国产精品一区av| 久久在线观看视频| 国产精品色悠悠| 国产主播精品在线| 欧美精品在线观看91| 欧美激情精品久久久久久大尺度| 亚洲黄页视频免费观看| 久久久91精品国产一区不卡| 北条麻妃一区二区三区中文字幕| 亚洲天堂成人在线| 最近2019中文字幕大全第二页| 91久久国产综合久久91精品网站| 国产精品网站视频| 亚洲国产精久久久久久久| xxxxxxxxx欧美| 久久久久久噜噜噜久久久精品| 亚洲精品按摩视频| 久久久精品一区二区三区| 欧美激情在线有限公司| 国产一区av在线| 正在播放欧美一区| 国产精品一区二区久久久| 尤物99国产成人精品视频| 国产日韩中文字幕在线|