亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb

首頁 > 編程 > Perl > 正文

perl去除重復內容的腳本代碼(重復行+數組重復字段)

2020-10-31 15:17:05
字體:
來源:轉載
供稿:網友

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結果:
1 3 
1 5 
2 1 
4 1
那么,請借助以下的perl腳本來實現。

代碼一:

復制代碼 代碼如下:

#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:////perl////data.txt/n"; 
chomp($filename=<STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(<IN>) 

   chomp; 
   @information=split//s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(<IN>) 
   { 
       @information=split//s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f://A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a<=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2/n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個文件data有10G大,但是有好多行都是重復的,需要將該文件中重復的行合并為一行,那么我們需要用什么辦法來實現
cat data |sort|uniq > new_data #該方法可以實現,但是你需要花上好幾個小時。結果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單,創建一個hash,每行的內容為鍵,值由每行出現的次數來填充,腳本如下;

復制代碼 代碼如下:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
        printf("Usage:/n");
        printf("perl $script <source_file> <dest_file>/n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {

        &usage;
        exit 0;
}


my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"<$source_file") or die "Cannot open file $!/n";
open (SORTED,">$dest_file") or die "Cannot open file $!/n";

while(defined (my $line = <FILE>))
{
        chomp($line);
        $hash{$line} += 1;
        # print "$line,$hash{$line}/n";
}

foreach my $k (keys %hash) {
        print SORTED "$k,$hash{$k}/n";#改行打印出列和該列出現的次數到目標文件
}
close (FILE);
close (SORTED);

代碼三:

通過perl腳本,刪除數據組中重復的字段

復制代碼 代碼如下:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合條件的元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "/n";

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
亚洲香蕉成人av网站在线观看_欧美精品成人91久久久久久久_久久久久久久久久久亚洲_热久久视久久精品18亚洲精品_国产精自产拍久久久久久_亚洲色图国产精品_91精品国产网站_中文字幕欧美日韩精品_国产精品久久久久久亚洲调教_国产精品久久一区_性夜试看影院91社区_97在线观看视频国产_68精品久久久久久欧美_欧美精品在线观看_国产精品一区二区久久精品_欧美老女人bb
久久久久久久久国产精品| 精品久久久久久久久久ntr影视| 欧洲成人午夜免费大片| 亚洲在线观看视频网站| 国产做受高潮69| 欧美日韩精品在线视频| 欧美老肥婆性猛交视频| 欧美日韩成人黄色| 日本精品在线视频| 久久综合久中文字幕青草| 亚洲**2019国产| 日韩视频在线免费观看| 日本道色综合久久影院| 精品国产一区二区三区久久久| 欧美国产乱视频| 精品国产欧美一区二区五十路| 日韩电影中文字幕在线| 国产亚洲美女久久| 日韩高清av在线| 亚洲国产精品热久久| 国产精品毛片a∨一区二区三区|国| 91国产精品91| 午夜精品久久久久久久白皮肤| 正在播放欧美一区| 不用播放器成人网| 久久躁日日躁aaaaxxxx| 国产91精品青草社区| 91成人在线视频| 国产精品一久久香蕉国产线看观看| 91高清免费在线观看| 91精品视频免费| 精品国产一区二区三区久久久| 97av在线影院| 久久久久久网站| 成人免费视频网址| 国产精品第10页| 久久中文字幕一区| 国产精品久久久久7777婷婷| 欧美高清一级大片| 亚洲人成在线观看网站高清| 欧美噜噜久久久xxx| 亚洲国产婷婷香蕉久久久久久| 97国产真实伦对白精彩视频8| 欧美日本中文字幕| 国产在线拍偷自揄拍精品| 91视频九色网站| 久久伊人色综合| 欧美一级大片视频| 国产欧美精品在线| 91精品国产高清自在线| 日韩精品中文字幕久久臀| 美女国内精品自产拍在线播放| 久久久国产在线视频| 亚洲国产欧美一区| 九九热精品视频在线播放| 国产一区二区三区直播精品电影| 日本高清+成人网在线观看| 亚洲精品97久久| 韩国19禁主播vip福利视频| 久久久久久亚洲精品| 国产精品国产自产拍高清av水多| 日韩中文字幕国产| 日韩免费在线免费观看| 中文字幕少妇一区二区三区| xxxx欧美18另类的高清| 久99九色视频在线观看| 日韩在线观看免费网站| 亚洲天堂影视av| 亚洲第一福利在线观看| 亚洲毛片在线观看.| 91chinesevideo永久地址| 欧美另类第一页| 97视频在线观看免费高清完整版在线观看| 欧美性猛交xxxx乱大交蜜桃| 国产美女精彩久久| 欧洲精品在线视频| 亚洲成人av资源网| 亚洲国产97在线精品一区| 亚洲护士老师的毛茸茸最新章节| 欧美激情三级免费| 国产欧美日韩免费看aⅴ视频| 国产精品激情av在线播放| 国产98色在线| 亚洲aⅴ男人的天堂在线观看| 精品国产乱码久久久久久天美| 欧美性视频在线| 久久人体大胆视频| 成人福利免费观看| 国产日韩欧美在线观看| 成人免费高清完整版在线观看| 九色成人免费视频| 久久免费少妇高潮久久精品99| 中文字幕不卡在线视频极品| 2019中文字幕免费视频| 日韩欧美成人精品| 国产精品一二三在线| 国产成人精品在线视频| 国产精品999999| 国产精品综合不卡av| 精品亚洲一区二区三区| 日韩成人小视频| 欧美日韩亚洲精品一区二区三区| 成人亚洲综合色就1024| 亚洲精品国产suv| 国产日韩精品在线| 国产精国产精品| 精品国产乱码久久久久久虫虫漫画| 久久久999精品视频| 欧美精品免费播放| 88xx成人精品| 精品亚洲国产视频| 97成人精品区在线播放| 国产精品精品国产| 国产日韩欧美91| 亚洲天堂精品在线| 亚洲毛片在线免费观看| 亚洲日本中文字幕免费在线不卡| 亚洲综合中文字幕68页| 亚洲欧美日韩视频一区| 一区二区在线视频| 这里只有精品视频| 亲子乱一区二区三区电影| 性色av一区二区三区红粉影视| 久久精品久久久久电影| 亚洲一区二区久久| 日本久久久久久| 一本一本久久a久久精品牛牛影视| 第一福利永久视频精品| 欧美日韩国产丝袜美女| 国产精品视频不卡| 日韩中文字幕在线播放| 欧美日韩中文字幕| 国产一区二区三区视频在线观看| 国产做受69高潮| 日韩视频免费观看| 国自在线精品视频| 国产精品v片在线观看不卡| 欧美黑人性生活视频| 亚洲精品www久久久久久广东| 久久久久久久久久久国产| 少妇高潮久久77777| 欧美成人亚洲成人| 国产精品久久国产精品99gif| 亚洲va久久久噜噜噜久久天堂| 亚洲香蕉成人av网站在线观看| 久久久久久久激情视频| 美日韩丰满少妇在线观看| 日韩美女在线观看一区| 国产精品久久久久久久久影视| 国产成人亚洲综合青青| 日韩精品在线观看一区| 欧美成人在线免费视频| 色综合91久久精品中文字幕| 久久久久久久久久久免费| 国产裸体写真av一区二区| 精品久久久久久中文字幕一区奶水| 一区二区三区回区在观看免费视频| 成人免费看片视频| 66m—66摸成人免费视频| 中文字幕日韩av综合精品| 亚洲欧美国产制服动漫| 欧美猛交免费看| 久久久久九九九九| 亚洲精品欧美一区二区三区|