【说话处理惩罚与Python】7.5定名实体辨认/7.6关系抽取
添加时间:2013-5-31 点击量:
7.5定名实体辨认(NER)
目标是辨认所有文字说起的定名实体。
可以分成两个子任务:断定NE的鸿沟和断定其类型。
NLTK供给了一个已经练习好的可以辨认定名实体的分类器,若是我们设置参数binary=True,那么定名实体只被标注为NE,没有类型标签。可以经由过程代码来看:
>>>sent = nltk.corpus.treebank.tagged_sents()[22]
>>>print nltk.ne_chunk(sent, binary=True)
(S
The/DT
(NE U.S./NNP)
is/VBZ
one/CD
...
according/VBG
to/TO
(NE Brooke/NNPT./NNPMossman/NNP)
...)
>>>print nltk.ne_chunk(sent)
(S
The/DT
(GPE U.S./NNP)
is/VBZ
one/CD
...
according/VBG
to/TO
(PERSON Brooke/NNPT./NNPMossman/NNP)
...)
7.6关系抽取
一旦文本中的定名实体已被辨认,我们就可以提取它们之间存在的关系。
进行这一任务的办法之一,就是寻找所有的(X,α, Y)情势的三元组,我们可以应用正则表达式从α的实体中抽出我们正在查找的关系。下面的例子搜刮包含词in的字符串。
特别的正则表达式(?!\b.+ing\b)是一个否定猜测先行断言,容许我们忽视如success in supervising the transition of中的字符串,此中in 后面跟一个动名词。
>>>IN = re.compile(r.\bin\b(?!\b.+ing))
>>>for docin nltk.corpus.ieer.parsed_docs(NYT_19980315):
... for rel in nltk.sem.extract_rels(ORG, LOC, doc,
... corpus=ieer,pattern = IN):
... print nltk.sem.show_raw_rtuple(rel)
[ORG: WHYY] in [LOC: Philadelphia]
[ORG: McGlashan &Sarrail]firm in [LOC: San Mateo]
[ORG: Freedom Forum]in [LOC: Arlington]
[ORG: Brookings Institution] , the research group in [LOC: Washington]
[ORG: Idealab] , a self-described businessincubator basedin [LOC: Los Angeles]
[ORG: Open Text], basedin [LOC: Waterloo]
[ORG: WGBH] in [LOC: Boston]
[ORG: Bastille Opera]in [LOC: Paris]
[ORG: Omnicom] in [LOC: New York]
[ORG: DDB Needham]in [LOC: New York]
[ORG: Kaplan ThalerGroup]in [LOC: New York]
[ORG: BBDO South]in [LOC: Atlanta]
[ORG: Georgia-Pacific] in [LOC: Atlanta]
如前文所示,CoNLL2002定名实体语料库的荷兰语项目组不只包含定名实体标注,也包含词性标注。这容许我们设计对这些标识表记标帜敏感的模式,如下面的例子所示。show_clause()办法以分条情势输出关系,此中二元关系符号作为参数relsym的值被指定。
>>> nltk.corpusimport conll2002
>>>vnv= """
... (
... is/V| #3rdsing present and
... was/V| #past forms of the verb zijn (be)
... werd/V| #and also present
... wordt/V #pastof worden(become)
... )
... . #followed byanything
... van/Prep #followed byvan(of)
... """
>>>VAN= re.compile(vnv, re.VERBOSE)
>>>for docin conll2002.chunked_sents(ned.train):
... for r in nltk.sem.extract_rels(PER, ORG, doc,
... corpus=conll2002, pattern=VAN):
... print nltk.sem.show_clause(r,relsym="VAN")
VAN("cornet_delzius",buitenlandse_handel)
VAN(johan_rottiers,kardinaal_van_roey_instituut)
VAN(annie_lennox,eurythmics)
我所有的自负皆来自我的自卑,所有的英雄气概都来自于我的软弱。嘴里振振有词是因为心里满是怀疑,深情是因为痛恨自己无情。这世界没有一件事情是虚空而生的,站在光里,背后就会有阴影,这深夜里一片寂静,是因为你还没有听见声音。—— 马良《坦白书》
7.5定名实体辨认(NER)
目标是辨认所有文字说起的定名实体。
可以分成两个子任务:断定NE的鸿沟和断定其类型。
NLTK供给了一个已经练习好的可以辨认定名实体的分类器,若是我们设置参数binary=True,那么定名实体只被标注为NE,没有类型标签。可以经由过程代码来看:
>>>sent = nltk.corpus.treebank.tagged_sents()[22]
>>>print nltk.ne_chunk(sent, binary=True)
(S
The/DT
(NE U.S./NNP)
is/VBZ
one/CD
...
according/VBG
to/TO
(NE Brooke/NNPT./NNPMossman/NNP)
...)
>>>print nltk.ne_chunk(sent)
(S
The/DT
(GPE U.S./NNP)
is/VBZ
one/CD
...
according/VBG
to/TO
(PERSON Brooke/NNPT./NNPMossman/NNP)
...)
7.6关系抽取
一旦文本中的定名实体已被辨认,我们就可以提取它们之间存在的关系。
进行这一任务的办法之一,就是寻找所有的(X,α, Y)情势的三元组,我们可以应用正则表达式从α的实体中抽出我们正在查找的关系。下面的例子搜刮包含词in的字符串。
特别的正则表达式(?!\b.+ing\b)是一个否定猜测先行断言,容许我们忽视如success in supervising the transition of中的字符串,此中in 后面跟一个动名词。
>>>IN = re.compile(r.\bin\b(?!\b.+ing))
>>>for docin nltk.corpus.ieer.parsed_docs(NYT_19980315):
... for rel in nltk.sem.extract_rels(ORG, LOC, doc,
... corpus=ieer,pattern = IN):
... print nltk.sem.show_raw_rtuple(rel)
[ORG: WHYY] in [LOC: Philadelphia]
[ORG: McGlashan &Sarrail]firm in [LOC: San Mateo]
[ORG: Freedom Forum]in [LOC: Arlington]
[ORG: Brookings Institution] , the research group in [LOC: Washington]
[ORG: Idealab] , a self-described businessincubator basedin [LOC: Los Angeles]
[ORG: Open Text], basedin [LOC: Waterloo]
[ORG: WGBH] in [LOC: Boston]
[ORG: Bastille Opera]in [LOC: Paris]
[ORG: Omnicom] in [LOC: New York]
[ORG: DDB Needham]in [LOC: New York]
[ORG: Kaplan ThalerGroup]in [LOC: New York]
[ORG: BBDO South]in [LOC: Atlanta]
[ORG: Georgia-Pacific] in [LOC: Atlanta]
如前文所示,CoNLL2002定名实体语料库的荷兰语项目组不只包含定名实体标注,也包含词性标注。这容许我们设计对这些标识表记标帜敏感的模式,如下面的例子所示。show_clause()办法以分条情势输出关系,此中二元关系符号作为参数relsym的值被指定。
>>> nltk.corpusimport conll2002
>>>vnv= """
... (
... is/V| #3rdsing present and
... was/V| #past forms of the verb zijn (be)
... werd/V| #and also present
... wordt/V #pastof worden(become)
... )
... . #followed byanything
... van/Prep #followed byvan(of)
... """
>>>VAN= re.compile(vnv, re.VERBOSE)
>>>for docin conll2002.chunked_sents(ned.train):
... for r in nltk.sem.extract_rels(PER, ORG, doc,
... corpus=conll2002, pattern=VAN):
... print nltk.sem.show_clause(r,relsym="VAN")
VAN("cornet_delzius",buitenlandse_handel)
VAN(johan_rottiers,kardinaal_van_roey_instituut)
VAN(annie_lennox,eurythmics)